为IoT和大数据项目分配IT资源

大数据和物联网项目给IT基础架构带来了前所未有的压力。

Internet of Things(IoT) 和大数据应用已经给网络和存储架构带来了压力，更不用说这还需要IT专家使用不同的技能和工具来管理这些新的部署了。

虽然执行起来很有挑战性，但是也有一些为IT团队而设的指导方针来帮助他们托管IoT和大数据。这得从审查基础架构中大规模、数据密集型的项目需求开始。

更多的处理能力

一旦项目进入到具体的实施阶段，IT组织连同它的硬件、软件和服务供应商很可能需要去定义合适的系统架构和操作系统，每个系统处理器的数量以及系统的数量——不管是物理的、虚拟的还是基于云的——这需要一些主动性。

大数据项目大部分是基于Windows或者Linux操作系统，架构在业界标准的x86平台服务器上的。但在一些情况下，也有一些基于大型机或者单 一厂商系统架构和操作系统的实用的工具。大多数情况下，IT团队会将业界标准的服务器使用scale-out架构做成集群，以支持需要大量计算、内存、网 络和存储的负载。

IoT项目也趋向于包含基于单一厂家的后端系统以及大型机。

要最大化可使用的处理能力，同时减少在硬件上的总体投资，需要很好地对系统、集群和其他组件进行配置。这需要很明白企业的目标以及深入了解所选的大 数据工具和NoSQL数据库。同样的，对于选择与繁杂的不同智能手机、平板、汽车和从未如此扩张的其他智能设备进行通信的工具，也需要有一定的了解。

错误配置的服务器集群或者其他基础架构的重大错失(甚至选择了错误的工具)都可能成为项目操作的阻碍并且导致项目失败。

有一些后端数据分析和报告工具在一个大集群系统里面运行，有一些则通过其他小的集群来支持：一些小集群负责存储分析需要用的原始数据，有一些小集群 负责提供将原始数据处理成有用信息的工具，另一些小集群可能被用来支持将有用的信息转换为适合的格式(表格、图形或者其他形式)，提供给分析师或者数据科 学家。

IoT项目还需要增加响应客户设备，提供需求的信息、指导或帮助的功能。企业需要熟悉这些工具的专家，以及对如何使用这些工具有很全面的了解。

为自己信任的顾问和供应商投入时间，学习对选择的这些工具和方法进行技术支持需要什么。

对于内存、存储和网络的关注

仅仅增加更多的系统、内存和存储并不总能提高IoT和大数据环境的综合性能。不同的方法和工具需要不一样的系统内存和处理能力。

每一种方法和所关联的工具都有自己的限制。建设IoT和/或大数据平台的IT规划师需要对每一种考虑在内的工具所需要的资源进行调研，同时需要知道在资源充足的情况下他们会使用哪一种工具。

如果企业安装了比所选工具所需更多的内存，那么这仅仅会增加能源消耗和热量。非但不会给整体性能带来任何帮助，反而会给数据中心能源和冷却系统带来不需要的压力。

IoT和大数据平台另一个参数是存储的性能和容量。就像处理能力和内存容量一样，存储设备的选择、存储的专用能力和存储的联网方式都能对大数据产品的优化性能有帮助。在IoT技术的例子里，响应速度的快慢将直接影响到客户是否喜欢这个企业(产品)。

就和内存和计算组件一样，存储的配置也必须满足所选工具和方法的需求。不要指望简单通过添加更多存储，选择更快的设备或者升级存储网络来得到效果。即使存储性能增加了，但是也可能被网络瓶颈带来的影响抵消。

有一些大数据工具使用额外的内存能力作为数据存储的一部分，创造了内存里的数据库。这种方法能加速分析和报告的处理。但这是一种需要权衡的方法，因为如果系统没有被可依赖的电力保护着，一旦失去电力则数据也会丢失。

不要被卷入任何一种存储或者存储网络的炒作中。分析师会指出寄存于内存的数据库或者闪存存储并不会对所有情况都适合。

有一些存储虚拟化软件厂家，例如DataCore Software注意到了底层操作系统每一次只能处理一个单一的I/O请求。它的方式是通过增加软件来让操作系统能同一时间同步处理多个请求。

显而易见的是不充分提供(underprovisioned)或者设计失败的存储系统会给大数据或者IoT系统带来效果的降低。

网络架构对于任何分布式或者集群计算工具来说都是至关重要的。它的容量、延迟和性能可以促进或阻碍这类技术。和处理器、内存和存储一样，网络架构也需要细心选择。

当大数据工具需要一些数据的时候，如果网络没有足够的容量、响应慢或者对于不同类型I/O请求有偏向，那么性能就会变得很差。同样的事情对处理IoT系统里面智能设备发出的小型、突发式的请求处理上却并非如此。因此要对两种类型的请求进行平衡是一种挑战。

对于其他的组件，需要对网络媒介特性进行调研，例如Gigabit以太网或Fibre Channel，在购买网络之前进行成本/效益分析。

我曾经看到过一个项目，其目标是捕获百万级别的小型移动设备信息，并且进行分析——这是一个早期的IoT项目。这个公司发现它的网络处理在负载的时候不够快，因为网络设计之初是为了管理大型数据传输而非百万个小型数据请求的。