在今天的信息时代,数据是成功的关键因素。然而,获得正确的数据并能够对其进行分析以获得关键和准确的见解是至关重要的。正如爱因斯坦曾经说过的那样:“并非能考虑到的事物都重要,而所有重要的事物并非都在我们的考虑之内。”
不要将数据与信息混淆。需要对数据——原始的测量集合——进行过滤和评估,以便将其纳入被认为是信息的学习中。旧的陈词滥调“信息超载”确实是错误的——您可以使数据过载,但信息始终是有价值的。数据本身不一定是可用的。如果没有被过滤或评估得当,可能会导致错误的假设,就像我们最近看到的那些假消息一样。
在过去的十年左右,数据量已经增长了数量级。《纽约时报》报道,2005年整个数字宇宙的规模是1300亿千兆字节。今天的企业环境常常处理PB级的数据。随着每天数据源数量的增加,处理会越来越快。要了解有事情如何发生变化,请查看下面的图片,在1956年加载到飞机上的IBM硬盘驱动器。根据@HistoricalPics的推文,这是一个5 MB的硬盘驱动器,称重超过2000磅!与今天的智能手机比一下。
随着我们开始测量移动用户活动和传感器数据,各种数据类型也在增加。需要记住的是,所有这些数据都不意味着什么,除非你把它变成智力,而且将智力转化为行动。
物联网的力量在于其能够实时捕获数据并能够快速合成的能力。当架构正确时,物联网可以帮助将数据转换为确定接下来应采取的行动所需的有用信息。
如《哈佛商业评论》中Kristian J. Hammond所说:“在大多数情况下,我们知道我们想要的数据。我们知道需要运行什么分析,需要找到哪些相关性,需要做什么比较。通过将我们所知道的并将其置于自动化系统的手中,可以进行所有这些操作,然后以人为本或自然语言将其解释给我们,我们可以从始终保持的数据实现洞察力的有效性和规模它的承诺,但到目前为止还没有交付。通过拥抱机器的力量,我们可以自动从数据中生成故事,弥补数字和知识之间的差距。”
我们如何将传感变得有意义?
在物联网出现之前,分析各种设备提供的数据的种类和数量是非常困难的。物联网技术提供了将机器数据拉入数据池进行分析的自动化机制,目的是在数据和应用程序管理中采取下一个逻辑步骤。物联网不仅收集和分析数据,而且还自动改进流程。
在介绍过程中的步骤之前,我应该花点时间来定义在谈论物联网环境中数据传输时经常使用的几个术语。北行和南行。北行数据是指从设备,通过网关到云端的数据。它通常是遥测数据,但它可以是命令和控制请求。南行数据从云到网关,或从云,通过网关到设备。南向数据往往也可以是命令和控制信息,如软件更新和请求或更改配置参数。
以下是使用北行和南行通信渠道从传感到意义的方式:
步骤1:传感器提供北行遥测数据。根据架构,该数据可以被预处理并发送到位于传感器附近的现场的数据存储器;例如网关。
步骤2:在网关上的这个临时点对数据进行一定量的分析。在这里,您可以处理数据,例如,总结或转换数据,以准备在数据中心或云中进行更深入的分析。然后,在战术分析中将在网关上处理的信息与先前识别的模式进行比较。这基本上与历史信息的相关性相匹配。根据您发现的模式,可以采取某些措施。但是你也会寻找你不知道的东西,试图发现其他的相关性和推论。例如,您可能不知道当天气低于10度以下,流感药物处方增加了30%时,鸡汤和面巾纸的销售在未来10天内上涨。你可能以前没有注意到。现在,这是一个新的结论,可用于做出业务决策。
步骤3:使用提供的新见解,创建一个可执行的规则。例如,当传感器表示温度已经降到10度以下时,您就可以将仓库里的鸡汤和盒子的纸巾移到靠近货运码头的地方。通过这种方式,您将一个推理变为一个行为——可以被监控、管理和执行的业务规则。
步骤4:在最后一步中,您将该规则编入准则并将其部署到该领域中。在下面显示的信息生命周期图中,您可以看到这是一个迭代过程。
开源如何辅助
开源软件项目提供标准化的工具包,让您可以处理数据并依此实施行动,如Camel和Drools。 Apache Camel是基于Java规则的路由和中介引擎,具有可用于处理数据的企业集成模式。它通过开箱即用的消息中介、路由和数据转换来协助开发者的物联网解决方案。在我看来,在物联网环境中使用Apache Camel的最好方法是通过Eclipse物联网工作组项目,例如Eclipse Kapua和Kura。
来自JBoss社区的Drools,是一个业务规则管理系统,它已经建立了规则模板,允许您定义在某些情况发生时需要采取的行动。Drools对于具有明确定义的DSL(域专用语言)的物联网实现需要定义规则和优化规则引擎所需的可扩展性。它还配有一个名为Workbench的GUI,可以让开发人员轻松创建和编辑规则。
能够将数据转换成可以为您效劳的信息,这是任何物联网工作的核心。而且,正如我之前的博客中指出的那样,通过开源软件可以做到这一点,这将有助于加速物联网的采用和物联网实施的成功。
好文章,需要你的鼓励
清华大学团队突破性开发"零样本量化"技术,让AI模型在不接触真实数据的情况下完成高效压缩,性能反超传统方法1.7%,为隐私保护时代的AI部署开辟新路径。
普林斯顿大学研究团队开发出"LLM经济学家"框架,首次让AI学会为虚拟社会制定税收政策。系统包含基于真实人口数据的工人AI和规划者AI两层,通过自然语言交互找到最优经济政策,甚至能模拟民主投票。实验显示AI制定的税收方案接近理论最优解,为AI参与社会治理提供了新路径。
K Prize是由Databricks和Perplexity联合创始人推出的AI编程挑战赛,首轮比赛结果显示,获胜者巴西工程师Eduardo Rocha de Andrade仅答对7.5%的题目就获得5万美元奖金。该测试基于GitHub真实问题,采用定时提交系统防止针对性训练,与SWE-Bench 75%的最高得分形成鲜明对比。创始人承诺向首个在该测试中得分超过90%的开源模型提供100万美元奖励。
南开大学研究团队提出了一种新的3D高斯泼溅重光照方法,通过在高斯原语上直接编码离散化SDF值,避免了传统方法需要额外SDF网络的问题。该方法设计了投影一致性损失来约束离散SDF样本,并采用球形初始化避免局部最优。实验表明,新方法在保持高质量重光照效果的同时,仅需现有方法20%的显存,显著提升了训练和渲染效率。