如今,数据分析已经成为帮助企业做出战略决策的关键。软件工具可以帮助企业发现模式或者发现各种流程的洞察。用于实施这些策略的数据系统通常作为供应商特定的企业数据仓库解决方案而存在。在这些应用程序中,信息被加载和结构化,以便从非常大的数据集合中提供最有效的结果。
数据仓库
数据仓库是用来提供新的业务洞察力的数据中心存储库。这些数据代表了业务的全面一致的观点。通常,这些历史数据集具有以下特征::
·面向主题:数据仓库通常提供特定的主题或业务需求,如销售或生产效率。
·时变性:数据是历史性的,因此可以用特定的时间框架来分析结果,例如在过去两年中按每月或按季度计算。企业数据仓库通常是由事务系统中封装的数据提供的,其中只有最近的数据是必需的。例如,事务系统可能只反映客户最近的电话号码,而数据仓库将包含所有以前使用的号码。
·集成性:数据仓库将来自多个不同来源的信息整合到同一视图中。例如,不同的商店可能具有相同产品的不同名称,但它们仍将具有相同的库存单元(SKU)或零件号。
·非易失性:存储在企业数据仓库中的信息不会改变。为了保持历史数据的完整性,它是只读的,从不改变。
什么样的数据加载到数据仓库?
业务数据操作几乎是实时的,例如从连锁商店在POS机终端捕获的销售信息。每日销售数据由系统捕获并送入数据文件。然后,这些文件将得到ETL(提取,转换和加载)软件或脚本的管理,或将该数据“归一化”到可直接上传到数据仓库表中的字段。
例如,一家大型零售连锁店将要捕捉销售商品的数据,例如,销售人员,商店,时间,付款方式,特别优惠或优惠券等等。另一家公司可能更有兴趣收集客户服务活动以进行定期绩效分析。
大多数存储的数据是关系型的。这意味着信息以能够与单个表链接的数字ID字段的形式存在,例如链接到文本的产品名称的产品ID列表和每个不同ID的描述。这可以节省企业数据仓库的空间,同时在数据报告中提供更有意义的信息。
数据仓库与传统数据库的区别
数据库通过捕获信息(无论是电子自动的还是人工采集的)来支持日常操作。这些也称为事务或操作数据库。它们主要用于从源头捕获信息。数据库还允许对信息进行编辑,以更加密切地反映真实世界的变化。它们针对数据输入进行了优化:协调小型而频繁的更新和添加。数据被组织成行或单个记录。
虽然这两个系统都可以用于报告,但数据仓库是为聚集大量固定信息而设计的。从事务数据中运行的报表中的信息可能会发生更改。
数据仓库主要用于报告和分析业务操作,以便识别模式。信息通常从一个或多个数据库中提取,成为数据仓库中的历史记录。数据仓库将反映所有的变化。大多数企业数据仓库解决方案要求以列或以维度(如时间或位置)的方式存储信息,以检索一系列度量单位,如美元或数量。这允许在相同的报告工具中深入了解各种细节。
数据集市
规模较小的公司,甚至大公司当接近一个特定的数据项目,可能将数据分割更小的、更有限的数据集,被称为“数据集市”。这样可以消除过多或不相关信息的运营开销。数据集市可以根据需要从数据仓库中提取,或者单独存在。
新公司或小公司可能不需要维护数据仓库。但是在大中型企业中,通常每天都使用事务性数据库和数据仓库。重要的区别是,企业数据仓库解决方案是只读和优化的,用于分析不断增长的业务数据,以支持业务决策。
好文章,需要你的鼓励
科技泡沫并非世界末日,从经济角度看,泡沫是押注过大导致供过于求。AI泡沫问题复杂在于AI软件开发节奏与数据中心建设周期的时间错配。甲骨文关联数据中心获180亿美元信贷,Meta承诺三年内投入6000亿美元基础设施。麦肯锡调查显示企业虽广泛使用AI但规模有限,多数仍持观望态度。微软CEO表示更担心数据中心空间不足而非芯片短缺,电力需求成为新瓶颈。
Salesforce AI研究团队构建了首个大规模多模态文档RAG评测基准UniDoc-Bench,包含7万页真实PDF文档和1600个问答对,覆盖8个领域。研究发现文本图像融合检索策略显著优于单一模态和联合多模态方法,为未来AI文档理解系统提供了"分工合作"的设计思路。
Goodfire.ai研究人员首次发现AI语言模型中记忆和推理功能通过完全独立的神经通路运作。研究显示,移除记忆通路后,模型丧失97%的训练数据复述能力,但逻辑推理能力几乎完全保留。令人意外的是,算术运算与记忆共享神经通路而非推理通路,这可能解释了AI模型在数学方面的困难。该技术未来有望用于移除版权内容或敏感信息而不损害模型核心功能。
腾讯研究团队发现AI训练中"推理火花"现象,揭示低概率词汇如"等等"、"不过"等在维持AI探索能力中的关键作用。团队开发的低概率正则化方法通过精准保护有价值的低概率词汇,在数学推理任务中实现60.17%准确率,比传统方法提升2.66%,为AI创造性思维研究开辟新路径。