如今,数据分析已经成为帮助企业做出战略决策的关键。软件工具可以帮助企业发现模式或者发现各种流程的洞察。用于实施这些策略的数据系统通常作为供应商特定的企业数据仓库解决方案而存在。在这些应用程序中,信息被加载和结构化,以便从非常大的数据集合中提供最有效的结果。
数据仓库
数据仓库是用来提供新的业务洞察力的数据中心存储库。这些数据代表了业务的全面一致的观点。通常,这些历史数据集具有以下特征::
·面向主题:数据仓库通常提供特定的主题或业务需求,如销售或生产效率。
·时变性:数据是历史性的,因此可以用特定的时间框架来分析结果,例如在过去两年中按每月或按季度计算。企业数据仓库通常是由事务系统中封装的数据提供的,其中只有最近的数据是必需的。例如,事务系统可能只反映客户最近的电话号码,而数据仓库将包含所有以前使用的号码。
·集成性:数据仓库将来自多个不同来源的信息整合到同一视图中。例如,不同的商店可能具有相同产品的不同名称,但它们仍将具有相同的库存单元(SKU)或零件号。
·非易失性:存储在企业数据仓库中的信息不会改变。为了保持历史数据的完整性,它是只读的,从不改变。
什么样的数据加载到数据仓库?
业务数据操作几乎是实时的,例如从连锁商店在POS机终端捕获的销售信息。每日销售数据由系统捕获并送入数据文件。然后,这些文件将得到ETL(提取,转换和加载)软件或脚本的管理,或将该数据“归一化”到可直接上传到数据仓库表中的字段。
例如,一家大型零售连锁店将要捕捉销售商品的数据,例如,销售人员,商店,时间,付款方式,特别优惠或优惠券等等。另一家公司可能更有兴趣收集客户服务活动以进行定期绩效分析。
大多数存储的数据是关系型的。这意味着信息以能够与单个表链接的数字ID字段的形式存在,例如链接到文本的产品名称的产品ID列表和每个不同ID的描述。这可以节省企业数据仓库的空间,同时在数据报告中提供更有意义的信息。
数据仓库与传统数据库的区别
数据库通过捕获信息(无论是电子自动的还是人工采集的)来支持日常操作。这些也称为事务或操作数据库。它们主要用于从源头捕获信息。数据库还允许对信息进行编辑,以更加密切地反映真实世界的变化。它们针对数据输入进行了优化:协调小型而频繁的更新和添加。数据被组织成行或单个记录。
虽然这两个系统都可以用于报告,但数据仓库是为聚集大量固定信息而设计的。从事务数据中运行的报表中的信息可能会发生更改。
数据仓库主要用于报告和分析业务操作,以便识别模式。信息通常从一个或多个数据库中提取,成为数据仓库中的历史记录。数据仓库将反映所有的变化。大多数企业数据仓库解决方案要求以列或以维度(如时间或位置)的方式存储信息,以检索一系列度量单位,如美元或数量。这允许在相同的报告工具中深入了解各种细节。
数据集市
规模较小的公司,甚至大公司当接近一个特定的数据项目,可能将数据分割更小的、更有限的数据集,被称为“数据集市”。这样可以消除过多或不相关信息的运营开销。数据集市可以根据需要从数据仓库中提取,或者单独存在。
新公司或小公司可能不需要维护数据仓库。但是在大中型企业中,通常每天都使用事务性数据库和数据仓库。重要的区别是,企业数据仓库解决方案是只读和优化的,用于分析不断增长的业务数据,以支持业务决策。
好文章,需要你的鼓励
IBM Spyre加速器将于本月晚些时候正式推出,为z17大型机、LinuxONE 5和Power11系统等企业级硬件的AI能力提供显著提升。该加速器基于定制芯片的PCIe卡,配备32个独立加速器核心,专为处理AI工作负载需求而设计。系统最多可配置48张Spyre卡,支持多模型AI处理,包括生成式AI和大语言模型,主要应用于金融交易欺诈检测等关键业务场景。
加拿大女王大学研究团队首次对开源AI生态系统进行端到端许可证合规审计,发现35.5%的AI模型在集成到应用时存在许可证违规。他们开发的LicenseRec系统能自动检测冲突并修复86.4%的违规问题,揭示了AI供应链中系统性的"许可证漂移"现象及其法律风险。
意大利初创公司Ganiga开发了AI驱动的智能垃圾分拣机器人Hoooly,能自动识别并分类垃圾和可回收物。该公司产品包括机器人垃圾桶、智能盖子和废物追踪软件,旨在解决全球塑料回收率不足10%的问题。2024年公司收入50万美元,已向谷歌和多个机场销售超120台设备,计划融资300万美元并拓展美国市场。
这项由剑桥大学、清华大学和伊利诺伊大学合作的研究首次将扩散大语言模型引入语音识别领域,开发出Whisper-LLaDA系统。该系统具备双向理解能力,能够同时考虑语音的前后文信息,在LibriSpeech数据集上实现了12.3%的错误率相对改进,同时在大多数配置下提供了更快的推理速度,为语音识别技术开辟了新的发展方向。