ZD至顶网CIO与应用频道 01月10日 北京消息:为结构化及非结构化数据进行实时搜索、记录和分析的全球领先软件提供商Elastic于上月10号在北京举办了Elastic 中国开发者大会2016,吸引业界超过350名技术专家到来交流,当中包括来自苏宁、百度、奇虎360、大众点评、斗鱼、趋势科技、折800、58到家、瀚思安信的技术专家。
这个首次由Elastic在中国举办的开发者大会主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。基于开源的Elastic Stack已于全球获得超过7,500万次的累积下载,当中客户包括联想、华为等有名企业。
大会上,首先由Elastic的工程师介绍Elastic Stack的演变过程,以及最新的Elastic Stack 5.0的功能。来自各大企业的专家也分享了他们在不同领域作为用户的经验回馈。
苏宁利用Kibana和Elastic Stack搭建云迹实时日志分析产品,提供应用、web、防火墙、中间件等日志的实时检索、统计分析、告警,为苏宁1000+系统提供日志的实时检索分析服务。苏宁监控研发中心技术副总监彭燕卿先生表示:「实时分析日志是程序员定位问题非常重要的环节,Elastic Stack对提升日志的安全性及效率致关重要。」
此外,Elastic Stack在电子银行的安全应用亦非常奏效。随着手持设备的不断普及,越来越多人在日常生活中选择使用便利的电子银行,黑客亦如此,总是紧盯这块蛋糕。以“数据驱动安全”为愿景,致力于利用大数据帮助企业解决庞杂、分立的信息安全问题的为名的瀚思(Hansight), 其技术总监李学辉先生表示:「不管哪家银行,只要在做网上银行系统,就得面对每天来自世界各地的恶意访问,虽然金融体系有很完善的安全管控机制,但总会有一些恶意的访问成功登入系统,并且其中一些造成储户损失。银行可利用Elastic Stack通过大数据分析的途径来发现潜在的恶意访问,从而进一步采取行动,避免不必要的损失。」
Elasticsearch 在移动病毒侦测领域亦非常有用。目前移动应用越来越普及,与此同时,大量恶意程式散布于互联网之中,企业需要构建一个病毒分析和检测的平台对大量样本进行分析和检测来保护终端用户以免受病毒的侵扰。趋势科技高级研发工程师李啸先生说:「我们利用Elasticsearch分析移动病毒的特征,并设计基于elasticsearch的病毒特征库,写下特定指令来监控和检测病毒。」
Elasticsearch 同时亦加快SparkSQL的查询速度。 SparkSQL对查询的SQL,需要扫描全部的数据,然后获取满足查询条件的记录。如果在海量的数据中,命中的记录个数比较小,查询的时间主要在读取数据。奇虎360李振炜先生指出:「奇虎360对于每一个SQL查询,提取出索引字段的查询条件,然后通过Elasticsearch得到满足条件的记录的路径,Spark直接读取记录,实现了海量数据的查询,秒级响应。」
谈到搜索服务,斗鱼大数据工程师白凡先生亦和议道:「我们在斗鱼主站、鱼吧、点播系统、移动端等搜索项目中均应用了Elasticsearch,已成为公司的核心服务。」
最后,百度大数据部高级工程师高攀先生也分享其公司如果利用Elasticsearch 增加权限管理系统、支持跨机房数据同步、支持多租户资源隔离和解决数据一致性问题。
总括而言,出席这次开发者大会的技术人才也认为开源为业界趋势,而ElasticStack亦为一个在不同领域应用很不错的选择。值得讨论的是,单靠开源软件是否足够,还是需要一些配套以发挥开源软件的所有潜能。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。