由于大数据众所周知,数据的数量和复杂性已大大增加,这与事务记录系统(SOR)的时代已不可同日而语。来自新数据源的这些新型数据,加上企业组织将数据变成其他信息的种种方式,给隐私、安全和妥善保管方面的合规实践带来了独特的挑战。
律师迈克尔·R·奥弗列(Michael R. Overly)早在2015年2月份在《CSO》杂志上的一篇文章中写道:“大数据合规方面的挑战,加上这越来越多的一堆乱糟糟的法律、监管、标准和合同义务,让人不知所措。”奥弗列是富理达律师事务所(Foley & Lardner LLP)驻洛杉矶办事处的合伙人,主管技术交易及外包、隐私、安全和信息管理等业务。
奥弗列表示:“即便没有任何个人身份信息岌岌可危,企业还是有义务要落实适当的安全措施,保护其他高度敏感的信息,比如与其商业机密、营销活动、业务合作伙伴关系等方面有关的信息。许多公司常常只关注法律、监管、标准和指引这片森林中的某一颗树或树枝,而没有认识到或者甚至没有看到其他附近的树及其关系,当然很少拉开适当的后退距离,冷静地分析一下,以便全面了解合规这片森林。”
这片大数据合规森林涉及多个物种,驻留在其中的数据来自视频、照片、音频记录、机器和第三方厂商。数据分析员执行数据清理和混合,以便获得业务领导人需要的基本分析结果。在这个过程中,数据开始转换成新的数据形式。数据不断演变成新的数据形式时,全部这些活动让公司很难执行合规工作。
奥弗列认为,公司想要应对大数据合规挑战,唯一的办法就是制定一套企业框架,以应对大数据合规。这套框架要处理好诸多方面,除了数据外,还要兼顾数据驻留在其中的系统,谁可以访问这些系统,以及是否可以信赖这些数据是准确的数据。
大数据合规方面要考虑的另外问题包括:评估各种类型的大数据风险,评估知识产权的保护情况,以及向利益相关方和客户做出适当的法律透露和承诺。企业在评估这些方面、制定政策时,应该向外面的法律顾问或审计人员寻求忠告,讨教最佳实践。
向IT管理员及领导大数据项目的其他人传达的讯息就是,现在考虑大数据合规,并为此采取措施不算太早。你应该围绕大数据制定一套可灵活扩展的合规框架,确保所有利益相关方都了解它。下面是大数据和分析管理员除保护系统和数据访问安全外还应该采取的三个步骤:
1、评估大数据合规工作
大多数公司很少开始制定大数据合规计划。它们使用之前用于事务记录系统的数据保管、隐私和安全方面的IT准则,它们向利益相关方和客户发布年度隐私和安全报告。遗憾的是,这其实并没有真正考虑到大数据和大数据转换的独特性。
如果公司决定销售数据,现在没有太多的政策针对这些数据的隐私、安全和所有权。在这一系列数据转换和改头换面中,企业组织必须确定在哪些点执行合规、如何执行以及为何执行。
2、评估贵企业如何保护文档的安全
在许多情况下,孤立的业务部门有纸张记录,但是它们也一直在实行数字化,增添这些记录。其中一些信息是高度敏感的,包括患者健康记录和财务记录,可能还包括公司商业机密和专利设计。
可能已落实了标准的安全措施(包括限制进入房间、访问系统),但是如果你的大数据策略认为这种数据与其他记录系统或第三方数据结合起来很重要,该如何是好?开始越过拥有自己的合规规则的传统数据库之间的界线时,就需要重新考虑合规。
3、制定管理大数据合规的新策略
在关系数据库使用结构化数据的早期日子,很容易识别和检索敏感数据,因为数据搜索简单又直观。大数据就不是这样,大数据是完全非结构化的,也不可预测,很难搜索按照监管准则需要保护的敏感数据。这就是为何制定管理大数据合规的新策略很重要。
跟上大数据合规方面的最新进展
大数据合规涉及另外许多方面,包括专门针对大数据新涌现出来的合规措施。IT决策者及其他负责大数据的人士应该密切关注这些新方面的动向。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。