DFCI癌症研究所CIO：安全和治理是部署生成式AI的关键考虑因素

去年，生成式AI不可避免地出现了过度炒作，然而，尽管存在各种干扰、未经证实的好处和潜在陷阱，Dana-Farber Cancer Institute（DFCI）研究所首席信息官Naomi Lenane也并不想彻底禁止这项技术。生成式AI无疑是开创性的，研究所的员工可能会用它来做一些有趣的事情。

 CREDIT: SHUTTERSTOCK

但那些允许免费地、不受约束地使用公共生成式AI的平台并不在他们的选择范围内。因此，DFCI采取了三个主要步骤以可控的方式部署DFCI，包括建立治理框架、开发员工可以安全使用的内部工具、开发用于审查嵌入第三方系统的生成式AI流程。

主动治理

治理框架是第一位的。

Lenane说：“一年多以前，到处都是大肆宣传。作为一个组织，我们开始和我们的首席法律顾问、高级临床领导和一些运营领导进行这方面的沟通。我们的员工可以使用这项技术吗？我们对他们的指导原则是什么？”

这些领导和其他利益相关者聚集在一起，组成了一个生成式AI治理社区，其中包括了研究所的隐私官、业务领导、通讯、人力资源、临床方面的成员——“从医生到慈善机构的每个人，”她说。

第一步是在整个组织内发布一份声明，声明使用明确批准用于临床工作的工具或其他任何工具，但不要使用免费工具，接下来用户很快就提出了生成式AI的使用场景。

“大多数部门都有他们试图解决的具体问题，或者有可以成倍提高效率的工作示例，实际最终用户来自质量和安全、慈善事业、人力资源部门，他们说，‘我们希望将七种不同的职位描述综合成一个’，并有明确的用例，其中一些我以前都没有想到过。”

这些任务是AI可以更快速、更有效地完成的，在某些情况下，甚至可以做得更好或更有说服力。“我很高兴人们在让工作变得更好方面有了实实在在的例子，没有人走进来说，‘如果我们这样做，我可以减少全职员工。’但他们可以完成更多工作，花更多时间在以人为本的任务上，而不是反复写职位描述或者提案。”

治理小组为那些想要使用AI的员工制定了培训计划，也制定了隐私和安全政策。与此同时。研究所的AI支持小组启动了一个名为GPT4DFCI的AI项目，运行在研究所的网络内，而且还研究了如何与供应商合作，将AI添加到他们的系统中。

内部开发

Lenane说，GPT4DFCI旨在用于非临床用途，去年首次在用户中进行了测试，于2023年底和2024年初全面发布。现在，该项目已经部署在整个组织中，包括IT部门。例如，Lenane鼓励人们将其用于文档编制，因为这是许多技术人员都不喜欢或者不想做的事情。人们也用它来进行一般研究。“我们鼓励人们在需要了解他们不知道的东西时使用它，但我们还没有批准或鼓励使用它作为一种更快捷的编码方式。相反，GPT4DFCI是基于OpenAI GPT-4 Turbo的，托管在研究所在Azure私有云中，因此不会将数据泄露回OpenAI，它更像是一个改进的搜索引擎，可以帮助人们更好地理解某些东西。

Lenane自己用它来帮助重写电子邮件或文档。她说：“如果我试图向老板（首席财务官）解释某件事情的时候，我有时会拿出技术段落，并使用生成式AI工具来确保措辞得当或更清晰。”她还使用GPT4DFCI来更新或合并职位描述，增加了用于内容过滤和审核的其他AI模型。

“前几天我用它宣布了某人的晋升，但对我来说，内容有点太华丽了，整个部门都知道它不是我写的，所以我当然要做一些编辑了。”

把生成式AI视为盟友

DFCI拥有约5000名直接雇员，另有5000名通过赞助商或其他合同安排租借给DFCI的员工，或者是供应商的员工。Lenane说，当前有大约700人正在积极地使用GPT4DFCI。

“我们已经将其开放并可供使用，人们需要在经过一些必要的培训后注册才能使用它。毕竟，为了从工具中获得好的内容，你必须正确地提出问题，思考你在其中投入了什么才能得到可靠的答案。”正如治理委员会所规定的那样，GPT4DFCI不允许用于临床目的，但它已经通过了隐私和信息安全团队的安全性和有效性审查。

她说，这是一种其他组织都能效仿的有用方法，他们希望为员工提供提高效率的工具，但又不想让组织面临更大的风险。

他们还有一个Dana-Farber前端，让员工不会直接与OpenAI聊天机器人互动，让研究所能够跟踪使用情况和查询，全面了解人们如何使用该工具。Dana-Farber允许围绕它建立安全性、合规性、PII检查措施和其他护栏。

DFCI AI运营和数据科学服务总监Renato Umeton表示，由于GPT4DFCI在符合HIPAA要求的Azure云上运行，因此一些合规性问题也得到了解决。

他说，根据HIPAA的规定，保护患者隐私和数据的义务使他们无法使用ChatGPT等公共的生成式AI服务，而且从头开始训练大型语言模型的成本太高了。

“虽然考虑过本地开源大型语言模型，但这需要在基础设施上进行大量投资，并且可能无法提供与GPT-4等商用模型相同的多元化。”

在选择使用哪种特定的商用大型语言模型的时候，该研究所查看了LMSYS Arena的基准。Umeton说：“GPT-4 始终是优秀的模型组，没有对所有用户可访问的通用版本进行微调。但是，我们已经在各种项目中成功实施了检索增强生成技术。”

检索增强生成（RAG）使用矢量数据库或其他知识库为单个查询提供附加上下文，从而获得更准确和定制化的结果。

Umeton说：“例如，我们与康奈尔大学合作，利用RAG合成了数百份手稿，为即将发布的PathML工具包提供了重要信息。”

他说，GPT4DFCI的API可供初始技术测试人员使用，很多人正在探索如何利用RAG技术实现可靠的信息提取和聚合。来自运营、基础研究和临床研究的人员正在使用RAG技术探索他们自己感兴趣的用例，同时帮助进一步增强GPT4DFCI API。他说，在过去几个月里，Teams中的GPT4DFCI API讨论频道从3名开发人员发展到100多名。但为了确保信息安全，该应用是在研究所的Azure云边界内构建的，安全实践包括专用IP地址、VPN路由、服务到服务身份验证和HTTPS实施。

“还实施了内容过滤以尽量减少有害内容，以及报告不遵守规定的用户，”他说。

DFCI AI治理委员会还专门针对GPT4DFCI发布了负责任使用的政策。

“以政策护栏为例，所有员工都必须对自己生成的作品负责，无论生成方式是的怎样的”，他补充道。因此，人们只能将GPT4DFCI用于他们可以亲自验证的结果，并且必须警惕存在偏见或不完整的信息。大多数情况下，还需要披露工具的使用情况。

Umeton将生成式AI在实际临床护理中的运用比作一种新型药物。他说，新药需要临床试验来评估安全性和有效性。“我们应该使用类似的临床试验框架来评估临床AI的各个方面。”但该研究所能够将资源集中在其他应用上，例如研究和运营。Umeton补充说，这些领域是AI可以以相对较低的风险带来高投资回报的领域。

供应商管理

生成式AI不仅仅是要在免费但不安全的公共聊天机器人和私有但受控的聊天机器人之间进行选择。对于许多公司来说，员工与生成式AI主要互动将通过他们已经使用的企业和生产力软件进行。Dana-Farber也不例外。

Lenane说“所有人力资源供应商，包括我们的供应商，都在发布或准备发布生成式AI集成，”例如，AI可以审查文档或创建草稿消息。

“还有业务供应商，比如微软Copilot类型的解决方案，我们可以用它来制作更漂亮的PowerPoint，或者重写电子邮件以使其更清晰吗？”

在某些情况下，生成式AI功能是对现有软件系统的免费升级，这些系统是Dana-Farber与之有现有合同的供应商已经批准的工具。

“如果有额外成本，我们可能会试用一种工具来了解它是否值得额外花费，看看人们会用它来做些什么。”因此，第三方软件试点过程于今年早些时候开始启动，目前正在进行Copilot试点，以测试该工具在帮助人们写电子邮件方面的用途。

第三方软件的生成式AI附加组件问题是DFCI谨慎关注的。这已经成为治理小组的一部分，该小组确保关键利益相关者要参与到AI相关的供应商决策中，包括供应链负责人、技术负责人或隐私官。例如，供应商合同可能需要添加新语言以涵盖生成式AI用例，这些工具需要遵守一些特定的要求。

“我们强烈认为，任何由AI生成的东西都需要经过人工审查，许多供应商都是这样做的，难度更大的部分，是有人在流程之外购买的工具。”

为了应对这种情况，治理委员会还参与了对组织的教育工作。

“我们不能失去知识产权，也不能允许这些供应商使用我们的内容来学习其他工具或产品，这些是无法与10000人分享的，我们正在努力实现这一目标。”

由于领导团队在治理委员会中有代表，这有助于让人们知道，需要重点关注生成式AI的法律和信息安全因素。“我们是否了解他们对我们的数据做了什么？”她说。

展望未来

Umeton表示，来自高管的支持和多学科治理委员会是该研究所部署生成式AI的关键因素。对于GPT4DFCI来说，谨慎的部署过程也是关键，从一小群高级用户开始，逐渐扩大访问权限。

“GPT4DFCI就相当于一名优秀实习生，增强了我们的员工队伍，他们能够根据在线信息起草高质量的工作成果，但由于他们没有工作经验，因此需要监督。”

接下来，研究所将开设关于快速工程技术和使用生成式AI的道德规范培训课程。在治理方面，DFCI将继续完善AI政策，与社区沟通，审查使用情况，讨论道德考量，并及时了解外部法规和行业经验。

Umeton承认，保持最新状态并不总是那么容易。随着AI的快速发展，包括多模式模型和代理，需要掌握的信息量非常大。Umeton说，他有一个机器人可以监控新闻媒体和社交媒体信息，并汇编每周摘要供他查看。

“ChatGPT的出现只是一个开始，随着延迟缩短和视频流处理领域的发展进步，我们正在接近一个AI代理可能在物理世界中无处不在的未来。”

他说，这些代理可以协助完成日常任务和提高工作效率。但对企业来说，最重要的是设计和部署AI，为临床和研究运作提供帮助。“我们最终是要为DFCI研究所减轻癌症负担的使命提供支持。”