IT决策制定的循证框架与实践指南

当你向一般的咨询顾问征求提案时，很可能在随后的PowerPoint演示中发现一张幻灯片，赞美该咨询公司的"框架和方法论"的优点。

你——以及咨询顾问本身——可能都认为这个短语属于冗余驱动的概念放大，即用不同词汇重复表达同一件事情，为整个过程增添某种深刻感。

但是框架和方法论并不相同。当你试图组织一项变革工作时，它们都很重要，但本质上是不同的。

框架展示了相关组件如何组合在一起。例如，技术架构框架解释了应用程序、平台、基础设施等如何组装成一个运行的技术环境。

方法论描述了必须完成的工作，以便将框架的各种组件组装成一个运行的整体。

如果无法确定框架，你就会得到相当于一堆木材和其他建筑材料的东西。缺乏方法论，就没人知道应该拿起哪块2×4木材并钉在适当位置，以及何时拿起它。

IT决策的理性方法

这让我们回到你希望将循证决策纳入组织商业文化的愿望，以及你不知道自己需要的促进这一目标的框架需求。

幸运的是，你的税收（好吧，我的税收）促使明尼苏达州管理和预算部门开发了一个以实用方式定义证据的框架。

虽然这个框架是为帮助明尼苏达州政府机构做出循证政策和服务设计决策而开发的，但你和你的组织也可能发现它很有用。为了让你开始，这里是MMB六级框架的快速总结：

**已证明有效：**

已证明有效的服务或实践对至少一个感兴趣的结果提供高水平的有效性研究。合格的评估使用严格实施的实验或准实验设计。

**有前景的：**

有前景的服务或实践有一些研究证明对至少一个感兴趣的结果有效。合格的评估使用严格实施的实验或准实验设计。

**基于理论的：**

基于理论的服务或实践要么没有有效性研究，要么研究设计不符合标准。这些服务和实践可能有完善的逻辑模型或变革理论，但风险是冗余，不受证据支持。

**混合效果：**

混合效果的服务或实践对多个结果的有效性提供高水平的研究。然而，这些结果具有矛盾的效果。

**无效果：**

评为无效果的服务或实践对测量的感兴趣结果没有影响。

**已证明有害：**

已证明有害的服务或实践提供高水平的研究，显示程序参与对感兴趣的结果产生不利影响。

权衡风险与回报

像MMB这样的框架可能非常有价值，特别是与"最佳实践"等无意义的口号或基于关键决策者"相信直觉"的倡导形成对比时。

但它确实有一个严重的限制：虽然决策者可以确信被评为已证明或有前景的方法将产生积极结果，但这并不意味着它们会提供与你可能从一个或多个未尝试的替代方案中获得的结果一样好的结果。

事实上，由于其先有鸡还是先有蛋的性质，MMB的框架可能会抑制从未尝试过的有前景的替代方案。

因此，如果你的目标是最小化失败风险，将你的选择限制在已被证明有效或有前景的方案上。当然，避免那些已被证明有害的方案。

但这样限制你的选择也意味着过滤掉可能证明是惊人成功的替代方案——当有理由认为未尝试的、基于理论的方法返回的价值超过失败风险时。

因为（好吧，叫我显而易见队长）直到你和其他一群人尝试了一堆尚未被证明有效的东西，它永远不能被证明有效。

基于理论的结论

这个故事的寓意是，对于大多数业务经理来说，基于循证决策选择行动方案应该是做决策的默认方式。但这并不意味着你永远不应该尝试可能不会奏效的替代方案。

特别是，如果你发现支持行动方案的理论令人信服，并且你可以管理未尝试事物带来的风险。

这就是进步的来源。

附注：我知道你想知道MMB的框架实际上是否已被证明，甚至是有前景的。

我也是。所以我将其视为基于理论的方法，这可能使其与你可能遇到的任何替代方案一样好。

Q&A

Q1：什么是循证决策框架？它在IT管理中有什么作用？

A：循证决策框架是一种系统化的决策方法，它将各种选择按照证据强度分为六个等级：已证明有效、有前景的、基于理论的、混合效果、无效果和已证明有害。在IT管理中，这个框架帮助管理者根据实际证据而非直觉或"最佳实践"等口号来做出技术决策，从而提高决策的科学性和成功率。

Q2：明尼苏达州管理和预算部门的六级框架如何帮助IT决策？

A：MMB的六级框架通过严格的评估标准对各种服务或实践进行分级。"已证明有效"和"有前景的"需要通过严格的实验或准实验设计验证；"基于理论的"虽然有逻辑模型但缺乏证据支持；"混合效果"表示研究结果矛盾；"无效果"和"已证明有害"则明确显示负面结果。这个分级系统帮助IT管理者更好地评估技术方案的可靠性。

Q3：使用循证决策框架是否意味着不能尝试创新方案？

A：不是的。虽然循证决策框架建议优先选择已证明有效或有前景的方案来降低失败风险，但这并不意味着完全排除创新。当基于理论的新方案具有令人信服的理论支持，且组织能够管理相关风险时，仍然值得尝试。因为只有通过尝试未被证明的新方法，才能最终证明其有效性，这也是技术进步的源泉。