黑箱时代的“勿伤害”原则：写给 AI 从业者的希波克拉底誓言

2009 年，在一代人以来最严重的金融危机之后，量化分析师（Quants）成为众矢之的。总之要留意ai量化交易系统。

物理学家和数学家们构建了精妙的风险模型，在模型中输入关于流动性（Liquidity）、相关性（Correlation）等假设，然后金融机构依据这些模型输出进行了大规模押注。

当尘埃落定之后，著名量化金融学家
Emanuel Derman
和
Paul Wilmott
共同撰写了《建模者的希波克拉底誓言（Modelers’ Hippocratic Oath）》。

这份誓言不足百字，却提醒从业者保持谦逊：

地图并不等于真实世界；

模型只是用数学语言讲述的故事；

而故事，也可能是错误的。

十五年后的今天，我们正站在一个更宏大、也更危险时代的开端。

至少当年的金融建模师知道自己的模型内部发生了什么。

他们亲手写下方程式；

他们理解模型结构；

理论上，他们能够追溯损失产生的根源假设。

而今天部署大型语言模型（LLM）的人却做不到这一点。

事实上，没有人能够完全做到：

训练模型的工程师做不到；
研究模型行为的科学家做不到；
押注企业未来的高管也做不到。

从某种意义上说，这令人不安。

这并不是反对 AI。

恰恰相反。

这与当年 Derman 和 Wilmott 所倡导的是同一件事：

认识论上的诚实（Epistemic Honesty）

原版誓言反对的是傲慢（Hubris），而不是数学。

新版誓言反对的是草率（Carelessness），而不是人工智能。

因此，我提出一份面向所有 AI 从业者的誓言：

不仅包括研究人员，

还包括：

产品经理（Product Managers）
采购负责人（Procurement Officers）
咨询顾问（Consultants）
AI 专家（所谓的 LinkedIn AI Experts）
企业管理层（Executives）

以及任何参与 AI 系统建设、部署、集成和决策的人。

AI 从业者誓言
The AI Practitioner’s Oath

第一条：我将牢记：我并没有创造这个模型，而且模型本身也不会向我解释其运行机制。
我不会把语言流畅性（Fluency）误认为理解能力（Understanding），也不会把自信表达（Confidence）误认为正确答案（Correctness）。

第二条：我会大胆使用 AI。

但仅限于它真正能够创造价值的场景。

我不会仅因为 AI 的输出：表达流畅，听起来合理，响应速度快，

就对其结果产生盲目信任。

第三条:我绝不会为了便利性而牺牲透明度（Transparency）。

当我无法解释系统为何给出某个结果时，

我会坦率地承认这一点，

无论面对：同事、客户还是我自己。

第四条:我不会给予依赖我工作的人虚假的安全感。

我会明确说明：模型的能力边界；训练数据边界；已知局限性；

以及：模型可能在极其自信的情况下依然犯错。

第五条：我会将模型输出视为人类判断的起点，而非终点。

AI 不应替代人的判断。

事实上：

人类监督（Human Oversight）并不是系统的弱点。

它本身就是系统的一部分。

第六条：我不会因为技术上能够自动化（Automation）就盲目推进自动化。

在移除人工决策环节（Human-in-the-loop）之前，我会认真思考：

谁会从中受益？

又是谁将承担风险？

第七条：我会牢记：模型继承了其训练数据以及现实世界中的：

偏见（Bias）
缺失（Omissions）
缺陷（Failures）

把这些问题包装进模型，

并不会让它们自动消失。

第八条：我理解自己的工作可能对以下对象产生巨大影响：

个人（Individuals）
企业（Institutions）
社会（Society）

其中很多影响超出了我的理解范围，

甚至可能是不可逆的（Irreversible）。

因此，我将以应有的谨慎态度行事。

谁应该宣读这份誓言？

Derman 与 Wilmott 当年将誓言写给量化分析师。

在那个时代，这十分必要。

2008 年金融危机中，风险并不仅仅停留在量化团队内部。

真正的问题在于：

量化模型产生的风险扩散到了整个金融体系。

而量化团队之上的管理层、董事会以及监管机构，

往往并不了解模型，

因此无法提出正确的问题。

今天的 AI 行业正在重演这一模式。

因此，这份誓言不应只属于工程师。

它同样适用于：产品经理

那些在需求文档中写下“AI Powered”，

却从未思考模型出错后果的人。

采购负责人

那些相信供应商宣传中的准确率（Accuracy），

却从未追问：

准确率如何测量？
在什么样本群体上测量？
在什么业务场景下测量？

企业高管

那些批准上线时间表，

却从未建立异常升级机制（Escalation Path）的人。

咨询顾问

那些建议企业全面自动化，

却从未计算失败成本（Cost of Failure）的人。

AI 时代最大的风险：
认知不对称（Knowledge Asymmetry）

AI 领域正在形成越来越严重的知识不对称。

然而：对技术不了解，

从来都不是逃避责任的理由。

作者举了一个例子：

飞行员并不需要了解涡轮叶片的冶金学原理。

但他们必须了解飞机的能力边界与运行限制。

AI 从业者也应如此。

我们不需要无所不知（Omniscience）。

但我们必须具备：

真实认知（Honest Awareness）
风险校准能力（Risk Calibration）
清晰表达能力（Clear Communication）

并在关键时刻勇于说出：

我们并不知道。

结语

2008 年的建模者忘记了一件事：

方程式并不等于现实世界。