负责OpenAI安全事务的北京大学校友、OpenAI研究副总裁（安全领域）翁荔，已正式离职。

翁荔不仅是OpenAI的杰出华人科学家，更是ChatGPT项目的重要贡献者之一。

自北京大学毕业后，翁荔于2018年加入了OpenAI的大家庭。在GPT-4项目中，她深度参与了预训练、强化学习、对齐以及模型安全等多个关键环节。

值得一提的是，著名的Agent公式也是由翁荔提出的，其具体内容为：Agent=大模型+记忆+主动规划+工具使用。

不久前，翁荔还出席了2024Bilibili超级科学晚活动，并发表了题为《AI安全与“培养”之道》的主旨演讲。

在她宣布离职的消息后，包括OpenAI在内的众多同事纷纷向她送上了诚挚的祝福：

翁荔的离职宣言

在社交媒体上，翁荔也分享了她与团队的最后告别。

以下是离职信的详细内容：

亲爱的朋友们：

经过深思熟虑，我做出了一个艰难的决定——我将于11月15日正式离开OpenAI，这将是我在这里工作的最后一天。

OpenAI是我成长为科学家和领导者的摇篮，这里的每一刻都将成为我宝贵的回忆。OpenAI团队不仅是我的工作伙伴，更是我心灵的知己、人生的导师以及我身份的重要组成部分。

回想起2017年初初入OpenAI时的那份纯真好奇与满腔热情，我们是一群怀揣着不可能梦想与科幻未来的追梦人。

在这里，我踏上了全栈机器人挑战之旅——从深度强化学习算法到感知，再到固件开发，我们的目标是教会一个简陋的机械手如何解开魔方。虽然历经两年的艰辛努力，但我们最终取得了成功。

当OpenAI涉足GPT领域时，我们开始探索如何将最前沿的AI模型应用于现实世界。我亲自组建了第一个应用研究团队，推出了微调API、嵌入API以及审核端点的初始版本，为应用安全工作奠定了坚实的基础，并为早期的API客户提供了诸多创新性的解决方案。

在GPT-4发布后，我迎来了新的挑战，负责重新规划OpenAI的安全系统愿景，并领导一个专注于整个安全体系的团队。

这是我职业生涯中最艰难、最紧张却又最令人振奋的经历之一。如今，安全系统团队已经汇聚了超过80位杰出的科学家、工程师、项目经理以及政策专家，我为团队所取得的每一项成就都感到无比自豪。

我们见证了每一次发布的核心——从GPT-4及其视觉和Turbo版本，到GPT Store、语音功能以及01版本。我们设立了新的行业标准，致力于训练出既负责任又有益的AI模型。

我尤其为我们最新的成就o1预览版感到自豪，它是我们迄今为止最安全的模型，展现出了卓越的抗破解能力，同时保持了模型的有用性。

我们的集体成就令人瞩目：

我们教会了模型如何处理敏感或不安全的请求，包括何时拒绝服务，并通过遵循明确的模型安全行为政策，实现了安全与实用之间的完美平衡。

我们在每次模型发布中都提升了对抗性鲁棒性，包括针对破解的防御、指令层次结构，并通过推理大幅增强了鲁棒性。

我们设计了严格且富有创意的测试方法，使模型与《准备框架》保持一致，并为每个前沿模型进行了全面的安全测试和红队测试。

我们在详细的模型系统卡中强化了对透明性的承诺。

我们开发了业内领先的审核模型，具有多模式能力，并免费向公众共享。我们目前正在致力于开发一个更通用的监控框架和增强安全推理能力，这将为更多的安全工作流提供有力支持。

我们为安全数据日志、度量、仪表盘、主动学习管道、分类器部署、推理时间过滤以及一种新的快速响应系统奠定了坚实的工程基础。

回顾我们所取得的成就，我为安全系统团队的每一个人都感到无比骄傲，并坚信这个团队将继续蓬勃发展。我爱你们。

在OpenAI的七年时光里，我收获颇丰，现在我准备踏上新的征程，去探索未知的领域。OpenAI正沿着飞速发展的轨迹前进，我衷心祝愿这里的每一个人都能前程似锦。

附注：我的博客将继续更新。我或许会有更多时间来经营它，也可能会投入更多精力去编写代码。

爱你们的，

Lilian
OpenAI的安全主管如流水般更迭

自OpenAI成立以来，安全主管这一关键职位已经历了多次变动。

最早在2016年，达里奥·阿莫代伊（Dario Amodei）担任了OpenAI的安全主管。在他的领导下，安全系统团队专注于降低现有模型和产品的滥用风险，特别是围绕GPT-3的安全性进行了深入研究。

阿莫代伊主导了GPT-3的全面安全评估工作，以确保模型在发布前经过严格的安全测试和评估，从而最大限度地降低潜在的滥用风险。

他在OpenAI的工作为人工智能的安全治理奠定了重要基础。2021年，阿莫代伊离开OpenAI创立了Anthropic公司，继续致力于人工智能的安全研究，推动构建更具可信度和安全性的AI模型。

在阿莫代伊之后，亚历山大·马德里（Aleksander Madry）短暂地担任了两个月的安全主管。他在职期间主要关注对新模型的能力进行评估，并开展内部红队测试，以识别和缓解潜在的安全风险。

虽然他的任期较短，但他在红队测试和威胁预测方面的重要推进为OpenAI的安全实践提供了新的视角和方法论。2023年7月后，马德里转而专注于“AI推理”方面的工作，并离开了安全主管的职位。

此后，杨·莱克（Jan Leike）在2023年7月至2024年5月期间担任了安全主管一职。他与Ilya共同领导了“超级对齐”项目，目标是在四年内解决超智能AI的对齐问题。

在此期间，杨·莱克推动了使用小型模型监督和评估大型模型的研究，开创了对超人类能力模型进行实证对齐的新方法。然而，由于与公司在安全和产品优先级上存在分歧，杨·莱克于2024年5月宣布离职。

尽管如此，他在对齐研究方面的贡献仍然为后续人工智能的可控性研究奠定了理论和实践基础。而翁荔则是在2024年7月接任了OpenAI安全主管的职位。

关于翁荔的更多信息

翁荔不仅是OpenAI的杰出华人科学家和ChatGPT项目的重要贡献者之一，还是一位本科毕业于北京大学、在印第安纳大学伯明顿分校攻读博士学位的优秀人才。

毕业后，翁荔曾在Facebook短暂实习，并在Dropbox担任了软件工程师的第一份工作。2018年，她加入了OpenAI并深度参与了GPT-4项目的多个关键环节。

在OpenAI去年底成立的安全顾问团队中，翁荔领导着安全系统团队（Safety Systems），致力于解决减少现有模型如ChatGPT滥用等问题。

翁荔在Google Scholar上的论文引用量也达到了13000+次。她此前提出的关于LLM外在幻觉（extrinsic hallucination）的博文也备受关注。

至于翁荔离职后的去向，我们将持续关注并为您带来最新报道。