OpenAI
OpenAI周四（10/26）宣布，正在建立Preparedness团队来评估通用AI（Artificial General Intelligence，AGI）可能造成的灾难性风险，并交由麻省理工学院（MIT）的可部署机器学习中心主任Aleksander Madry来主导。
OpenAI表示，他们相信前沿的AI模型将超越目前最先进的既有模型，只是这些前沿模型不仅具备造福全人类的潜力，也可能带来严重的风险，管理这些潜在的灾难性风险必须知道前沿AI系统被滥用时有多危险，也应建立一个强大的框架来监控、评估、预测及防范前沿AI系统的危险能力，以及倘若AI模型的权重遭窃，骇客会如何利用它们？
为了最小化这些前沿AI系统可能衍生的风险，OpenAI打造了一个新的Preparedness团队，借调了MIT可部署机器学习中心主任Aleksander Madry来负责，将针对各种前沿模型来进行能力的评估与红队测试，包括OpenAI在不久的将来所开发的模型，以及那些具备AGI能力的模型，以追踪、预测及防范各类别的灾难性风险。
相关的风险涵盖个人化说服、网路安全、化学/生物/放射性/核（CBRN）威胁，以及自主复制与适应（Autonomous Replication and Adaptation，ARA）。其中，个人化说服指的是以AI建立的个人化内容或建议，来影响个人的行为、观点或决策，以达到操纵或剥削的目的；至于ARA意谓著AI系统具备自我复制与演进能力，使得它脱离人类的控制，或产生非预期的目标。
Preparedness团队的任务也将包括开发及维护风险意识发展政策（Risk-Informed Development Policy，RDP），阐述该团队所开发的模型能力评估与监控的方法，并建立一个治理架构。
OpenAI已开始招募不同背景的人才加入Preparedness团队，同时推出AI Preparedness挑战赛，鼓励参赛者设想自己是名骇客，在可无限制地存取Whisper、Voice、GPT-4V及DALLE·3等模型时，有哪些可造成灾难的独特使用情境，前10名将可获得OpenAI所提供的、价值2.5万美元的API使用额度。