在传出已经解散成立不到一年的超级对齐(Superalignment)团队之后,OpenAI董事会周二(5/28)宣布成立了一个新的安全委员会(Safety and Security Committee),将负责针对OpenAI专案与经营的安全决策向董事会提出建议,而该委员会的主要领导人为OpenAI董事长Bret Taylor、执行长Sam Altman,以及另外两名董事成员Adam D’Angelo与Nicole Seligman。
OpenAI表示,最近该公司开始训练新一代的前沿模型,预期其最终系统将能在前往通用AI的道路上达到一个新的能力水平,即使它们自豪于可以建置与推出同时具备能力及安全的模型,但在此一重要时刻依然欢迎辩论。
该委员会的首个任务便是在未来的90天,评估与发展OpenAI的安全流程及保障措施,完成后再向董事会提出建议,经过董事会的审核后再与大众分享最终决议。
除了上述的4名成员之外,此一安全委员会也会延揽OpenAI的技术与政策专家Aleksander Madry、安全系统主管Lilian Weng、对齐科学主管John Schulman、安全主管Matt Knight及科学长Jakub Pachocki加入,并聘请外部的安全及技术专家来支援。
不过,外界批评由执行长Altman来主导安全委员会有球员兼裁判之嫌,何况原本共同担纲超级对齐团队负责人的OpenAI共同创办人Ilya Sutskever与OpenAI研究人员Jan Leike先后离职的原因,都是不满OpenAI对安全的重视不足。
此外,先前参与罢黜Altman的OpenAI前董事成员Helen Toner,本周在一个播客节目《The Ted AI Show》上透露,当初Altman之所以会被免职是因为Altman确实向董事会撒谎并隐瞒许多事情,包括没有完全公开OpenAI的安全流程,而当初董事会更是经由Twitter才知道OpenAI发表了ChatGPT。
本月才离开OpenAI的Leike已经找到了新工作,宣布将加入Anthropic,继续从事超级对齐任务,此一新团队将致力于推动可扩展的监督、由弱至强的泛化,以及自动化对齐研究等,并正在招兵买马。
Anthropic是由来自OpenAI的兄妹档Dario Amodei与Daniela Amodei共同创办,同时获得Amazon与Google的投资,所开发的Claude模型被外界视为是市场上最有潜力挑战GPT的产品。