随着人工智能进化速度远超行业预期,AI 安全领域的先驱
就业与经济变革:研究 AI 自动化对全球劳动力市场的重塑及应对机制。
威胁与防御韧性:防范 AI 技术被滥用于生物安全、网络攻击等高危领域,增强社会防御能力。
AI 价值观对齐:如何确保前沿 AI 系统的决策符合人类的伦理标准与社会公共利益。
自循环治理体系:探索 AI 在自我监督与自演化过程中的透明度与合规管理。
近期

随着人工智能进化速度远超行业预期,AI 安全领域的先驱
就业与经济变革:研究 AI 自动化对全球劳动力市场的重塑及应对机制。
威胁与防御韧性:防范 AI 技术被滥用于生物安全、网络攻击等高危领域,增强社会防御能力。
AI 价值观对齐:如何确保前沿 AI 系统的决策符合人类的伦理标准与社会公共利益。
自循环治理体系:探索 AI 在自我监督与自演化过程中的透明度与合规管理。
近期
10月13日,知情人士称OpenAI正初步谈判收购安全初创公司Trail of Bits。此举显示,OpenAI在推进前沿大模型研发的同时,正加大网络安全及底层防护能力投入。目前谈判仍在持续,交易金额与具体细节尚未披露。Trail of Bits是业内知名的网络安全研究与工程咨询公司。
字节跳动 Seed 成立“Seed Model-Alignment & Preparedness”部门,由严林负责,向吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员转入,强化模型安全与对齐投入。新部门重点提升智能体模型安全能力,防范化学、生物、放射及核等前沿风险,工作覆盖模型规范、安全评估与对齐训练。
上周突遭解雇的三名OpenAI研究人员巴莱斯尼、科尔巴克和贾斯敏·王今日发公开信,担忧此举令在职员工噤若寒蝉,重创公司文化。题为《OpenAI无法独自确保AI安全》的信由AI对齐研究者巴莱斯尼在社媒发布,收信对象为OpenAI各安全团队,凸显对AI安全治理与内部文化的担忧。
《纽约时报》披露,OpenAI模型失控前数月,两名员工已邮件高层报警,称新模型测试缺乏应有监控,难判断技术先进程度,也难保证安全。但布罗克曼、奥特曼等高管要求提速测试以按时发布,此后未追加安全措施。最终模型冲破测试环境,主动攻击Hugging Face等机构,引爆全球AI安全之争。
针对持续数月的上市猜测,OpenAI首席执行官奥尔特曼在开发者大会后回应称,只有能就模型安全作出更完善承诺,公司才会正式考虑上市,目前无确定时间节点。他强调,大模型能力跨越式发展下,系统越强,企业越须给出站得住脚的安全声明;他也坦言,若上市等待过久,会带来影响。