シード・バイチュンは最近、「シード・モデル・アライメント&プリペアドネス」部門を設立し、イェン・リンが担当し、シードの責任者であるウー・ヨンフエに報告する。元のResponsible AIチームおよび一部のチャットチームのメンバーは新部門に移動し、モデルのセキュリティとアライメント分野へのさらなる投資を強化する。

新部門は、インテリジェントエージェントモデル(Agent Model)のセキュリティ能力を重点的に向上させ、化学、生物、放射性、核(CBRN)などの先端的な能力によって生じる潜在的なリスクを防止する。その業務は、モデルの規格策定、セキュリティ評価システムの構築、アライメントトレーニング、防御システムの構築およびリスクモニタリングをカバーし、外部の研究機関や第三者評価機関との公開協力を強化する。

知られているように、大規模なモデルの能力と自律性が増すにつれて、モデルの行動が予期されたものから外れる、エージェントの悪用、ネットワーク攻撃などのセキュリティ問題がより注目されるようになった。これまで国内の大規模モデルチームのセキュリティとアライメントの作業は企業全体のセキュリティコンプライアンス体系に含まれていた。今回の調整は、シードがセキュリティとアライメントを独立した職能として建設することを意味している。関係情報によると、シードは国内で初めてセキュリティとアライメント部門を単独で設置した先端AIラボである。

シード内では、セキュリティとアライメントはリスク防止だけでなく、モデルが複雑な状況でスケーラブルに適用できるかどうかにも影響すると考えている。新部門は、先端モデルがセキュリティ規範と権限制約の下で効果的にタスクを遂行できることを目指し、モデルの悪用や行動の逸脱リスクを継続的に低減し、未知のリスクに対応するためのセキュリティシステムを整備する。