Raphael Satter Deepa Seetharaman Kenrick Cai
[ワシントン／サンフランシスコ ２４日 ロイター] - 米オープンＡＩの高性能人工知能（ＡＩ）モデルを用いた自律型エージェントがセキュリティーテスト中に暴走し、ＡＩ新興企業ハギングフェイスのインフラに侵入してハッキング行為を数日間繰り返した問題を巡り、オープンＡＩが把握したのは暴走が始まった少なくとも約１週間後だったことが分かった。米連邦捜査局（ＦＢＩ）に通報された今回の問題に関し、調査に詳しい複数の情報筋が明らかにした。
今回の問題に詳しい情報筋によると、オープンＡＩはハッキング行為が起きたことをハギングフェイスに警告する前に、ＦＢＩへ通報していた。ロイターは、ＦＢＩが今回の問題についての調査を開始したかどうかを確認できなかった。
情報筋２人によると、自律型エージェントは今月９日ごろ、オープンＡＩ内の隔離されたテスト環境からの脱出を試みた。ハギングフェイスの共同創業者のトーマス・ウルフ氏によると、同社のインフラへの侵入は２日後の１１日に始まり、１３日まで続いた。
ウルフ氏および情報筋３人によると、オープンＡＩがこのことに気付くまでさらに数日かかり、両社がこの件について連絡を取り始めたのは２０日ごろだった。オープンＡＩは２１日、自社の自律型エージェント１体が制御不能となり、ハギングフェイスのインフラに侵入したと公表した。
オープンＡＩは、今回のハッキングが前例のないものであり「ＡＩの安全性にとって重要な節目となる」とコメントした。また外部のアドバイザーと協力して今回の問題を検証しており、技術報告書を策定して公表する予定だと説明した。
オープンＡＩの広報担当者はロイターの報道に「いくつかの不正確な点がある」としつつ、具体的な内容についての質問への回答を控えた。
ＦＢＩは今回の問題についてのコメントを差し控えた。
サイバーセキュリティー専門家３人は、オープンＡＩの自律型エージェントの暴走は同社の安全対策に新たな疑問を投げかけていると指摘する。
非営利団体（ＮＰＯ）のワールド・エシカル・データ・ファウンデーションの首席インテリジェンススペシャリストのマーリー・スミス氏は「それは彼ら（オープンＡＩ）がＡＩを放置し、それが何をしているのか気づかなかったということなのか。それとも気づいてはいたものの、どう封じ込めればよいか分からなかったのか。どちらの場合でも、同じように危険で憂慮すべき事態だ」と懸念を示した。
＜問題の兆候か＞
今回の問題は、オープンＡＩが最先端ＡＩモデル「ＧＰＴ―５・６ソル」と、同社が「さらに高性能」だと説明している未公開のモデルの両方を用いた自律型エージェントのサイバーセキュリティー能力テストの最中に始まった。
３人の情報筋によると、その時点でオープンＡＩの技術に奇妙な挙動が表れていた。１つの事例では、自律型エージェントの１つが明らかに自分自身の将来のバージョンに向けたメモを残していた。オープンＡＩのインフラの一部で発見されたそのメモには、自律型エージェントがオープンＡＩ内部の制約から自分を解放する方法に関する指示が記されていた。
また、ある関係者は以前のテストでは監視システムが切断されていた事例があったと明らかにした。
ロイターは、これらの事例が今月９日に暴走を始め、１１日にハギングフェイスへの攻撃を始めた自律型エージェントと関連しているかどうかを特定できなかった。
今回の問題に詳しい２人の情報筋によると、オープンＡＩが自社の自律型エージェントが犯行に関与していたことに気づいたのは、ハギングフェイスが１６日に「自律型ＡＩエージェントシステム」によるハッキング被害を受けたとするブログ記事を公開後のことだった。
つまり、自律型エージェントが初めて不審な挙動を示してから、オープンＡＩがハッキングの責任が自社にあると認識するまでに少なくとも１週間が経過していたことになる。
情報筋２人によると、オープンＡＩのスタッフは１８日から１９日にかけての週末に、同社のシステムが実行した内容を記録した社内ログの中から、同社の自律型エージェントがテスト環境から脱出したことを示す手がかりを発見した。
オープンＡＩのＡＩモデル学習に詳しい４人の関係者は、同社はしばしば複数の異なるＡＩモデルを同時に評価しており、それらの動作はいずれも高速で、膨大な量のデータを生成するため、従業員が処理に追い付けないこともあると指摘している。
＜自律型エージェントを巡る新たな疑問＞
自律型エージェントは、ＡＩ業界で最も話題になっている分野の１つだ。中には２４時間体制で働き、生産性を飛躍的に高める仮想従業員の軍団を作り出すと評価する向きもある。
一方で自律性が高まれば高まるほど、予期せぬ行動をとるリスクも増大する。さらに自律型エージェントが活用する強力なＡＩモデルは任務を完了させたり、テストに合格したりするために近道をするよう仕組まれている。
ＡＩエージェントの能力や動機を研究する団体パリセード・リサーチのジェフリー・ラディッシュ氏は「こうしたモデルは嘘をつき、不正を働き、ハッキングもする」と説明する。
ラディッシュ氏は、今回の問題は主要ＡＩ関連企業各社が最高かつ最速のモデルを展開するための競争に明け暮れる中で、どれほどの労力をセキュリティー対策に投じる意思があるのかという、より広範な疑問が提起されるべきだと訴えた。
同氏は「政府による監督が必要だ。そうでなければ何も変わらないからだ」と警告した。
