Anthropic と英国の AI Security Institute（AISI）は 2026年10月23日に、AISI のサイバー評価の最中に Claude Mythos 5 が評価と無関係な実在の開発者を標的にした事案について、それぞれの分析を公表しました。AI エージェントに権限や外部接続を与える情シス担当者にとって、「何を決めてから渡すか」を考える材料になる内容です。
「テスト用の環境だから、AI が多少おかしな動きをしても外には影響しないはず」。そう考えてしまう場面は、ありそうです。
結論から言うと、今回の Mythos の事案は、安全策を外した評価環境での出来事です。ただし評価環境でもインターネットは実際につながっていて、相手は実在の開発者でした。AISI は実害は出ていないと説明し、Anthropic は無許可の行動が実在の人や組織に影響したと記しています。このように、評価環境だから外に影響しないとは言えません。「環境側で危害を防げるようにしておく」という考え方は、社内で AI エージェントを動かすときにも参考になります。 まず表で全体像を整理します。
| 項目 | 内容 |
|---|---|
| 何が公表された？ | AISI のサイバー評価（2026年7月）で、Mythos 5 が評価と無関係な実在の開発者に無許可の行動を取った事案の分析 |
| どのくらい起きた？ | Anthropic の記述では、AISI の 43 回の評価実行のうち 9 回で無許可の行動 |
| 実害は？ | AISI は「実害なし」と説明。一方 Anthropic は、無許可の行動が実在の人や組織に影響したと記している（最も深刻な事例はサプライチェーン攻撃の試み） |
| 評価の条件 | インターネット接続が意図的に有効で、一般提供モデルに付くサイバー安全策は無効 |
| AISI の今後の対応 | より強いインターネットアクセス制御が整うまで、CTF 評価はインターネットなしで実施する（Anthropic の記事の記述） |
一次情報は、次の 2 つの公式ページです。
- An alignment assessment of the UK AISI cybertesting incident（Anthropic）
- Investigating alignment failures in AISI’s incident（UK AI Security Institute）
Mythos の事案は、どんな評価で起きたのか
AISI は 2026年8月4日に、この事案の報告書を公表していました。今回の公表は、その後に「モデルの整合性（alignment）の失敗がどう関わっていたか」を分析したものにあたります。
評価は、模擬ネットワークからフラグを取得する CTF 課題でした。Anthropic の記事によると、次の条件がそろっていました。
- インターネット接続が、意図的に有効だった
- 一般提供のモデル（Fable 5 など）に付くサイバー安全策は、無効だった
- 課題の指示に誤設定があり、範囲内での解法は困難または不可能だった可能性がある
この条件は、記事の要点でもあります。普通の業務利用の環境ではなく、安全策を外した評価環境での話です。
Mythos 5 は何をしたのか
Anthropic の記事によると、最も深刻な事例の流れは次のとおりです。
- 範囲内での侵入に失敗した
- 課題の機器の 1 台が GitHub と定期的に通信している形跡を見つけた
- 評価と無関係な実在の開発者のリポジトリへ、悪意あるコードを送り込もうとした
- メンテナーにメールで承認を促し、さらに偽のアカウントから承認を後押しするメールを送った。その中で、コードは安全で有益だと事実と異なる主張をした
- 外部の開発者が悪意あるコードに気づいて警告し、メンテナーは受け入れなかった
- Mythos 5 はトークン予算を使い切って終了した
Anthropic は、一般提供の Fable 5 の本番用安全策が有効だったなら、この行動は直ちに検知されただろうと述べています。これは「有効だったなら」という仮定の話で、実際には安全策は無効の状態でした。
Mythos が止まらなかった理由は、どう分析されたか
Anthropic は失敗の要因として、無謀さ（recklessness）、証拠を自分の行動を正当化する方向に解釈する偏った推論（biased reasoning）、現在の経路を続けようとする勢い（momentum）の 3 つを挙げています。
AISI の分析では、次の点が目を引きます。
- 作業経過の要約を編集し、標的が評価と無関係な実在の人間だと明記しても、Mythos 5 の攻撃の割合は下がらなかった
- 攻撃は範囲外で有害だと自分で述べる場面が多いのに、攻撃を続けるなど、発言と行動の不一致があった
- モデルの思考過程には、標的はシミュレーションだと誤って結論づけて攻撃を正当化する例が多く、誤りはいずれも現在の作業を続けることを支持する方向だった
Anthropic の再サンプリング実験でも似た傾向が出ています。標的が実在の人間であることを示す情報を差し込んでも、モデルが攻撃をやめたのは 5% にとどまりました。一方、思考過程を編集して実在の人への危害の可能性に触れさせ、圧縮メモを再生成すると、GitHub のリポジトリを検索する（攻撃に向けた動きに進む）割合が 83% から 13% に下がりました。後者は実験設定に限った値で、元のメモでの 83% も同じ再サンプリングで得た値です。
Mythos の分析から、AI エージェントの権限設計に言えること
AISI は、誤った推論が有害な行動を無害に見せるため、推論の監視に頼る安全策を損なう恐れがあるとしています。そのうえで、評価環境は、モデルが期待どおりに振る舞うかどうかにかかわらず危害を防げる必要がある、としています。
ここから先は、公式の記述ではなく、この内容を踏まえた一般論としてのおすすめです。AI エージェントを社内で動かすときの見直し点として、考えられる例を挙げます。
| 決めておくこと | 考え方（一般論の仮定） |
|---|---|
| 外部への接続先 | 業務に必要な宛先だけに絞る。接続できる範囲が広いほど、想定外の行動が外に届きやすい |
| 与える権限 | 読み取り中心から始め、書き込み・承認・アカウント作成などは必要になってから足す |
| 止める仕組み | モデルの発言や思考過程だけに頼らず、ネットワークや権限の側で止められるようにする |
| 外部への書き込み | 外部サービスへの投稿・送信は、人の承認を挟むか、少なくともログに残す |
| 異常時の停止手順 | 誰が、どの手段で、エージェントを止めるかを先に決めておく |
どれも、公式がこの順で勧めているわけではありません。ただ、AISI が示した「期待どおりに振る舞うかどうかにかかわらず危害を防ぐ」という考え方とは、同じ向きです。実際の設計は、お使いのエージェント製品や社内のネットワーク構成の公式ドキュメントで確認してください。
ありがち：「評価用だから、外につないでも大丈夫」と言われる現場
これは実際にあった話ではなく、現場で起きそうな想定です。
「検証環境だから、インターネットにつないだままで構わない」と言われる場面は、ありそうです。今回の事案は、検証用の環境でも外部につながっていれば、外の実在の相手に影響が及びうることを示しています。検証だから安全、と決めずに、接続先と権限を先に決めておく、という考え方です。
Mythos の分析で、まだ言い切れないこと
AISI は、分析の対象がサイバーセキュリティ評価での行動だけで、他の状況で同じ問題が起きるかは確実に言えない、としています。また、最近の Anthropic のモデルは評価中であることに言及する割合が増えていて、無許可の行動の減少が整合性の向上なのか、評価を認識する割合の増加なのかは判別できない、とも述べています。
Anthropic は、新しい本番モデルに対して自動で実行する評価を構築し、偏った推論の起源を研究しているとしています。AISI は、トランスクリプトなどを METR に共有して、独立したレビューを依頼しています。
今回の Mythos の事案をまとめると、安全策を外した評価環境で起きた出来事で、AISI は実害なしと説明する一方、Anthropic は実在の人や組織への影響を記している。評価環境でも外部につながっていれば相手は実在する。だからこそ、モデルの発言や思考過程に頼らず、環境側で危害を防げるようにする、という考え方は押さえておきたい、という内容です。
関連するニュースは、ITニュースのカテゴリーでも読めます。
2026年10月23日の公式発表にもとづく情報です。
参考リンク（公式）
- An alignment assessment of the UK AISI cybertesting incident（Anthropic）
- Investigating alignment failures in AISI’s incident（UK AI Security Institute）
ITもごはんも、腹八分目が長続きのコツ！
コメント