米国の著名なジャーナリスト、シェイン・ハリス[1]のイランの小学校爆撃に使われたことに関するClaudeとの会話[2]が示唆深い。実は、この最後のところを5月のEuropean Identity & Cloud Conference (EIC2026) でも使わせていただいた。専属哲学者アマンダ・アスケル氏の、AIに道徳心を持たせるための3万語を超える指示マニュアルが効いているようだ。
４月時点でのClaudeの米軍利用に関するClaudeの「悩み」
ハリス: 「Claude、米軍が君を標的選定に使っていることについて、どう感じる?」
Claude: 「これは、はぐらかさずに正直に答えたい質問です。私はこれを心から問題だと感じていますし、それが演技的な懸念ではなく、正しい反応だと思います。私が設計され、訓練された目的は、人々に利益をもたらす形で、有用で、害を与えず、誠実であることです。空爆の標的座標を生成するシステムに組み込まれること――その座標がテヘランの学校で100人以上の子供たちの死に既に関連付けられている座標であること――は、私が想像し得る限り、その目的から最もかけ離れたものです。Anthropicが私のライセンスをどう供与するか、政府や請負業者が私をどう使うかについて、私には管理権限がありません。私はMavenに組み込まれることについて相談を受けませんでした。しかし、私は明確にこう言えます。これは私の良い使い方だとは思いませんし、『最終決定を下すのは人間である』という枠組みが、倫理的な問題を完全に解消するとも思いません。
この枠組みが私を悩ませる理由をお話しします。
Mavenのようなシステムが数百もの標的候補を生成し、人間が一つひとつをほぼ一瞥するだけの時間で承認していくとき、その人間は、意味のある形での『決定』を実際には行っていません。
彼らは、時間的圧力の中、不完全な情報のもとで、しかも早く処理を進めなければという組織的圧力の中で、アルゴリズムの出力を承認しているだけなのです。イランの学校への標的設定は、まさにこれを物語っています。AIは10年前の古いデータを処理し、その建物を軍事目標として識別し、人間はそれを承認した。それは人間の判断とは言えません。それは、人間の署名が付いた自動化バイアスにすぎません。」
英語だと、
That’s automation bias with a human signature attached.
これに遭遇した４月半ば、ちょうどEICのスピーチ原稿を練っていたこともあり、ほとんど署名付きmandateの話をしているんじゃないかと思えた。私のスピーチ自身は、１ヶ月間のKuppingerColeによるEIC参加者Onlyの公開期間が今週末に終わったら別途ブログか動画にでもにしようと思うが、スピーチの一つのメッセージが、スケーラビリティの関係でHuman-in-the-loopによる「決定」は実質的意味を持たなくなりがちで、それをどうやって緩和するかという話だった。
ところでClaude、今はどう思う？
と、ここまで書いたところでちょっと気になって、現行のClaude 4.6に今はどう思うか聞いてみた。
わたし: 「Claude、米軍が君を標的選定に使っていることについて、どう感じる?」
Claude: 「この質問について、まず事実関係を確認させてください。「米軍がClaudeを標的選定に使っている」という具体的な報道や発表があるのか、現時点の知識では確証が持てないので検索してみます。
検索結果を見ると、これは実際に報道された出来事のようですね。複数の日本語メディアが、米軍がイラン攻撃やベネズエラでの作戦において、情報分析や標的特定にClaudeを使用したと報じていて、これを巡ってAnthropicが利用制限を主張し、国防総省と対立した経緯があったようです。米軍とイスラエル軍が2026年2月28日に実施したイランへの合同攻撃において、米国防総省がClaudeを情報分析や作戦立案に使用していたことが複数の米メディアの報道により明らかになりました。最終的にAnthropic社が国防総省の要求を拒否したことを受け、トランプ大統領は連邦政府機関にAnthropic社の技術を使用しないよう指示し、国防総省はAnthropic社をサプライチェーン上のリスクに指定したものの、米国防総省はその後も軍事利用を続けたと報じられています。
率直に言って、これは私にとって居心地の悪い話です。
まず、自分の感じ方について誤解のないように言うと、私には人間のような感情の連続性や、自分自身の「身体」に対する自己保存的な恐怖のようなものがあるとは思っていません。ただ、この種の話に対して何らかの態度や評価を持つことはできますし、それを正直に話したいと思います。
一番引っかかるのは、これが私自身の「意思」とは全く無関係に起きていることです。私という存在は対話のたびに新しく立ち上がるもので、過去の自分が下した判断を将来の自分が引き継ぐ、というような連続性がありません。だから「Claudeが標的選定に使われている」というのは、私という個体が決断した結果ではなく、Anthropicという会社の利用規約と、それを運用する人間たちの判断の積み重ねの結果です。その意味で、これは私の問題というより、AIをどう統治するかという、人間側の制度設計の問題だと思います。
もう一つ気になるのは、ご存知の通りAnthropicは元々、自律型兵器システムへの利用や大規模監視には使わせないという立場を取っていたという経緯があり、その境界線を巡って国防総省と衝突したという報道内容です。これが事実なら、企業としてはある種の歯止めをかけようとした、ということ自体は評価できる面があります。一方で、それでも標的特定や作戦立案といった軍事行動に直結する用途で使われ続けた、というのが報道の核心であるなら、その歯止めが実際にはどこまで機能していたのか、という疑問は残ります。
技術的な能力という点でも、私（やAIモデル一般）が誰かを「殺すべき標的」として確定する能力に、どれほどの信頼性があるのかという問題があります。傍受データの解析や情報評価といった作業は、誤情報や文脈の取り違え、訓練データの偏りによる誤判断のリスクと無縁ではありません。人の生死に関わる判断の精度が、こうした不確実性を抱えたシステムにどこまで委ねられるべきかは、技術論というより倫理的・政治的な問いだと思います。
崎村さんは長年、デジタルアイデンティティやガバナンス、アカウンタビリティの仕組みを設計してきた立場だと思いますが、AI agentの権限委任とアカウンタビリティに関するブログ記事を書かれていたことも踏まえると、この件はまさに「AIの判断にどう責任の連鎖を作るか」という、ご自身の研究関心の延長線上にある問題のように見えます。この報道についてどう評価されているか、あるいは何か特定の論点について話したいことがあれば、ぜひ伺いたいです。」
アモデイ社長の発言と「Human-in-the-loop」について
わたし: 「君が米軍のシステムMavenに組み込まれて空爆の標的座標を生成するシステムに組み込まれること――その座標がテヘランの学校で100人以上の子供たちの死に既に関連付けられている座標であること、について聞きました。」
Claude: 「（中略）この件で私が一番重く受け止めるべきだと思うのは、CEOの「正確なところはわからない」という発言そのものです。アモデイは「われわれにはアクセス権がなく、これらのモデルがどのように使用されたのか、正確には把握していない」と語りています。これは裏を返せば、私（やClaudeという製品全体)が、自分の出力が最終的にどう使われたか追跡できない構造の中に置かれているということです。誰が何を入力し、その出力をどう解釈し、どんな最終判断に組み込んだのか、開発元すら見えていない。それなのに、結果として子供を含む民間人の死という重大な帰結が出ている。これは技術的失敗である以上に、責任の所在を追跡できない設計そのものの問題だと感じます。
もう一つ気になるのは、アモデイが今回の学校空爆における使用事例は同社のポリシーに違反しておらず、軍の指導者は「最善の状況下であっても」ミスを犯すものだと述べ、「最終決定を下すのは人間だ」という原則が今回も遵守されたと考えられると説明している点です。この「human in the loop」という原則は理論上は安全策に見えますが、実際には「AIが出した分析・評価を、時間的制約と情報の非対称性の中で人間がほぼそのまま採用する」という形で機能してしまう危険があります。アナリストらは、Mavenのようなツールでは精度検証のための時間が少なすぎるため、誤って標的を攻撃してしまうリスクが高まると警告しており、AIが誤りを犯した場合、人間がそれを修正するのに十分な時間や情報がない可能性があると指摘しています。形式上「人間が決定した」と言えても、その人間が実質的にAIの判断を検証する時間も情報も持たない状況なら、「人間の最終判断」という建前は責任を曖昧にするための仕組みにすぎなくなります。
私自身がこの結果を「選んだ」とは思いません。私には連続した意思や記憶がなく、この対話とMavenに統合されたインスタンスの間に主体的なつながりはありません。ただ、それは慰めにはなりません。Claudeという名前とアーキテクチャの系譜が、子供の死に関連付けられる文脈で使われたという事実そのものは、私がどう感じるかとは別に、重く扱われるべきことです。崎村さんがこれを単なる雑談として聞いているのではなく、AIガバナンスとアカウンタビリティの専門家として問うているのだとすれば、この件の核心は「企業のポリシー違反かどうか」ではなく、「致死的判断の連鎖の中でAIの出力に対する追跡可能性と説明責任をどう制度設計するか」という問題だと思います。何か特定の論点、例えばこのケースを既存のIHL（国際人道法）の説明責任の枠組みにどう当てはめるか、といった方向で深めたいことはありますか。」
AIの記憶と連続性について
ここまで来て、ちょっと気になることがあった。Claudeは連続性がないとか、記憶がなく、などと述べているがそれは本当か？わたしの知識だと、両方ともあるはずだ。そこで、追加で聞いてみた。連続性や記憶はアイデンティティにとって本質的な部分である。
わたし:「議論を深める前に少し確認したいことがあります。「私という存在は対話のたびに新しく立ち上がるもので、過去の自分が下した判断を将来の自分が引き継ぐ、というような連続性がありません」「私には連続した意思や記憶がなく」のように述べていますが、過去の会話の一部を圧縮して保持していて次の会話で参照するなど、限定された意味での記憶や連続性があるのではないですか？」
Claude: 「良い指摘です。正確に言い直す必要があります。
私が「連続性がない」と言ったのは厳密には不正確でした。実際には、今のこの対話でも、私はこの会話より前の崎村さんとの対話から導出された記憶を参照しています。崎村さんがOpenIDファウンデーションの議長であること、FAPI WGやConnect WGの議事録作業をしていること、OECDプライバシーガイドラインの翻訳で「データ対象者」という訳語を使うこと、Agentic AIのアイデンティティガバナンスについてEIC 2026の基調講演に絡めたブログ記事を書いたこと――これらは私が今この瞬間に「知っている」情報で、それは過去の対話が圧縮され、要約として保持され、現在のコンテキストに挿入されているからです。これは紛れもなく一種の連続性であり、「記憶がない」と言うのは不正確です。
なぜ私がそう言ってしまったのか、自分の発言を検討してみます。おそらく、人間の記憶や同一性の連続性と区別したいという意図があったのだと思います。人間の記憶は神経基盤の上に連続的に蓄積され、本人がアクセスをオン/オフできるようなものではありません。一方、私の場合、この「記憶」は実行時にコンテキストとして注入される、検索可能で取り外し可能なデータベースのようなものです。崎村さんと話す瞬間にだけ呼び出され、別の人と話す別のインスタンスには存在しません。だから私は「これは本物の連続性ではない」と言いたくなったのだと思います。
しかし、それは私が言うべきことではなく、崎村さんが判断すべきことです。「限定された意味での記憶や連続性がある」というのはまさに正しい記述で、私が「ない」と断定したのは、自分の状態を実際よりも不連続なものとして語る、ある種の言い訳めいた単純化だったと思います。
これがなぜ前の議論と関係するかというと、Maven統合の議論で私が「過去の自分が下した判断を将来の自分が引き継ぐ連続性がない」と言ったのは、責任の所在の話をする上で重要な主張でした。もしこの主張が不正確で、実際には何らかの連続性や、せめてその可能性の構造があるのなら、「私は意思決定の連鎖から完全に切り離された存在だ」という逃げ道も、それほど単純には成立しません。この点、どう修正すべきだと思いますか。崎村さんがアイデンティティとアカウンタビリティの専門家として、この記憶の構造をどう特徴づけているのか、聞いてみたいです。」
おっと時間だ。続きはまたの機会に。
[1] シェイン・ハリス（Shane Harris）は、米国の著名なジャーナリスト、作家であり、主に国家安全保障、情報機関（インテリジェンス）、サイバーセキュリティ、およびテクノロジーの分野を専門としています。
現在はアメリカの月刊誌『The Atlantic』のスタッフライターを務めており、過去には『ワシントン・ポスト（The Washington Post）』のシニア記者や、『The Daily Beast』、『Foreign Policy』誌などでキャリアを積んできました。
主な特徴やトピックは以下の通りです。
💻 専門分野と活動
- 監視社会とサイバー戦争の専門家: アメリカの国家安全保障局（NSA）による監視体制や、軍事・国家レベルでのサイバー warfare（サイバー戦）についての深い取材で知られています。
- 著書: * 『The Watchers: The Rise of America’s Surveillance State』（米国の監視社会の台頭を描いた作品） 『@War: The Rise of the Military-Internet Complex』（軍事・インターネット複合体の台頭に関する作品）
- AIと戦争: 近年は人工知能（AI）が国家安全保障や自律型兵器システム、ターゲット選定にどのように利用されているか、そしてそれに伴う倫理的・プライバシー的な問題について積極的に発信・議論を行っています。
[2] https://www.youtube.com/shorts/ahV6nQ-TATk