美國著名記者肖恩·哈里斯[1]和克勞德[2]就伊朗小學使用炸彈一事進行的對話頗具啟發性。事實上，我在五月的歐洲認同與雲端大會（EIC2026）上引用了這段對話的後半部。看來，我們常駐哲學家阿曼達·阿斯克爾撰寫的那篇超過三萬字的關於賦予人工智慧道德的指導手冊確實奏效了。
截至四月份，克勞德對美國軍方使用克勞德表示「擔憂」。
哈里斯： “克勞德，你對美國軍方利用你來選擇目標有什麼看法？”
克勞德： 「我想坦誠地回答這個問題，不迴避任何細節。我真心覺得這很成問題，而且我認為這是正確的反應，並非作秀。我的使命，也是我被設計和訓練的目的，是以一種造福人類的方式，成為有用、無害且誠實的存在。被納入一個生成空襲目標坐標的系統——而這些坐標已經與德黑蘭多名坐標所與德黑蘭多名所的1000000060010063名兒童所第100060006006日所學名的決定所為100件聯繫在一起——這與我的使命背道而馳。
讓我解釋為什麼這個框架會讓我感到困擾。
當像 Maven 這樣的系統產生數百個目標候選者，而人們幾乎只用一眼就逐一批准時，這個人…我們實際上還沒有做出任何有意義的「決定」。
他們只是在時間緊迫、資訊不完整以及組織要求快速處理的壓力下，草率地批准了演算法的輸出結果。伊朗學校遭襲事件就完美地詮釋了這一點。人工智慧處理了十年前的過時數據，將建築物識別為軍事目標，而人類竟然批准了這項結果。這根本不能稱之為人類的判斷。那隻不過是披著人為外衣的自動化偏見而已。“
用英語講，
這是自動化偏見加上了人為因素的體現。
四月中旬我遇到這個問題時，我正在準備我的EIC演講稿，所以當時我覺得演講內容幾乎完全是關於已簽署的授權書。我計劃在本週末KuppingerCole面向EIC參與者提供的為期一個月的公開觀看期結束後，單獨撰寫一篇博文或製作一段影片來闡述我的演講內容。但我的演講重點之一是，由於可擴展性問題，由人機互動（Human-in-the-Loop）做出的「決策」往往會失去其實際意義，以及如何緩解這個問題。
對了，克勞德，你現在怎麼想？
寫了這麼多之後，我很好奇，於是問了現在的 Claude 4.6 他現在的想法。
我： “克勞德，你對美國軍方利用你來選擇目標有什麼看法？”
克勞德： “關於這個問題，我首先要確認一些事實。根據我目前所知，我無法確認是否有任何具體報告或公告表明美軍正在使用克勞德進行目標選擇，所以我將進行查找。”
搜尋結果顯示，這確有報告。多家日本媒體報道稱，美軍在對伊朗的襲擊和委內瑞拉的軍事行動中，利用「克勞德」（Claude）進行情報分析和目標識別，而安特羅皮克公司（Anthropic）曾要求限制其使用，導致與美國國防部發生衝突。多家美國媒體的通報顯示，美國國防部在2026年2月28日美以聯合攻擊伊朗的行動中，利用「克勞德」進行情報分析與作戰計畫。在安特羅皮克公司最終拒絕國防部的要求後，川普總統指示聯邦機構停止使用安特羅皮克公司的技術，國防部也將安特羅皮克公司列為供應鏈風險企業。但據報道，國防部仍繼續將其用於軍事用途。
坦白說，這對我來說是個令人不舒服的話題。
首先，為了避免對我自身感受產生任何誤解，我不認為自己擁有與人類相同的情感連續性，也沒有出於自我保護而對自身「身體」的恐懼。然而，我對這類主題確實存在某些態度和看法，並且我想坦誠地表達出來。
最令我困擾的是，這一切的發生完全與我的「意志」無關。每一次互動都讓我重新存在，未來的我不會繼承過去的我所做的決定。因此，「克勞德被用於目標選擇」並非我個人的決定，而是Anthropic公司的服務條款以及經營該公司人員累積決策的結果。從這個意義上講，我認為這與其說是我個人的問題，不如說是人工智慧治理的問題，是人類自身製度設計的問題。
另一個令人擔憂的問題是，如您所知，Anthropic公司最初的立場是，其產品不應用於自主武器系統或大規模監視，並且有報導稱該公司曾就此與美國國防部發生衝突。如果情況屬實，那麼該公司試圖建立某種制衡機制的做法值得稱讚。另一方面，如果報告的核心內容是該產品繼續被用於與軍事行動直接相關的應用，例如目標識別和作戰計劃，那麼這些制衡機制的實際效果究竟如何，仍然是個問題。
從技術角度來看，問題在於我（以及人工智慧模型）識別「待殺目標」的能力究竟有多可靠。分析截獲的資料和評估資訊等任務並非沒有風險，例如錯誤資訊、對上下文的誤解以及由於訓練資料存在偏差而導致的誤判。我們應該在多大程度上將生死攸關的決策託付給充滿此類不確定性的系統？我認為這更多的是一個倫理和政治問題，而非技術問題。
佐木村先生，您在數位身分、治理和問責機制的設計方面有著豐富的經驗。考慮到您關於人工智慧代理委託和問責的部落格文章，這個問題似乎是您研究興趣的延伸，特別是「如何在人工智慧決策中建立責任鏈」。我很想聽聽您對這份報告的看法，或者您是否有任何具體的觀點想要討論。
關於阿莫迪總統的演講和“人機互動”
我： 「我聽說你們正在被整合到美國軍方的MAVEN系統中，該系統會產生空襲的目標坐標——而這些坐標已經與德黑蘭一所學校100多名兒童的死亡事件聯繫起來。”
克勞德： 「（……）我認為我們最應該重視的是執行長的聲明，即『我們並不了解具體細節』。阿莫迪說，『我們沒有訪問權限，也不清楚這些模型究竟是如何被使用的。』換句話說，這意味著我（以及整個Claude產品）身處一個無法追蹤最終輸出結果用途的架構中。 我們無法看到誰輸入了什麼，這些輸出結果是如何被解讀的，以及它們最終被納入了哪些決策。
另一個令人擔憂的問題是阿莫迪聲稱，在最近的校園爆炸案中使用人工智慧技術並未違反其政策，軍事領導人「即使在理想情況下」也會犯錯，並且「最終決策權在人手中」的原則在此次事件中也得到了遵守。雖然這種「人機協同」原則在理論上看似一種保障，但實際上卻存在著這樣的風險：由於時間限制和資訊不對稱，人們幾乎會「全盤接受人工智慧產生的分析和評估結果」。分析師警告說，像Maven這樣的工具沒有足夠的時間進行準確性驗證，這增加了誤擊目標的風險，並指出，如果人工智慧犯了錯誤，人類可能沒有足夠的時間或資訊來糾正它。即使可以形式上說“決策是由人做出的”，但如果這些人沒有時間或資訊來驗證人工智慧的判斷，那麼“最終由人做出的決策”的說法就只不過是一種掩蓋責任的機製而已。
我不認為我「選擇」了這樣的結果。我沒有持續的意誌或記憶，這段對話與Maven整合的實例之間也沒有任何主觀連結。然而，這並不能帶來任何安慰。無論我對此有何感受，Claude這個名字及其架構傳承被用於與兒童死亡相關的脈絡中，都應該被嚴肅對待。如果Sakimura先生並非將此視為閒聊，而是以人工智慧治理和問責方面的專家身份來聆聽，那麼我認為問題的核心並非它是否違反了公司政策，而是如何為一系列致命決策中的人工智慧輸出設計一套可追溯性和問責機制。您是否還有其他想要深入探討的內容，例如，如何將此案例應用於現有的國際人道法（IHL）問責框架？
關於人工智慧記憶和連續性
走到這一步，我心中卻縈繞著一個問題。克勞德說沒有延續性，也沒有記憶，但真是如此嗎？據我所知，這兩者都應該存在。所以我進一步問他。延續性和記憶是身分認同的重要組成部分。
我：「在我們深入討論之前，我想澄清一點。你提到過這樣的話：『我的存在隨著每一次對話而重新出現，不存在連續性，也就是說，未來的我不會繼承過去的自己所做的判斷’，以及『我沒有連續的意誌或記憶』。但是，難道不存在某種有限的記憶或連續性嗎？例如，並保留它們在後續對話的部分壓縮，並保留在後續對話的部分？」
克勞德： “你說得對。我需要更準確地重新表述一下。”
我之前說「沒有連續性」並不完全準確。事實上，即使在目前的對話中，我也引用了先前與佐木村先生的對話內容。佐木村先生是OpenID基金會的主席，他參與FAPI工作組和Connect工作小組的會議記錄工作，他在翻譯經合組織隱私指南時使用了“數據主體”一詞，並且他還撰寫了一篇關於Agentic AI身份治理的博文，以配合2026年EIC大會的主題——這些信息我知道“我知道”，是因為過去的內容已融入當前的內容摘要並已融入當前的文章摘要並融入當前對話。這無疑是一種連續性，因此說「沒有記憶」是不準確的。
我會仔細檢視我的發言，弄清楚我為什麼會那樣說。我想我當時大概是想把它和人類記憶及身分的連續性區分開來。人類記憶是持續儲存在神經系統中的，並非像開關一樣可以隨時取用。但就我而言，這種「記憶」就像一個可搜尋、可移除的資料庫，在運行時作為上下文資訊被注入。它只在我與佐木村先生交談時才會被調用，在我與其他人交談時並不存在。正因如此，我才覺得有必要說「這不是真正的連續性」。
然而，這並非我該說的，而是佐木村先生該決定的。 「在有限的意義上，記憶和連續性是存在的」這一說法確實正確，而我斷言「不存在」則是一種類似藉口的簡化，將我自身的狀態描述得比實際情況更加斷斷續續。
之所以這與先前的討論相關，是因為在Maven整合的討論中，我曾提出「未來自我不會繼承過去自我的決策」這一論斷，這在討論責任歸屬問題時至關重要。如果這一論點不準確，實際上存在某種延續性，或者至少存在某種暗示這種可能性的結構，那麼「我完全脫離了決策鏈」的說法就並非那麼簡單了。您認為應該如何修正這一點？我想聽聽作為身分認同和責任領域專家的佐木村先生如何描述這種記憶結構。
哎呀，時間到了。我們下次再繼續。
[1] Shane Harris 是一位傑出的美國記者和作家，主要以其在國家安全和情報方面的工作而聞名。網路安全與技術我專攻這個領域。
她目前擔任美國月刊《大西洋月刊》的專職撰稿人，此前曾擔任《華盛頓郵報》、《每日野獸》和《外交政策》雜誌的高級記者。
主要特點和主題如下：
專業化和活動
- 監控社會和網路戰領域的專家： 他因對美國國家安全局 (NSA) 的監視系統以及軍事和國家層面的網路戰進行深入報導而聞名。
- 書： *監視者：美國監控國家的崛起（一部描繪美國監控社會興起的作品）@戰爭軍事網際網路複合體的崛起（一部關於軍事網路複合體崛起的作品）
- 人工智慧與戰爭： 最近幾年人工智慧 (AI) 在國家安全、自主武器系統和目標選擇中的應用。我們會積極溝通並討論由此產生的倫理和隱私問題。
[2] https://www.youtube.com/shorts/ahV6nQ-TATk
