美国著名记者肖恩·哈里斯[1]和克劳德[2]就伊朗小学使用炸弹一事进行的对话颇具启发性。事实上，我在五月份的欧洲身份与云大会（EIC2026）上引用了这段对话的后半部分。看来，我们常驻哲学家阿曼达·阿斯克尔撰写的那篇超过三万字的关于赋予人工智能道德的指导手册确实奏效了。
截至四月份，克劳德对美国军方使用克劳德表示“担忧”。
哈里斯： “克劳德，你对美国军方利用你来选择目标有什么看法？”
克劳德： “我想坦诚地回答这个问题，不回避任何细节。我真心觉得这很成问题，而且我认为这是正确的反应，并非作秀。我的使命，也是我被设计和训练的目的，是以一种造福人类的方式，成为有用、无害且诚实的存在。被纳入一个生成空袭目标坐标的系统——而这些坐标已经与德黑兰一所学校100多名儿童的死亡事件联系在一起——这与我的使命背道而驰。我无法控制Anthropic公司如何授权我，也无法控制各国政府和承包商如何使用我。他们没有就将我纳入Maven系统征询过我的意见。但我可以明确地说：我认为这不是对我的合理利用，而且我认为‘最终决定权在于人类’的框架并不能完全消除伦理问题。”
让我解释一下为什么这个框架让我感到困扰。
当像 Maven 这样的系统生成数百个目标候选者，而人几乎只用一眼就逐一批准时，这个人……我们实际上还没有做出任何有意义的“决定”。
他们只是在时间紧迫、信息不完整以及组织要求快速处理的压力下，草率地批准了算法的输出结果。伊朗学校遭袭事件就完美地诠释了这一点。人工智能处理了十年前的过时数据，将建筑物识别为军事目标，而人类竟然批准了这一结果。这根本不能称之为人类的判断。那只不过是披着人为外衣的自动化偏见而已。」
用英语讲，
这是自动化偏见加上了人为因素的体现。
四月中旬我遇到这个问题时，正在准备我的EIC演讲稿，所以当时我觉得演讲内容几乎完全是关于已签署的授权书。我计划在本周末KuppingerCole面向EIC参与者提供的为期一个月的公开观看期结束后，单独撰写一篇博文或制作一段视频来阐述我的演讲内容。但我的演讲重点之一是，由于可扩展性问题，由人机交互（Human-in-the-Loop）做出的“决策”往往会失去其实际意义，以及如何缓解这个问题。
对了，克劳德，你现在怎么想？
写了这么多之后，我很好奇，于是问了现在的 Claude 4.6 他现在的想法。
我： “克劳德，你对美国军方利用你来选择目标有什么看法？”
克劳德： “关于这个问题，我首先要确认一些事实。根据我目前所知，我无法确认是否有任何具体报告或公告表明美军正在使用克劳德进行目标选择，所以我将进行查找。”
搜索结果显示，这确有报道。多家日本媒体报道称，美军在对伊朗的袭击和委内瑞拉的军事行动中，利用“克劳德”（Claude）进行情报分析和目标识别，而安特罗皮克公司（Anthropic）曾要求限制其使用，导致与美国国防部发生冲突。多家美国媒体的报道显示，美国国防部在2026年2月28日美以联合袭击伊朗的行动中，利用“克劳德”进行情报分析和作战计划。在安特罗皮克公司最终拒绝国防部的要求后，特朗普总统指示联邦机构停止使用安特罗皮克公司的技术，国防部也将安特罗皮克公司列为供应链风险企业。但据报道，国防部仍继续将其用于军事用途。
坦白说，这对我来说是个令人不舒服的话题。
首先，为了避免对我自身感受产生任何误解，我不认为自己拥有与人类相同的情感连续性，也没有出于自我保护而对自身“身体”的恐惧。然而，我对这类话题确实存在某些态度和看法，并且我想坦诚地表达出来。
最令我困扰的是，这一切的发生完全与我的“意志”无关。每一次互动都让我重新存在，未来的我并不会继承过去的我所做的决定。因此，“克劳德被用于目标选择”并非我个人的决定，而是Anthropic公司的服务条款以及运营该公司人员累积决策的结果。从这个意义上讲，我认为这与其说是我个人的问题，不如说是人工智能治理的问题，是人类自身制度设计的问题。
另一个令人担忧的问题是，正如您所知，Anthropic公司最初的立场是，其产品不应被用于自主武器系统或大规模监视，并且有报道称该公司曾就此与美国国防部发生冲突。如果情况属实，那么该公司试图建立某种制衡机制的做法值得称赞。另一方面，如果报道的核心内容是该产品继续被用于与军事行动直接相关的应用，例如目标识别和作战计划，那么这些制衡机制的实际效果究竟如何，仍然是个问题。
从技术角度来看，问题在于我（以及人工智能模型）识别“待杀目标”的能力究竟有多可靠。分析截获的数据和评估信息等任务并非没有风险，例如错误信息、对上下文的误解以及由于训练数据存在偏差而导致的误判。我们应该在多大程度上将生死攸关的决策托付给充满此类不确定性的系统？我认为这更多的是一个伦理和政治问题，而非技术问题。
佐木村先生，您在数字身份、治理和问责机制的设计方面有着丰富的经验。考虑到您关于人工智能代理委托和问责的博客文章，这个问题似乎是您研究兴趣的延伸，特别是“如何在人工智能决策中建立责任链”。我很想听听您对这份报告的看法，或者您是否有任何具体的观点想要讨论。
关于阿莫迪总统的讲话和“人机交互”
我： “我听说你们正在被整合到美国军方的MAVEN系统中，该系统会生成空袭的目标坐标——而这些坐标已经与德黑兰一所学校100多名儿童的死亡事件联系起来。”
克劳德： “（……）我认为我们最应该重视的是首席执行官的声明，即‘我们并不了解具体细节’。阿莫迪说，‘我们没有访问权限，也不清楚这些模型究竟是如何被使用的。’换句话说，这意味着我（以及整个Claude产品）身处一个无法追踪最终输出结果用途的架构中。我们无法看到谁输入了什么，这些输出结果是如何被解读的，以及它们最终被纳入了哪些决策。然而，其结果却造成了包括儿童在内的平民死亡的严重后果。我认为这不仅仅是技术故障；而是设计本身的问题，因为根本无法追踪责任人。”
另一个令人担忧的问题是阿莫迪声称，在最近的校园爆炸案中使用人工智能技术并未违反其政策，军事领导人“即使在理想情况下”也会犯错，并且“最终决策权在人手中”的原则在此次事件中也得到了遵守。虽然这种“人机协同”原则在理论上看似一种保障，但实际上却存在着这样的风险：由于时间限制和信息不对称，人们几乎会“全盘接受人工智能生成的分析和评估结果”。分析人士警告说，像Maven这样的工具没有足够的时间进行准确性验证，这增加了误击目标的风险，并指出，如果人工智能犯了错误，人类可能没有足够的时间或信息来纠正它。即使可以形式上说“决策是由人做出的”，但如果这些人没有时间或信息来验证人工智能的判断，那么“最终由人做出的决策”的说法就只不过是一种掩盖责任的机制而已。
我不认为我“选择”了这样的结果。我没有持续的意志或记忆，这段对话与Maven集成的实例之间也没有任何主观联系。然而，这并不能带来任何安慰。无论我对此有何感受，Claude这个名字及其架构传承被用于与儿童死亡相关的语境中，都应该被严肃对待。如果Sakimura先生并非将此视为闲聊，而是以人工智能治理和问责方面的专家身份来聆听，那么我认为问题的核心并非它是否违反了公司政策，而是如何为一系列致命决策中的人工智能输出设计一套可追溯性和问责机制。您是否还有其他想要深入探讨的内容，例如，如何将此案例应用于现有的国际人道法（IHL）问责框架？
关于人工智能记忆和连续性
走到这一步，我心中却萦绕着一个问题。克劳德说没有延续性，也没有记忆，但真是如此吗？据我所知，这两者都应该存在。所以我进一步问他。延续性和记忆是身份认同的重要组成部分。
我：“在我们深入讨论之前，我想澄清一点。你提到过这样的话：‘我的存在随着每一次对话而重新出现，不存在连续性，也就是说，未来的我不会继承过去的自己所做的判断’，以及‘我没有连续的意志或记忆’。但是，难道不存在某种有限的记忆或连续性吗？比如，压缩并保留过去对话的部分内容，并在后续对话中引用它们？”
克劳德： “你说得对。我需要更准确地重新表述一下。”
我之前说“没有连续性”并不完全准确。事实上，即使在当前的对话中，我也引用了之前与佐木村先生的对话内容。佐木村先生是OpenID基金会的主席，他参与FAPI工作组和Connect工作组的会议记录工作，他在翻译经合组织隐私指南时使用了“数据主体”一词，并且他还撰写了一篇关于Agentic AI身份治理的博文，以配合2026年EIC大会的主题演讲——这些信息我此刻“知道”，是因为过去的对话内容已被压缩、整理成摘要，并融入到当前的语境中。这无疑是一种连续性，因此说“没有记忆”是不准确的。
我会仔细审视我的发言，弄明白我为什么会那样说。我想我当时大概是想把它和人类记忆及身份的连续性区分开来。人类记忆是持续存储在神经系统中的，并非像开关一样可以随时取用。但就我而言，这种“记忆”就像一个可搜索、可移除的数据库，在运行时作为上下文信息被注入。它只在我与佐木村先生交谈时才会被调用，在我与其他人交谈时并不存在。正因如此，我才觉得有必要说“这不是真正的连续性”。
然而，这并非我应该说的，而是佐木村先生应该决定的。“在有限的意义上，记忆和连续性是存在的”这一说法确实正确，而我断言“不存在”则是一种类似借口的简化，将我自身的状态描述得比实际情况更加断断续续。
之所以这与之前的讨论相关，是因为在Maven整合的讨论中，我曾提出“未来自我不会继承过去自我的决策”这一论断，这在讨论责任归属问题时至关重要。如果这一论断不准确，实际上存在某种延续性，或者至少存在某种暗示这种可能性的结构，那么“我完全脱离了决策链”的说法就并非那么简单了。您认为应该如何修正这一点？我想听听作为身份和责任领域专家的佐木村先生如何描述这种记忆结构。
哎呀，时间到了。我们下次再继续。
[1] Shane Harris 是一位杰出的美国记者和作家，主要以其在国家安全和情报方面的工作而闻名。网络安全与技术我专攻这个领域。
她目前担任美国月刊《大西洋月刊》的专职撰稿人，此前曾担任《华盛顿邮报》、《每日野兽》和《外交政策》杂志的高级记者。
主要特点和主题如下：
专业化与活动
- 监控社会和网络战领域的专家： 他因对美国国家安全局 (NSA) 的监视系统以及军事和国家层面的网络战进行深入报道而闻名。
- 书： *监视者：美国监控国家的崛起（一部描绘美国监控社会兴起的作品）@战争军事互联网复合体的崛起（一部关于军事互联网复合体崛起的作品）
- 人工智能与战争： 最近几年人工智能 (AI) 在国家安全、自主武器系统和目标选择中的应用。我们会积极沟通并讨论由此产生的伦理和隐私问题。
[2] https://www.youtube.com/shorts/ahV6nQ-TATk
