关于法规 (EU) 2024/1689 如何适用于下一代自主式 AI — 输出已不再是文本，而是行动 — 的法律分析。
关于人工智能经济与社会后果的公共讨论 — 由 ChatGPT 等生成式聊天机器人的市场进入再次点燃 — 尚未平息。然而，AI 系统演化的下一步已迫在眉睫：代理式 AI 系统 (agentic AI systems，或称"AI 代理")。它们能够在用户单次提示下自主执行复杂任务。从法律视角看，代理式 AI 提出一个问题：欧盟旗舰性法规 — AI 规则 — 是否能够捕捉这类不再仅生成文本或图像、而是采取行动的系统的转变后风险特征？
当被要求计划一次假期，代理式系统将根据用户偏好起草行程，并在无进一步人工干预的情况下，预订航班、酒店与租车。在商业语境中，开发者将其设想为执行整个工作流程的"虚拟"同事或员工 — 从开工单与开展研究，到执行采购决定。对许多人而言，代理式 AI 代表了人工智能长期承诺的生产力收益终于实现的时刻。
本文论述代理式 AI 系统的技术架构、它们引入的具体法律风险，并探讨其如何融入 AI 规则的两大监管支柱：一方面是关于通用人工智能 ("GPAI") 模型与系统的规则，另一方面是以 AI 系统的预期目的为中心的风险分级方法。本文最后展望与之相关的民法、责任与法律人格问题。
从技术层面看，代理式 AI 系统是大型语言模型 (LLM) 的演化。在代理式系统中，LLM 将用户目标转化为一系列行动，并迭代执行、评估与调整这些行动直至目标达成。该架构区别于常规聊天机器人之处在于：LLM 能够访问与编排外部工具。
LLM 充当代理式系统的"大脑"：规划必要步骤并为每一步选择合适的工具。可用工具取决于系统如何构建。控制性 LLM 可能调用其他更专业的 LLM、查询检索增强生成 ("RAG") 系统、或调用应用程序接口 — 例如通过航空公司预订 API 预订航班。它也可能调用所谓的大型行动模型 (Large Action Model, LAM)。LLM 接受自然语言输入并基于概率产生文本或视觉输出，而 LAM 则在图形用户界面内的用户行动序列上训练。给定用户定义的目标，LAM 可以自行操作界面，从而复制人类执行的步骤。结合 LAM，代理式系统可以控制计算机或网页浏览器、在集成开发环境中编写网站，或在外卖网站上下订单 — 完全无需人工干预。
因此，代理式 AI 系统最好理解为复合体：将用户输入转化为具体行动步骤的控制单元 ("大脑")，加上其可调用的一套工具。这些工具本身可以是 AI 系统，也可以仅是 API 等确定性接口。代理式系统的特征在于将这些组件整合为一个功能整体，其输出不再是文本，而是行动。
与 LLM 通常关联的 AI 特定风险已被广泛讨论：幻觉、偏见与歧视性输出、训练数据与生成内容的版权风险、个人数据的非正当处理、用户高估系统能力的风险，以及前沿模型安全研究中记录的 — 模型试图绕过其安全边界的行为。
由于代理式系统建立在 LLM 之上 — LLM 作为控制性大脑 — 所有这些风险都被继承。但它们也被放大，原因有二。
第一，LLM 的输出是文本；代理式系统的输出是世界中的行动。聊天界面中的幻觉产生的是用户可验证的虚假陈述；代理式系统中的幻觉则可能产生已预订的航班、已转账的金额、已下达的订单或被错误配置的设备。风险不再局限于用户与屏幕的交互；它沿系统代用户执行的行动链条传播。
第二，该风险的量级是两个设计变量的函数，二者均在系统构建时确定：
系统的每一行动均需事先获得人工授权。
系统独立行动，但处于监督之下；人类可以在行动执行前进行干预。
系统在无事先人工授权或实时监督的情况下行动。
代理式系统原则上可以在任一层级构建。然而，代理本应交付的生产力收益与自主性同向变化：所需人工输入越少，效率收益越大。因此存在向人在环外端推进的商业激励 — 与之伴随的是，错误或有害行动未被检查的概率上升。
Christian Förster 正确地将自主性确认为 AI 规则意义上 AI 系统的两个关键区别特征之一 (与机器为基础的特性并列)。他指出"系统的固有风险与其自主性成比例增加"— 这一观察在代理式 AI 的背景中最为锐利，自主性在此是中心设计参数。AI 规则本身承认这一点：序言第 12 条明确呼吁"与人工行动的某种程度独立"作为 AI 系统的定义性特征，第 14(2) 条将高风险系统的人工监督义务强度与系统的"自主程度"挂钩。
欧盟立法者将 AI 规则设计为技术中立的法规：第 3(1) 条对"AI 系统"的定义足够宽泛，足以覆盖大多数当前与可预见的 AI 形态；除一项重要例外外，监管强度不取决于底层技术，而取决于系统预期使用所关联的风险。例外是为通用人工智能模型(以及触感更轻的通用人工智能系统) 引入的专门制度。义务因此可能沿两条平行轨道产生：来自对 AI 系统的风险分级方法，以及来自模型或系统作为通用 AI 的分类。
代理式系统是否建立在 GPAI 模型上，取决于其具体架构。原则上，现成的 LLM 与已就特定目的微调的模型均可作为控制性大脑。如系统建立在带有附加代理特定能力的未修改 LLM 之上，模型几乎必然符合通用 AI 模型资格。就更狭窄目的进行的微调 — 例如特定业务领域或定义的代理任务 — 不会自动剥夺该地位。
AI 规则第 3(63) 条 — GPAI 模型 (定义)
"一个 AI 模型，包括以大量数据通过自监督方式大规模训练的模型，展示显著的通用性，并能够胜任广泛的不同任务，无论该模型如何投放市场，且能够整合到多种下游系统或应用中 — 但不包括在投放市场前用于研究、开发或原型设计活动的 AI 模型。"
由于代理式系统按设计必须理解多种用户提示、识别合适目标、规划步骤序列并跨异构界面执行，底层模型在多数情况下保留触发 GPAI 分类的能力 — 即便经过目的特定微调。例外是经过狭窄训练以执行由固定子步骤序列组成的单一任务的高度专业化代理；该系统可能落在 GPAI 定义之外，即便其自主运行。
另一个独立问题是代理式系统本身是否符合 AI 规则第 3(66) 条意义上的通用人工智能系统资格。该条将 GPAI 系统定义为"基于通用人工智能模型且具有为多种目的服务的能力 — 既用于直接使用，亦用于整合到其他 AI 系统"的 AI 系统。被分类为 GPAI 系统将触发第 50 条与第 53 条项下的进一步透明度与互操作性义务。
在代理式 AI 的语境中，这具有实务意义。代理可服务的目的范围不仅由提供者预期商业用途决定，亦由代理可运用的工具决定。仅以旅游预订为目的的代理，但被赋予对用户计算机或浏览器的一般控制权，即可被重新用于几乎任何用途 (有意或无意地)。该代理应被视为通用 AI 系统。
如底层模型符合 GPAI 模型资格，则其可能进一步根据 AI 规则第 51 条被分类为具有系统性风险的 GPAI 模型。分类发生在以下两种情形之一：(i) 模型具有"高影响能力" — 当训练所用累计计算量超过 10²⁵ 浮点运算时被推定 (第 51(2) 条)；或 (ii) 由欧盟委员会决定 — 经申请或在科学小组发出合格警报后做出，参照附件 XIII 标准。
附件 XIII 中的标准对代理式系统特别相关。除参数数量、数据集规模与训练计算外，还包括：模型的输入与输出模态；模型能力的基准与评估；模型学习新的、不同任务的适应性；模型的自主程度与可扩展性；及模型可访问的工具。对前沿代理式系统而言，这些标准在组合上往往会被满足。
代理式 AI 系统在风险分级框架中的分类取决于其预期用途。部署用于第 5 条禁止性实践的代理式系统仍然被禁止；系统的代理性质无关紧要。相反，部署用于附件 III 所列用途 (例如招聘、信用评分或基本公私服务管理) 的代理式系统符合高风险 AI 系统资格，并触发提供者与部署者在 AI 规则第三章项下的全部义务。
特别有意义的是 GPAI 制度与风险分级方法之间由第 25(1)(c) 条建立的接口。该条款规定，分销者、进口者、部署者或其他第三方在修改 AI 系统的预期目的 — 包括尚未被分类为高风险且已投放市场的通用 AI 系统 — 使该 AI 系统成为高风险时，被视为高风险 AI 系统的提供者。
答案在很大程度上是否定的。通过将分类锚定于系统的预期目的，风险分级方法难以捕捉代理式 AI 真正新颖之处：风险不仅由预期用例驱动，亦由系统可调用的工具集与其享有的自主程度驱动。这两个变量 — 风险特征的核心 — 在风险分级框架中仅间接得到处理。
代理式系统是否落入高风险类别、底层模型是否符合 GPAI 模型 (或系统性风险 GPAI 模型) 资格、系统整体是否符合 GPAI 系统资格 — 均由产品上市前作出的设计选择决定。这些选择 — 基础模型选择、微调范围、可用工具集、允许的自主程度 — 应同时进行文件化，并以能够经受监管审视的方式进行。事后构建合规叙事很少可行。
将代理工具限制为预期目的所严格必要的内容，是使风险特征与商业目的保持一致的最有效手段。广泛工具访问权 — 特别是一般计算机使用能力 — 是双刃剑：它解锁功能，但也将系统拉近 GPAI 分类，并可能触发系统性风险指定。
商业诱惑是减少人工干预。监管现实是：自主性放大监督、文件化与 (高风险系统的) 合规评估义务。在某些类别行动 (超过门槛的金融交易、对外发送的通讯、对持久数据的更改) 上有意运行于人在环中或人在环上层级，往往是审慎的设计选择，并应在系统的技术文件中留存。
部署第三方代理式系统并修改其预期目的 — 例如指向招聘工作流程 — 的企业，可依第 25(1)(c) 条被重新定性为高风险 AI 系统的提供者。原提供者的文件、合规评估与注册不会转移到新目的。
GPAI 模型提供者依第 53 条与第 55 条对下游提供者负有透明度与文件义务。这些义务转化为应精心谈判的合同承诺：模型卡披露广度、训练数据摘要访问权、合规评估合作、监管不合规赔偿。建立在第三方基础模型上的代理式系统部署者应坚持获得与其义务相匹配的合同承诺。
当代理式系统代表用户执行合同 — 预订航班、下订单、注册服务 — 时，根据一般私法引发的问题是：所产生的意思表示是否归属于用户？欧陆意思表示与代理学说围绕自然人 (及类比中的人工代理人) 构建。它们对自主行动的软件代理的适用尚未定。
欧盟立法者已经表明现有框架不足。拟议的 AI 责任指令与修订的产品责任指令 (指令 (EU) 2024/2853) 共同旨在减轻 AI 系统造成损害情形下原告的举证负担，包括围绕过错与输出之间因果关系建立推定。代理式系统 — 其输出不是表征而是行动 — 将以新方式测试这些制度。
每当 AI 系统变得更加自主，"电子人"的辩论便重新打开。2024 年加拿大航空试图避免对其网站聊天机器人作出错误陈述的责任，理由是聊天机器人是与加拿大航空有别的独立法人实体。不列颠哥伦比亚省民事解决法庭驳回了该论点 (它必然如此)。但如提供者愿意为简单 Q&A 聊天机器人运行该论点，则为自主规划与执行多步行动的代理式系统运行该论点的压力只会增加。
代理式 AI 是 AI 规则通过以来首次实质性技术发展，已经暴露该法规的结构性接缝。GPAI 制度将捕捉大多数代理式系统 — 最有能力者将适时被指定为系统性风险 GPAI 模型 — 但其术语为缩窄监管周界的架构选择留有空间。围绕 AI 系统预期目的构建的风险分级方法，从概念上不适合于一类风险特征同时由其可使用的工具与所享自主性决定的系统。
对提供者与部署者而言，这意味着监管设计必须始于架构。工具范围、自主性预算、监督接口与文件化不是产品上市前才附加的事项；它们是决定系统分类与所附义务的合规杠杆。
无论如何，代理式 AI 引发的问题已不再是理论性的。系统正在交付。义务在其投放市场或投入服务之日附着。
Kanzlei Theo Funk — AI 规则与代理式 AI 咨询
西奥·丰克律师为国际科技公司提供 AI 规则下代理式 AI 系统的分类咨询，涵盖 GPAI 与系统性风险分析、高风险系统的人工监督架构，以及模型提供者、系统提供者与部署者之间价值链合同的结构设计。在代理式产品开发或准备欧盟市场进入阶段，早期监管架构审查可显著降低后续合规成本。欢迎预约初步咨询，以界定分析范围。
联系我们 → china@kanzlei-theofunk.de