← 全部资源

权限不能只写在 提示词里

要让 AI 自主执行得有用,需要能强制执行的访问限制、看得见的动作,以及对最终状态的检查,不能只靠一句“请小心”。

写在提示词里的要求,不是访问策略。

Anthropic 2026 年 5 月发布的隔离文章,把监督 AI 的行为,和限制它能访问哪些资源,分成两件事。文章讲的是对执行环境和外部内容的控制,没有把模型愿意遵守指令,当作完整的安全边界。

在企业工作流里,“只读取这个客户的文件”,应当落实为运行环境和工具实际能访问的范围。发布结果、发送付款请求也一样。把规则写清楚有必要。把规则强制执行,是另一项工作。

来源 [1]

审批要让人看到业务决定,而不是一堆命令。

有效的审批,用业务语言说明要做什么改动,展示相关的输入,写明后果。财务审批人应当面对金额和收款方做决定,不该从一条命令里去猜这些内容。这是我们的设计建议,不代表某种界面能消除风险。

决定要放在有实际后果的动作之前。谁批准的、批准时看到了什么、执行的是哪个版本,要一起保存。批准之后输入变了,要明确规定原来的批准还算不算数。

检查实际状态,别只看“成功”的提示。

Anthropic 2026 年 1 月的评估指南,把 AI 的运行轨迹和实际结果分开,并讨论用不同的评判方式分别检查行为和产物。它提醒我们:最后一句话说得像成功,不等于任务真的做对了。

更新工作簿,要检查公式、改动过的单元格和保存下来的文件。处理订单,要核对接收系统里的记录。测试不只覆盖成功的情况,也要覆盖应当拒绝的情况:输入、授权或依据不够时,可靠的 AI 有时必须停下。

来源 [2]

本地部署是部署方式,控制要持续去做。

把工作放在公司自己的基础设施上,数据放在哪里、由谁执行,能规定得更明确。但这不会自动保护每个模型接口、连接器和凭据。要写明允许去哪些地方、做哪些动作,再核对实际部署是否照此执行。

所以,稳妥的上线,除了演示正常流程,还要同时做权限、恢复和复核的测试。问题不是要不要让 AI 工作,而是公司能不能说清它可以在哪里工作,看得见发生了什么,出错时又能恢复。

来源与延伸阅读

本文是非几基于下列来源写的独立解读。来源里的研究结果,不代表非几客户的成效。

  1. Anthropic · 如何在不同产品中约束 Claude. 关于隔离、模型行为及外部内容风险的工程说明。
  2. Anthropic · 理解 AI 智能体评估. 对运行轨迹与实际结果分别进行评估。

带一项你们的实际工作来看看。

预约演示