企业级智能体的六条硬标准:从「能跑」到「敢用」
我做过一个跑得挺顺的 Agent,客户问的第一个问题却是「它删错数据谁能拦住」。可控、可测、可审计、可运维、可复用、可集成 —— 这六条是「个人玩具」和「能进业务系统」的分水岭。
目录
我做过一个自己觉得挺不错的东西。
校园电话卡 AI 提效系统,三类 Agent 分工,LangGraph 编排,FastAPI 封装,团队 120 多号人用起来了。我心里默认它是「生产级」的。
后来我把这套东西讲给一个做企业软件的人听,他听完问了我几个问题:
- 它有没有可能发出去一句不该发的话?发了谁能拦?
- 某次回答为什么是错的,你能查出来吗?
- 下个月资费政策变了,谁改?改完怎么确认没改坏?
- 这套东西你能给另一个团队直接复用吗,还是要重写一遍?
我答得出来一部分,另一部分答不出来。
那天我意识到:我一直在用「能不能跑」的标准评判一个 Agent,但企业关心的是「敢不敢用」。 这是两套完全不同的判据。
后来系统学了一遍,发现这个区别早就被总结成六条了 —— 可控、可测、可审计、可运维、可复用、可集成。这六条现在是我的验收清单,写方案的时候一条条过。
为什么个人玩得转的东西,企业用不了
先说清楚一件事:一个人用 AI,这六条缺哪条都不致命。
你自己在本地跑个助手,它偶尔胡说八道你能看出来,它挂了你重启一下,它不能接你的 OA 系统也没关系 —— 你本来也不需要。
但企业要把智能体放进智能客服、知识助手、经营分析、流程自动化,马上会撞上五堵墙:
| 企业会遇到的问题 | 为什么单个 AI 工具不够 |
|---|---|
| 知识从哪来 | 成百上千份文档、表格要高质量做成知识库,涉及解析、切分、向量检索、更新、权限管理 |
| 工具怎么接 | 需要连接器、鉴权、工具治理,接入内部系统与外部工具 |
| 流程怎么搭 | 需要可视化编排、变量流转、节点调试、异常兜底 |
| 权限和安全怎么办 | 不同部门岗位能看的知识、能调的接口不同,数据要隔离、审计、合规 |
| 效果好不好、花了多少钱 | 上线后需要评测、监控、分析、持续优化,否则是一笔糊涂账 |
前四堵墙是工程问题,第五堵是管理问题 —— 而第五堵通常最致命。一个说不清效果的系统,在企业里活不过第二次预算评审。
第一条:可控性
含义:系统在任何时候都受人掌控 —— 能暂停、能停止、有权限边界、能修改目标或约束、能干预决策。
举个具体的:智能体发现需要删除某条客户信息时,它不该直接删,而应该停下来等人审批。
这条我是在自己的项目里踩过坑才真正理解的。早期我给 Agent 配了工具调用,让它能查订单、改备注。有一次它为了「完成任务」,自己连续调了三次接口 —— 逻辑上没错,但如果那是个不可逆的动作呢?
现在我的做法很机械:按影响程度给动作分级。
- 只读查询 → 权限范围内自动执行
- 创建工单这类可逆动作 → 校验入参 + 留痕
- 删除、付款、改价、赔付、改配置 → 必须审批或二次确认,且提前准备回滚方案
还有一条必须写在这里的警告:提示词不是安全边界。
在 Prompt 里写「请不要删除用户数据」,和在系统层面加一道审批,是两个完全不同量级的东西。前者是请求,后者是机制。大模型会犯错、会被诱导、会误解语境 —— 把安全寄托在「它听话」上,迟早出事。
第二条:可测性
含义:能验证它是否按预期工作 —— 完整日志、可重现的问题场景、清晰的成功标准、独立的测试环境。
这条是我目前最大的缺口,我认。
我的自适应 RAG 项目里,重排序(Rerank)、混合检索、Ragas 评估体系三项全都没做。这意味着什么?意味着我无法证明任何一次改进是有效的。
我加了个功能,感觉上回答变准了 —— 然后呢?没有基线,没有测试集,没有指标。这种「感觉变好了」在企业里一文不值,因为下一个季度你没法向任何人证明你做的事有意义。
可测性的落地动作是上线前建评测集:
- 覆盖高频问题(占 80% 流量的那些)
- 覆盖复杂问题(需要多跳、需要组合信息的)
- 覆盖边界问题(该拒答的、该转人工的)
然后定义业务基线和验收指标:准确率、召回率、流程完成率、转人工率、响应时长。
没有这些,「优化」就是瞎调参数。
第三条:可审计性
含义:任何决策和行动都留有完整痕迹 —— 决策记录、信息来源、时间戳、操作者、异常标记。
这条听起来最像「合规部门才关心的事」,但它实际解决的是一个非常日常的问题:出问题了怎么查。
我的 RAG 系统里做了全链路追踪,每次请求一个 trace id,记录每个节点的耗时、令牌消耗、状态变更快照。加这个的起因不是合规,是我自己受够了 —— 用户反馈「刚才那个回答不对」,我如果没有 trace,就只能凭空猜是哪个环节出了问题。
有了 trace,我能直接看出:是检索召回率掉了?还是路由选错了模型?还是重写后的查询跑偏了?
可审计性不是给审计师准备的,是给三个月后的你自己准备的。
放到企业场景,它要记录的是:谁在什么时候调用了什么能力,输入是什么,输出是什么,有没有失败,有没有人工干预。某次拒答参考了哪条规则、何时执行 —— 这些都要能回溯。
第四条:可运维性
含义:容易被监控、调试、升级、回滚,能快速定位模型 / 知识 / 规则 / 工具的问题。
一个典型的运维场景:系统成功率从 95% 掉到 70%。
没有可运维性的时候,你只知道「变差了」,然后开始大海捞针 —— 是模型更新了?是知识库被人改了?是某个接口挂了?还是用户的问题分布变了?
有可运维性的时候,告警直接告诉你:失败集中在某一类任务上,而这类任务对应的是上周刚换掉的某个数据源。
具体到落地:
- 监控:请求量、成功率、延迟、Token 消耗
- 告警:指标跌破阈值自动告警,且能定位失败类型
- 灰度:新版本先放小流量观察
- 降级:依赖挂了要有兜底路径
我的 RAG 项目里有一条设计我自己挺满意 —— 启动阶段做依赖健康检查,服务不可达或密钥认证失败立即中止启动。看起来很激进,但它换来的是「不会带病运行」。容器起不来,监控一分钟内告警,问题当场暴露,而不是变成三天后一个说不清的质量问题。
第五条:可复用性
含义:能力模块、知识库、工具、规则、模板能被多个智能体或系统复用。
这条最容易被忽略,因为它在项目前期完全不痛 —— 你只做一个 Agent 的时候,复用给谁?
痛的是第二个、第三个项目开始的时候。
我的教训是:最初给校园团队做的那套话术库和选题库,是硬编码在提示词里的。等到想把它接到另一个场景,发现全部要重写一遍。三个月的积累,复用率是零。
正确的做法是沉淀而非一次性代码:
- 知识库独立出来,授权给多个助手使用
- 工具做成标准接口,谁都能调
- Prompt / Workflow / 模板存成资产,而不是写死在某个应用里
一个部门建起来的政策知识库,应该能被其他五个部门的问答助手直接授权使用。这件事在第一天就要设计好,事后补的代价是重写。
第六条:可集成性
含义:能和企业现有系统对接 —— 标准接口、系统连接、数据输入输出能力。
这条决定了你的 Agent 是「一个能聊天的页面」还是「业务流程里的一个环节」。
接入 CRM、ERP、企业微信、工单系统、数据库 —— 能不能接进去,决定了它能产生多少价值。一个不接工单系统的客服助手,最多只能给客服「建议怎么回」,而接了之后它能直接生成工单、更新状态、触发后续流程。
落地时要提前确认四件事:接口、权限、字段、安全边界。
特别要区分「查资料」和「改数据」—— 前者可以放开,后者必须收口。我在家具零售方案里也写了同样的东西:外部配合的动作只允许「微信发张照片、回一句话、扫码点一下」这种零学习成本的,写数据的权限一律在我方。
六条怎么映射到交付动作
我把它做成了一张对照表,现在每个项目开工前过一遍:
| 特性 | 交付时必须做的事 | 没做的后果 |
|---|---|---|
| 可控性 | 高风险动作加审批或二次确认,准备回滚方案 | 一次误操作就可能终结项目 |
| 可测性 | 上线前建评测集,定义基线与验收指标 | 无法证明价值,第二次预算没了 |
| 可审计性 | 记录谁在何时调用了什么,输入输出与失败情况 | 出问题查不到原因,只能猜 |
| 可运维性 | 监控四项核心指标,设计灰度与降级 | 质量下滑时无从下手 |
| 可复用性 | 知识库 / 工具 / 模板沉淀为资产 | 第二个项目从零开始 |
| 可集成性 | 提前确认接口、权限、字段、安全边界 | 永远停在「演示系统」 |
一个诚实的自评
拿这六条对照我自己的两个项目:
自适应 RAG 系统:可控性做了(操作分级 + 输入防护)、可审计性做了(全链路 trace)、可运维性做了(健康检查 + 优雅降级 + 监控);可测性是硬伤(没有评测集、没有基线、没有 Ragas);可复用性做了一半(架构分层了,但知识库没抽象出来);可集成性没做(还是个独立服务,没接任何外部系统)。
校园电话卡提效系统:可控性、可集成性因为场景简单而不那么关键;可复用性做得很差(话术硬编码);可测性同样缺失。
六条里我平均做到三条半。这个分数不漂亮,但知道自己缺哪几条,比笼统地觉得「我还行」有用得多。
最后
这六条里,真正让我改变做法的是第一条和第五条。
第一条教会我:不要把安全寄托在模型听话上。 提示词是请求,机制才是保证。
第五条教会我:第一天就要为第二个项目做设计。 你以为的「以后再抽象」,通常是「永远不抽象」。
而整套六条教给我的最重要的一件事是 ——
判断一个 AI 系统够不够格进企业,不看它最亮的那次表现,看它最糟的那次能不能被拦住、被查清、被修复。
评论区还没启用。在
src/consts.ts
里填好 Giscus 配置并把
enabled
改成 true
就能开启。