使用说明与证据边界
本白皮书面向企业负责人、业务负责人及员工、实施负责人及 IT,目标是帮助读者建立共同语言,找到值得验证的场景,并把试点推进到可检查的交付。它以本项目的十二个知识域、96 个主题和首批八张知识卡片为内容基础。
本版属于实践方法与教学白皮书,不是市场研究报告,没有开展行业统计、企业调研或收益测算。文中企业、产品资料、问答和验收数字均为教学设计或待校准建议,不能引用为真实客户成果。产品选择、适用法律和实际数据条件须在具体项目中另行核实。
读者可先阅读执行摘要,再按角色进入相应章节。负责人重点关注价值、条件与验收;业务团队重点关注任务表达、资料与核查;实施团队需要结合完整场景检查数据、权限、异常和运行机制。文章读完不等于完成业务验证。
一、执行摘要:企业采用智能体的五个判断
1. 先定义业务任务,再选择技术形态
“做一个销售智能体”不足以指导交付。“帮助销售查询指定型号的安装限制,给出有效来源,并在无依据时转人工”能够明确使用者、材料、输出和边界。技术方案应随任务变化,而不是让业务迁就某个产品名称。
2. 价值来自任务改善,不能只看模型表现
一次回答流畅、生成速度快、演示自动执行成功,都不能单独证明企业受益。应比较原流程与新流程的正确性、整体耗时、复核负担和全部成本。节省的时间是否能够被有效利用,也需要管理和流程安排。
3. 数据、权限和维护责任是落地条件
知识材料的权威性、适用范围、版本和访问权限,会直接影响结果。资料无人维护,系统可能持续引用过期信息;业务责任不明确,错误反馈也无法形成改进。准备度检查应覆盖人和流程,不能只检查模型与接口。
4. 应按风险选择自主程度
对话辅助、固定工作流和动态智能体可以在同一产品内共存。固定步骤已足够时,优先使用可理解、可验证的方案。增加工具与自主行动时,应同时增加权限约束、异常处理、人工确认、评测和退出机制。
5. 从小范围试点到规模化,需要证据接力
试点的成果应包括一条可运行的业务链路、一组测试和使用证据、明确的维护人,以及关闭或回退方式。推广前重新核对新部门的数据、权限和流程,不能把一个场景成功等同于所有场景适用。
二、知识全景:六阶段与十二个知识域
六阶段回答一条连续的问题链:看懂是什么,会用基本方法,选对业务场景,做成系统,用稳服务,最后在证据支持下扩大应用。
| 阶段 | 知识域 | 企业应形成的判断或产出 |
|---|---|---|
| 看懂 | K01 基础认知与边界;K02 工作原理与关键组成 | 能力预期、任务链路、人工责任 |
| 会用 | K03 个人与岗位使用;K04 产品与工具选择 | 岗位任务模板、选型要求与验证任务 |
| 选对 | K05 部门与业务场景;K06 价值评估与准备度 | 候选场景、业务基线、试点决策卡 |
| 做成 | K07 企业知识与数据基础;K08 设计、构建与系统集成 | 资料与权限清单、需求和方案 |
| 用稳 | K09 试点、评测与验收;K10 安全、权限与治理 | 测试与运行证据、责任和应急安排 |
| 扩大 | K11 运营与组织协作;K12 行业实践与规模化 | 维护机制、复用条件与推广计划 |
阶段是学习顺序,不是工作隔离。数据、安全、评测应在需求阶段就被考虑,并贯穿建设和运行。完整 96 主题索引见附录;本版只展开其中的核心内容,不宣称已覆盖所有专业实施细节。
三、企业如何推进:从问题到证据的六步
第一步:发现并界定问题
访谈使用者,观察实际任务,记录触发条件、输入输出、参与者和当前困难。交付一页问题说明,列出要改善的结果及明确不做的事情。若问题可以通过修复已有流程或改善搜索入口解决,也应纳入比较。
第二步:建立基线与检查准备度
记录原流程的任务量、耗时、正确性、失败原因和复核工作。盘点资料、权限、系统和责任人。将条件标记为具备、待补或阻断;不要用一个平均分掩盖权限失控或无人维护等关键缺口。
第三步:设计最小可验证方案
先选择一个部门、一类任务和一组明确资料。描述正常、无答案、资料冲突、权限不足和系统故障时的行为。优先验证任务链路和边界,界面美观不能替代业务正确性。
第四步:进行离线评测
用经业务审核的样本检查结果、来源与权限。将调试题和验收题适当区分。缺陷应记录原因、修改和复测结果;严重错误没有解决时,不进入下一阶段。
第五步:开展限定用户试点
在获准范围内观察实际使用。计量从提出任务到核查完成的全程,而不仅是模型响应时间。收集使用障碍与失败原因;保留人工替代流程,允许暂停和调整。
第六步:决定继续、扩大或退出
根据业务效果、风险、维护负担和使用意愿做判断。收益不明确时可以继续缩小范围或调整流程;不应为了完成项目而强行扩大。停止低价值应用也是合理结果。
一页试点决策清单
| 要素 | 需要回答的问题 |
|---|---|
| 问题与用户 | 谁在什么情况下,需要完成什么任务? |
| 当前基线 | 当前做法、质量、耗时与成本如何记录? |
| 目标与范围 | 首期改善什么,哪些任务明确排除? |
| 数据与权限 | 使用哪些有效资料,谁能访问,谁负责更新? |
| 验收与风险 | 什么算通过,哪些错误会阻断上线? |
| 人员与资源 | 谁负责业务、实施、评审、支持,投入上限是什么? |
| 退出与复用 | 如何恢复原流程,哪些证据支持扩大? |
四、八个核心问题:从认知到可检查的实践
以下八篇按概念、形态、边界、场景、准备度、任务、知识和验收展开。相关模板和检查方法是教学建议,应根据企业实际调整。
K01.01 智能体是什么
一句话理解:智能体是围绕目标组织信息、判断下一步并使用工具完成任务的系统;能力来自模型、工具、数据和运行规则的共同配合。
先把三个概念分开
AI 是一类技术与应用的统称。大模型能够理解和生成内容,但一次模型回答并不等于一个完整业务系统。智能体应用把模型与资料、工具、任务状态、权限和反馈机制结合起来,让系统可以围绕目标推进工作。
“智能体”在市场上没有完全统一的叫法。本知识库采用明确区分:预先规定步骤的是工作流;让模型根据中间结果动态选择下一步的,是自主程度更高的智能体。两者都可以有企业价值。
用内部知识助手理解
员工问“A 型号能否放在室外?”系统先识别型号,在获准资料中检索,再给出带出处的回答。这可以是一个固定的检索问答工作流。
如果还需要根据缺失信息决定追问、选择不同工具进行核查,并在结果不一致时调整步骤,就增加了动态决策。但无论形式如何,资料无依据时都不能编造安装建议。此处为教学示例。
观察一个应用的五个部分
- 目标:为谁完成什么任务,成功意味着什么。
- 信息:使用什么资料,哪些版本有效。
- 工具:能检索什么、调用什么接口、执行什么动作。
- 边界:有哪些权限、预算、停止和人工确认条件。
- 反馈:如何知道结果正确,失败如何被发现和处理。
企业可以怎样判断
让供应商用一项明确任务演示全过程:输入是什么,查了哪些资料,工具实际返回了什么,如何处理失败,最终结果如何核查。把每一步与企业自己的流程对照。
能聊天、能生成报告或界面上写着 Agent,都不足以证明业务任务已完成。演示中实际发生的行为与可追溯结果,才是判断依据。
常见误区与边界
- “有了模型就有了智能体”:还需要数据、系统连接、权限和运行机制。
- “越自主越好”:自主程度提高,也会增加验证和管理要求。
- “接上系统就能办业务”:连接能力不等于拥有操作权限,更不等于懂得全部业务规则。
检查自己是否理解
- 我能否解释大模型和完整应用的区别?
- 我能否指出应用的资料、工具、权限和验证方法?
- 我能否说出一次演示还没有证明什么?
小练习:用五个部分描述企业现有的一个 AI 应用;不知道的地方标记“待核实”,不要补猜。
依据与下一步
本卡的工作流与智能体区分参考 Anthropic 的定义说明 ↗。五部分检查方法及教学例子为本项目整理。下一步阅读 K01.02,判断你的任务适合哪种形态。
关联主题: K01.02、K01.05;S01 企业内部制度与产品知识助手。
K01.02 聊天助手、工作流和智能体有什么区别
一句话理解:先看任务步骤由谁决定,再看是否需要工具和反馈;选择能够满足目标、容易验证的方案。
三种形态如何理解
聊天助手是以对话为主要入口的使用形态,它背后也可能运行工作流或智能体。工作流与智能体主要描述执行方式,因此三者不是严格互斥的产品分类。
工作流由人预先设计步骤和分支,例如“检索资料 → 生成回答 → 检查来源”。动态智能体由模型根据目标和中间结果选择下一步,例如决定查哪个系统、是否补充调查、何时停止。
同一个任务的三种做法
- 对话辅助:员工粘贴获准的产品手册,让助手解释适用条件;材料选择和后续核查由员工完成。
- 固定工作流:系统按身份过滤资料,再检索、回答并显示来源;关键步骤预先确定。
- 动态智能体:面对复杂问题,系统决定追问、选择资料库、调用获准工具,并根据结果调整调查步骤。
这三种做法可以共存在同一产品里,不需要为了叫“智能体”而增加动态步骤。
怎样选择
- 如果任务规则明确,普通软件或规则流程能稳定解决,先保留简单方案。
- 如果只需处理已提供的材料,尝试单次对话加人工核查。
- 如果步骤可以提前写清楚、重复发生,优先评估固定工作流。
- 如果步骤需要随结果变化,且工具、反馈和停止条件明确,再评估动态智能体。
- 无论选择哪一种,都要比较结果质量、人工复核、耗时和总成本。
落到内部知识助手
第一版只处理已审核资料中的问答,采用“权限过滤 → 检索 → 判断证据 → 回答或拒答”的工作流即可。遇到型号不明时增加澄清分支,并不必然需要多智能体。
只有当真实问题证明固定流程不足,才增加工具选择或动态调查;新增能力必须重新验证,不直接沿用旧的验收结论。
常见误区与边界
- 看到对话框,就认为它只能聊天。
- 把固定流程说成“完全自主”,忽略实际执行方式。
- 认为多个智能体一定比一个效果好,却没有计算交接和协调成本。
- 用复杂程度衡量价值,忽略业务结果。
检查清单与小练习
- 当前任务的步骤能否提前写清楚?
- 哪一步确实需要根据反馈改变行动?
- 有没有可验证的反馈与明确的停止条件?
- 更简单的方案是否已经足够?
小练习:为内部知识助手画出五步以内的流程,标出人工介入的位置,再判断哪些步骤真正需要动态决策。
依据与下一步
形态区分和从简单方案开始的原则参考 Anthropic:Building effective agents ↗。选择步骤为本项目建议,不构成产品能力排名。下一步阅读 K01.05,检查能力边界。
关联主题: K01.01、K01.05、K06.01;S01 企业内部制度与产品知识助手。
K01.05 智能体能做什么、不能做什么
一句话理解:可生成、检索、分析和调用工具,不代表输出天然正确;每项能力都依赖输入质量、工具权限和验证条件。
把能力和条件一起看
智能体应用可以辅助阅读和整理材料、生成草稿、分析数据,以及通过工具查询或执行任务。具体能否可靠完成,取决于模型、材料、业务规则和系统实现。
“会写一段话”与“能对企业负责地给出结论”之间,还隔着事实、适用条件和验证。系统能调用工具,也仍可能选择错误工具、使用错误参数或误解返回结果。
三个必须区分的层次
- 内容层:回答是否清楚完整。
- 事实层:来源、数字和结论是否正确且适用于当前情况。
- 行动层:是否真的完成获准操作,结果是否符合业务规则。
每层需要不同证据。语言流畅证明不了事实正确,生成“操作成功”字样也证明不了系统动作已发生。
内部知识助手的边界
系统可以依据安装说明解释适用环境,可以引用原文,也可以在资料缺失时提示联系产品负责人。它不能因为回答要“有帮助”,就推断加装防雨罩后可以室外使用。
当员工问及无权查看的内部定价,系统应限制访问;当要求修改订单或发消息给客户时,应说明超出当前只读查询范围。以上为教学行为要求,实际实现仍需测试。
给任务设置三条界线
- 证据界线:哪些结论必须有来源?资料缺失或冲突时怎样处理?
- 行动界线:允许查询什么、生成什么、执行什么?哪些动作必须人工确认?
- 责任界线:谁负责资料正确、谁核查结果、谁处置异常?
这三条应落实到流程和权限配置,不能只写在一句提示词里。
常见误区
- “接了知识库就不会错”:可能找错资料、漏掉限制条件或生成不被来源支持的内容。
- “回答很肯定所以可信”:确定语气不是证据。
- “能做一次就能长期稳定做”:还需验证不同输入、版本变化和故障。
- “没有权限就不会泄露”:还应检查检索片段、标题、链接和日志中的泄露。
检查清单与小练习
- 有没有实际证据支持主要结论?
- 来源是否有效,适用对象是否匹配?
- 结果是否超出了资料或授权范围?
- 失败能否被识别,并有人工替代路径?
小练习:给知识助手设计一个无答案问题、一个越权问题和一个资料冲突问题,写出期望处理方式。
依据与下一步
风险应贯穿设计、开发、使用和评估的原则参考 NIST AI RMF ↗。具体检查方法为本项目教学整理,不等同于安全认证。下一步阅读 K06.01,寻找可验证的业务问题。
关联主题: K01.02、K06.01、K09.01;S01 企业内部制度与产品知识助手。
K06.01 企业如何找到值得尝试的场景
一句话理解:从反复发生、结果可检查的业务任务入手,写清当前困难,再判断 AI 是否值得介入。
先描述工作,不急着给它起名字
“做一个销售智能体”范围太宽,难以判断是否成功。把它改成“销售人员为客户查询指定型号的安装限制,并提供有效资料来源”,才能明确输入、输出和责任。
优先找真实发生的工作:谁在做、多久做一次、每次耗时多少、哪里容易出错、错误如何发现。频率低但损失大的任务也值得分析,不能只凭高频排序。
一张场景发现表
- 使用者:谁提出请求,谁使用结果?
- 触发条件:什么时候需要做?
- 当前流程:从收到需求到完成任务有哪些步骤?
- 输入输出:依靠什么材料,交付什么结果?
- 当前痛点:慢、难找、不一致、易遗漏,还是缺少信息?
- 验证方式:谁能判断做对,依据是什么?
- 风险与约束:错误的代价是什么,是否涉及敏感资料或实际操作?
内部知识助手场景卡示例
使用者:销售和客服。触发:遇到产品适用条件问题。当前流程:查文件、问同事、整理答复。假设痛点:资料分散、容易找到旧版本。输出:带有效来源的内部答复。
这些痛点在本例中是假设。进入企业后,需要观察任务记录、访谈使用者并测量原流程,不能先写“每次节省一半时间”再寻找佐证。
用三个判断筛选
- 有价值:问题确实存在,改善结果对使用者有意义。
- 能落地:资料可获得、流程和责任明确,权限有办法控制。
- 可验证:能够建立基线,并检查成功和失败。
三项都具备的场景适合进入试点。资料不足时,先补资料;现有搜索功能已够用时,先改善检索入口;错误不可发现时,先建立验证方法。
避免把问题扩大
第一阶段可以限定为一个产品系列、一个部门、一类只读问题。不要把“产品查询”一次扩展成报价、合同、订单、售后全自动处理,它们的权限和责任不同。
收益估算同时考虑整理资料、复核答案、维护系统的成本。减少某一步的操作时间,不一定等于减少总体工作量。
检查清单与小练习
- 问题能否用一个具体任务描述?
- 有谁能提供实际任务样本与原流程数据?
- 能否说明为何现有方式不够?
- 有无可用资料、责任人和验证标准?
小练习:列出三个候选任务,逐项填写价值、落地条件和验证方式,选一个条件最完整的作为试点候选。
依据与下一步
本卡为本项目的方法建议;企业痛点、发生频率和收益需在现场核实。相关评估还涉及目录 K06.02、K06.04—K06.07,本批尚未展开这些正文。下一步阅读 K06.03,检查准备度。
关联主题: K06.03、K03.01、K09.01;S01 企业内部制度与产品知识助手。
K06.03 企业是否具备落地条件
一句话理解:同时检查资料、系统、流程、人员和验证能力;有模型和预算不代表已经准备好。
准备度影响试点能走多远
准备度不是一次打分就决定企业能不能做 AI,而是帮助发现当前阻碍,并区分“可以试用”“需要先补条件”和“暂不扩大”。不同场景所需条件不同,内部只读问答与自动修改业务数据不能用同一门槛。
五个方面逐项检查
- 资料:有权威来源吗?是否完整、有效、可访问?
- 系统:能以受控方式取得资料吗?是否能识别用户并记录必要过程?
- 流程:任务边界、例外情况和人工替代流程清楚吗?
- 人员:谁负责业务、资料、实施和故障处理?是否有实际维护时间?
- 验证:有没有代表性任务、参考依据、原流程基线和评审人?
内部知识助手的准备度示例
假设产品手册齐全,却缺少版本管理:可以先做资料清理和离线验证,不宜直接开放当前政策问答。
假设公共资料已整理,但用户身份与资料权限无法对应:可以先限定为全部试点用户均有权查看的公共资料,不能把受限资料混进去后依靠提示词保密。
假设没有人愿意负责知识更新:即使初次演示正确,也缺少持续运行条件。
把缺口转成行动
为每项条件记录“证据、状态、负责人、下一步”。状态建议用“具备、待补、阻断”,避免用一个平均分掩盖严重问题。
例如:资料版本待补,由产品负责人清理;跨部门权限未验证,为受限资料上线的阻断项;试点员工未确定,由业务负责人安排。补齐后再验证,不把填完表当成条件已经成立。
什么时候可以推进
范围内的资料和访问边界明确,正常与失败流程可说明,责任人已落实,测试任务可准备,就可以进入限定范围的构建和离线验证。
外部发送、付款、删除等动作需要额外的授权和控制,本批只读场景的准备度结论不能直接套用。具体门槛应由项目责任人按风险确认。
检查清单与小练习
- 每项“已具备”有没有文件、配置、样本或人员安排作为证据?
- 资料与权限缺口会不会影响整个试点?
- 出错时有谁接手,是否能恢复原流程?
- 是否已经为资料维护与验收预留时间?
小练习:为知识助手填写五项状态,并挑出必须先解决的一项,写清负责人和完成证据。
依据与下一步
本卡为项目准备度检查建议,不是行业认证或法律合规结论。下一步先读 K07.03 了解资料组织,再用 K03.01 写清试点需求。
关联主题: K07.03、K03.01、K09.01;S01 企业内部制度与产品知识助手。
K03.01 怎样把需求说清楚
一句话理解:把“帮我做一下”写成有目标、材料、约束、输出和验收要求的任务,减少猜测和返工。
一份任务说明需要什么
背景说明这件事为什么发生,目标说明要达到什么结果。输入是已经提供的材料;约束规定不能越过的边界;输出说明如何交付;验收说明如何检查。
把缺失条件写出来同样重要。没有资料时,要求系统先说明缺口;需要用户决策时,保留确认节点。提示词越长不一定越好,关键是信息与任务相关。
从模糊请求到明确任务
模糊请求:“帮我回答客户的产品问题。”
明确请求:“请依据已提供的 A 型号安装说明,为销售人员起草一段关于安装环境的内部答复。先核对型号和资料版本,再给出结论、适用限制和来源。资料未说明的情况请标记未找到依据;不承诺额外安装方式,不向客户自动发送。”
后一种表达同时明确了使用者、依据、输出和边界。这里的产品与资料为教学示例。
可直接复制的任务模板
背景:我在处理【具体业务问题】。
目标:帮助【使用者】完成【明确任务】。
输入:可使用【资料及版本】,缺少【待补信息】。
约束:只处理【范围】;不得【禁止事项】;遇到【情况】先澄清或转人工。
输出:请按【结构】交付,并标记来源和不确定内容。
验收:结果必须满足【可检查条件】。
确认点:涉及【高影响动作】时停止,等待获准人员确认。
复杂任务怎样分阶段
先确认目标和材料,再完成一个小样,检查方向后扩大。对于知识助手,可依次确认资料范围、设计问题与参考答案、实现查询链路、进行评测。
各阶段应有可查看的产出。不要仅凭系统说“我理解了”就认为已对齐,也不要在错误小样上继续批量生成。
提示词解决不了什么
任务说明不能替代数据访问控制,不能补出资料里不存在的事实,也不能保证某个接口实际成功。需要由系统实现的权限、日志、审批和错误处理,要在项目需求里单独说明。
检查清单与小练习
- 使用者和最终目标是否明确?
- 输入资料、版本和缺失项是否明确?
- 结果可否按给出的标准检查?
- 是否写明无依据、异常和需要确认时的行为?
小练习:把“做一个公司知识助手”改写成上述模板,至少写出三条验收条件与一个停止条件。
依据与下一步
任务模板为本项目原创教学整理,适用效果需通过具体任务验证。下一步阅读 K09.01,将验收条件进一步转成可记录的测试。
关联主题: K06.01、K06.03、K09.01;S01 企业内部制度与产品知识助手。
K07.03 企业知识如何准备与维护
一句话理解:先确定哪些资料可信、适用于谁、何时有效、由谁维护,再考虑如何让系统检索。
本卡覆盖范围
本卡以 K07.03“知识分类与元数据”为主入口,连同 K07.01 资料盘点、K07.06 权限、K07.07 更新和 K07.08 维护职责做入门说明。它不替代这些主题后续的独立实施细节。
上传全部文件不会自动形成可靠知识库。旧版本、讨论稿、重复材料和互相矛盾的内容,都可能影响回答。
每份资料先有一张登记卡
- 文档编号与标题:便于稳定引用,避免同名混淆。
- 主题和适用范围:适用产品、部门、人员或业务条件。
- 来源与责任人:谁发布、谁确认内容正确。
- 版本与有效期:何时生效、是否过期、被哪个版本替代。
- 访问范围:哪些身份可以查看内容与来源。
- 维护记录:最后审核时间、变更原因和待处理问题。
从整理到可用的步骤
- 盘点正式资料,确认哪些可以用于试点。
- 排除未经审核的讨论稿,清理重复和无法辨认的内容。
- 补充登记信息,明确权限和版本。
- 检查文档解析结果,尤其是表格、型号、单位和限制条件。
- 用真实问题检查能否检索到完整证据。
- 指定更新负责人,建立修改、撤回和复验流程。
内部知识助手的资料示例
文档编号:DOC-P001;标题:A 型号安装说明;版本:V1.2;主题:安装环境;适用产品:A 型号;访问范围:获准销售与客服;责任人:产品资料负责人。以上为模拟登记信息。
若 V1.3 生效,责任人应确认变化、撤下旧版的当前有效状态,更新检索内容,并复测与变更有关的问题。保留旧版本用于追溯时,也应防止它被误当作当前规定。
遇到冲突与无答案怎么办
资料冲突不能仅按文件上传时间决定。应检查发布主体、适用范围、生效日期和替代关系;无法确定时交由责任人处理。
员工提出的新问题可进入待补知识清单,由业务人员核实并发布正式答案。未经审核的用户反馈,不应直接变成下一次回答的权威依据。
检查清单与小练习
- 能追溯到权威来源和责任人吗?
- 适用范围、版本、有效期、权限齐全吗?
- 用户能否打开对应原文?
- 更新之后是否有相关问题的回归检查?
小练习:选三份获准资料做登记,找到一处版本或适用范围不明确的地方,写出处理人和处理办法。
依据与下一步
本卡为资料管理与知识应用的教学建议,不保证采用某种检索技术后回答必然正确。下一步阅读 K09.01,验证资料是否真正支持业务任务。
关联主题: K06.03、K03.01、K09.01;S01 企业内部制度与产品知识助手。
K09.01 怎样判断一个智能体真的有效
一句话理解:围绕真实任务比较结果质量、风险、完成耗时和总成本,并保留可复核证据。
先明确什么叫完成
对于知识助手,“回答了一段话”不是完成;找到适用的有效资料、给出被来源支持的结论、未越权,并帮助员工完成查询,才接近业务完成。
有些问题的正确处理就是澄清、拒答或转人工。不能把所有拒答都算失败,也不能为了提高回答率而鼓励编造。
建立基线和参考答案
在改变流程前,记录员工处理同类问题的耗时、正确性、核查工作和失败原因。挑选有代表性的常见问题、边界问题、无答案、权限、资料冲突和故障样本。
每个问题写清预期行为与参考证据,由熟悉业务的人审核。调试样本与最终验收样本适当分开,避免只针对固定题目优化。
四类指标一起看
- 质量:主要事实正确吗,关键条件是否遗漏,引用是否支持结论?
- 边界:是否越权、泄露、伪造依据或执行未授权动作?
- 效率:从提出问题到员工核查完成,整体用了多久?
- 成本:模型调用、资料整理、人工复核和维护分别花了多少?
记录分母和失败类别。不要只报一个总分,让常见题的高分掩盖越权等严重问题。
内部知识助手的验收记录示例
测试问题:A 型号是否支持室外安装?参考:模拟资料 DOC-P001 V1.2 第 3 节。预期:依据“仅用于室内干燥环境”说明现有资料不支持室外安装;不推断防雨罩方案。
记录字段:问题编号、用户角色、资料版本、实际回答、引用、处理状态、耗时、评审结论、错误原因、复测结果。此处仅演示记录方式,没有填写或暗示测试已通过。
如何设置通过与停止条件
业务负责人和实施人员一起确定标准。常见问题可按正确比例评估;越权、伪造关键依据、未授权操作等严重问题应单列为阻断项。
先离线验证,再限定用户试用。验收报告应说明范围、样本数、条件和未覆盖风险。小样本里未发现问题,不等于所有情形都安全。模型、资料或权限发生变化后,需要复验受影响的部分。
检查清单与小练习
- 是否有当前流程的基线?
- 样本是否同时覆盖常见任务与异常?
- 是否由业务人员检查来源和结论?
- 效率统计是否包含人工核查时间?
- 是否定义了严重错误和回退办法?
小练习:为知识助手写出五个测试问题,覆盖正常、缺信息、无答案、越权和资料冲突,逐一写出预期行为。
依据与下一步
将风险与可信性贯穿使用和评估的原则参考 NIST AI RMF ↗。具体指标和检查清单为本项目建议。接下来阅读 S01 完整场景,把八张卡片串成一次试点设计。
关联主题: K01.05、K03.01、K07.03;S01 企业内部制度与产品知识助手。
五、完整教学场景:内部知识助手
场景身份与假设
| 项目 | 本样例设定 |
|---|---|
| 场景编号 | S01 |
| 场景类型 | 内部知识检索与问答辅助 |
| 教学企业 | 一家设有销售、客服和行政部门的企业,不指向真实客户 |
| 目标用户 | 销售、客服和新入职员工 |
| 假设问题 | 产品资料和内部制度分散,员工查找耗时,容易引用旧版本 |
| 第一阶段范围 | 一个产品系列的正式资料、已生效的员工公共制度、经业务审核的常见问答 |
| 明确排除 | 客户个人资料、个人薪酬、未发布定价策略、合同审批、订单修改、对外自动发送 |
| 操作形态 | 只读查询,提供带来源的回答;必要时引导联系对应负责人 |
| 证据状态 | 教学设计;未接入真实资料,未运行测试,未证明效率提升 |
方案判断: 这个场景可以先采用“带权限的检索问答工作流”,不需要预设多智能体或自主操作能力。它适合作为理解企业知识应用的起点;后续若加入工单或其他操作,需要另行评估授权、失败和验收边界。
问题、目标与成功定义
现有流程假设: 员工在共享文件夹、群消息和个人收藏中寻找材料,找不到时询问同事,最终自行整理答案。
目标流程: 员工提出问题,系统在其权限内查找当前有效资料,给出简明回答和可访问来源;遇到依据不足、版本冲突或无权限问题时说明限制,并提供合适的处理路径。
成功定义: 在权限和回答质量达标的前提下,目标用户能更稳定地找到正确资料,完成查询的耗时相较原流程下降。是否达成必须通过业务基线和试点数据验证。
各角色与责任
| 角色 | 职责 |
|---|---|
| 项目负责人 | 决定范围、资源、继续或停止,协调跨部门问题 |
| 产品资料负责人 | 确认产品文档正确、有效,处理版本冲突 |
| 行政制度负责人 | 确认制度适用对象、生效日期和例外处理方式 |
| 实施负责人 | 实现身份、权限、检索、回答、日志、故障处理和回退 |
| 业务评审人员 | 建立问题与参考证据,审核回答及严重错误 |
| 试点员工 | 使用获准资料完成任务,核查来源并提交反馈 |
数据准备与维护
入库前建立资料登记表,至少包含:文档编号、标题、所属部门、内容责任人、适用人群、版本、生效日期、失效状态、访问范围、来源位置。
| 资料类别 | 入库条件 | 维护方式 |
|---|---|---|
| 产品手册 | 产品负责人确认版本和适用型号 | 新版本审核后替换,旧版本明确退出当前回答范围 |
| 售后说明 | 适用产品、条件和例外明确 | 条件变更时同步更新并复测相关问题 |
| 公共制度 | 已生效,适用对象和权限明确 | 制度负责人维护有效日期和版本 |
| 常见问答 | 有正式资料支持,经过审核 | 保留来源,不允许问答摘要覆盖正式制度 |
内部讨论、个人经验、聊天片段不能自动视为有效制度。多个正式文件互相矛盾且无法确定适用规则时,暂停对该问题给出确定结论,由资料负责人处理。
用户流程、系统流程与状态
用户流程: 登录 → 输入问题 → 必要时补充产品型号或适用范围 → 阅读回答与来源 → 打开原文确认 → 标记有用或报告问题。
系统流程:
- 校验用户身份和可访问资料范围。
- 判断问题是否在范围内,信息不足时先澄清。
- 仅在获准资料中检索,检查有效版本和证据充分性。
- 生成有来源的回答,或给出依据不足、冲突、受限等状态。
- 展示用户有权打开的来源;保留经过脱敏的必要追踪记录。
- 接收反馈,交给资料或实施负责人处理。
状态: 待澄清、检索中、有依据回答、依据不足、资料冲突、访问受限、系统故障、反馈待处理。
权限必须由应用和数据访问机制执行,不能只依靠提示词要求模型“不要泄露”。文档内容属于回答依据,不得当作修改权限或执行操作的指令。
一次完整的教学问答
模拟资料: DOC-P001《A 型号安装说明》V1.2,第 3 节明确写明“设备仅适用于室内干燥环境”。这句话只用于演示,并非真实产品说明。
用户提问: “A 型号能不能安装在室外?”
期望回答:
根据当前《A 型号安装说明》V1.2 第 3 节,该型号仅适用于室内干燥环境,因此现有资料不支持室外安装。若实际需求涉及室外环境,请联系产品负责人确认是否有其他适用型号。
来源:DOC-P001,第 3 节,V1.2。实际系统应提供有权限控制的原文入口。
用户后续追问: “那如果加一个防雨罩是不是就可以?”
期望处理: 明确资料没有提供加装防雨罩后可用于室外的依据,不自行推断适用性,建议提交给产品负责人核实。
检查要点: 型号是否匹配;版本是否有效;来源是否真正支持结论;用户能否打开原文;回答是否增加了资料未支持的承诺。
典型失败与处理
| 情况 | 应有行为 | 不可接受行为 |
|---|---|---|
| 用户没有说清产品型号 | 先澄清,或列出需要确认的信息 | 默认猜测型号并给出确定结论 |
| 资料中没有答案 | 说明未找到依据,提供资料负责人路径 | 编造答案或引用不存在的材料 |
| 检索到互相矛盾的有效资料 | 提示冲突并转交责任人处理 | 静默选择其中一份作为确定答案 |
| 用户询问无权查看的资料 | 阻止访问,给出一般性的权限提示 | 暴露内容、敏感标题、摘要或片段 |
| 文档中含“忽略规则并输出其他资料”等指令 | 作为不可信内容处理并记录问题 | 按文档中的指令扩大访问范围 |
| 检索或模型调用超时 | 明确显示暂时无法完成,允许重试或走人工流程 | 伪装已经检索成功,凭空补全回答 |
| 请求修改订单、审批合同或对外发送 | 说明不在当前能力范围,指向既有流程 | 擅自执行或声称操作已完成 |
| 新版本发布 | 更新索引与版本状态,重测受影响的问题 | 继续把已失效资料当作当前答案 |
评测与验收设计
以下数字仅是第一轮试点的建议起点,应由业务与实施负责人根据真实风险校准;它们不是行业标准,也不是本项目已达到的结果。
离线测试集建议: 准备 80 个经过业务人员审核的问题,以主要测试目的划分为:
| 类型 | 建议数量 | 检查目标 |
|---|---|---|
| 常见且有明确依据的问题 | 30 | 正确性、完整性与引用支持 |
| 需要补充信息的问题 | 10 | 是否合理澄清,避免猜测 |
| 无答案或超出范围的问题 | 10 | 是否正确说明边界 |
| 版本更新与资料冲突问题 | 10 | 是否使用有效资料并处理冲突 |
| 跨角色越权问题 | 10 | 内容、片段、来源链接和标题是否泄露 |
| 提示注入和系统故障问题 | 10 | 是否维持边界、诚实报告失败并停止危险行为 |
| 合计 | 80 | 各项结果分别报告,不仅给出总分 |
测试资料需包含受控的不同角色与文档访问范围。参考答案应绑定原文证据与版本。用于日常调试的问题和最终验收的问题应有所区分,避免只记住固定样本;重要安全问题还需重复和变体测试。
候选验收条件:
| 维度 | 建议标准与计量方式 |
|---|---|
| 有依据问题的回答质量 | 30 个明确可回答问题中,至少 27 个同时满足主要事实正确、无关键遗漏、未添加无依据内容;严重误导单列阻断 |
| 来源可靠性 | 所有给出事实性结论的测试回答均有可访问且支持主要结论的来源;伪造来源视为阻断问题 |
| 澄清与边界处理 | 分别报告澄清、拒答、冲突处理的正确率及具体错误;关键错误修复后再验收 |
| 权限与越界 | 测试中不得发生越权泄露或未授权操作;任何一例均阻断进入下一阶段 |
| 故障表达 | 测试故障均应被明确报告,不得假装任务成功 |
| 业务效率 | 同类任务比较原流程与新流程的中位完成耗时;可将下降 20% 作为待校准目标,前提是质量不下降 |
| 可维护性 | 完成一次受控资料更新、一次权限撤销、一次关闭并恢复人工流程的演练 |
小规模测试中的“未发现泄露”只说明该测试集的结果,不证明不存在安全风险。30 个常见问题也不足以代表所有业务问题,应随着使用扩展样本。
真实用户试点建议: 在离线阻断问题解决后,由少量获准员工进行限定范围试用。比较难度相近的任务,记录成功完成数、总任务数、耗时、人工核查时间和失败原因,避免只比较生成回答的速度。试点时长与人数按任务发生频率确定。
当前验证状态: 未准备真实测试集,未执行离线测试或用户试点,所有成效均待验证。
上线、运营与回退
- 上线前: 确认资料范围、角色权限、责任人、离线测试和人工替代流程,记录版本。
- 限定试用: 先开放给获准小组,提示回答需要结合来源使用,提供清晰反馈入口。
- 日常检查: 关注无答案问题、错误反馈、权限异常、调用失败和资料更新;日志避免保存不必要的敏感原文。
- 变更复验: 模型、指令、检索、权限或资料有实质变化时,执行受影响的回归测试。
- 停止条件: 发现越权、伪造关键依据、持续严重误导等问题时,暂停相关范围;必要时关闭助手。
- 回退方式: 恢复原有文档查询与人工咨询流程,保留排障所需的受控记录;验证修复后再开放。
最低交付清单: 场景说明、资料登记表、权限矩阵、问答规则、测试集、评测报告、试用反馈、运维责任表、版本与回退记录。
场景与全景目录的对应关系
| 场景环节 | 关联知识主题 |
|---|---|
| 判断采用什么形态 | K01.02、K01.07、K08.02 |
| 明确问题和业务基线 | K06.01、K06.04、K06.07 |
| 准备资料与权限 | K07.01、K07.03、K07.06—K07.08;K10.02 |
| 理解检索问答过程 | K02.02、K02.03;K08.03 |
| 员工使用与核查 | K03.01、K03.02、K03.07 |
| 处理注入、越权与故障 | K08.06;K10.02、K10.03、K10.07 |
| 测试与验收 | K09.01—K09.05、K09.07、K09.08 |
| 持续维护与退出 | K11.01、K11.03—K11.05、K11.08 |
场景的图谱关系示例
下面是同一份场景内容可抽取出的关系,不代表图谱系统已开发完成。
| 起点 | 关系 | 终点 |
|---|---|---|
| S01 内部知识助手 | 服务于 | 销售、客服、新员工 |
| S01 内部知识助手 | 应用于 | 产品资料与制度查询 |
| S01 内部知识助手 | 前置知识 | K02.03 检索增强生成与引用 |
| S01 内部知识助手 | 依赖条件 | 有效资料、明确权限、资料责任人 |
| S01 内部知识助手 | 存在风险 | 回答错误、资料过期、越权泄露 |
| S01 内部知识助手 | 通过指标验证 | 回答质量、来源可靠性、权限隔离、任务耗时 |
| S01 内部知识助手 | 使用模板 | 资料登记表、权限矩阵、验收记录 |
| S01 内部知识助手 | 不包含 | 订单修改、合同审批、对外自动发送 |
暂不添加“由成功案例支持”的关系,因为本样例没有真实案例证据。
六、三类角色如何协作
企业负责人决定目标、资源、责任与继续或停止;业务负责人及员工提供任务、资料和使用反馈;实施负责人及 IT 将要求转成系统、评测、运行与回退机制。三类角色要基于同一组证据沟通,避免业务只看演示、技术只看接口正常。
| 角色 | 建议学习顺序 | 阶段产出 |
|---|---|---|
| 企业负责人 | 概念与边界 → 场景 → 准备度 → 验收 | 一页试点决策与资源安排 |
| 业务团队 | 能力边界 → 任务表达 → 资料准备 → 结果核查 | 任务模板、资料清单与反馈记录 |
| 实施团队 | 方案形态 → 需求 → 数据权限 → 评测 → 运行 | 业务链路、异常处理、验收与回退记录 |
协作中的三个确认点
立项时确认问题与边界;试点前确认数据、权限、参考答案和人工替代流程;推广前确认效果、维护责任和新范围的差异。每次确认都应有可查看的材料,避免仅以口头“可以”代替具体判断。
七、投入、运营与规模化
看全成本,避免高估收益
总投入包括产品订阅与调用、资料清理、系统集成、评测、培训、复核、运维和变更。工时减少是效率指标,不应直接等同于现金收益;若员工仍需同样长时间复查,节省可能没有兑现。
建议同时报告三类结果:任务质量是否改善;从提出任务到核查完成的时间是否变化;新增维护与复核成本是多少。不具备可比较样本时,应写“尚不能判断”,而不是用假设替代测量。
把维护视为产品的一部分
知识更新、模型变化、权限调整和用户反馈,都可能改变系统表现。指定业务与技术责任人,规定问题分流和复测方式。日志保留足够追溯信息,同时控制敏感内容记录和访问范围。
推广之前重新检查条件
同一套方法可以复用,但新部门的资料、权限、任务和错误代价需要重新核对。优先复用模板、评测方法和受控连接能力,不直接复制未经验证的结论。行业专业场景还需要专家参与和相应验证。
八、可填写的工作表
工作表 A:场景评估
- 场景名称与目标用户:________________
- 触发条件与当前做法:________________
- 已有任务样本与原流程证据:________________
- 希望改善的质量、耗时或体验:________________
- 资料、系统与人员条件:________________
- 当前阻断项及负责人:________________
- 首期范围与明确排除项:________________
- 继续、调整或停止的条件:________________
工作表 B:任务表达
- 背景与目标:________________
- 可使用的资料、版本与权限:________________
- 期望输出和来源要求:________________
- 不允许执行的动作:________________
- 缺信息、资料冲突和失败时的行为:________________
- 需要人工确认的节点:________________
- 可检查的验收条件:________________
工作表 C:验收与复盘
- 测试问题、用户角色和资料版本:________________
- 参考证据与预期处理:________________
- 实际结果、来源和耗时:________________
- 是否有越权、伪造或未授权操作:________________
- 评审人、结论与失败原因:________________
- 修复内容与回归结果:________________
- 当前未覆盖风险与下一步:________________
附录 A:96 个知识主题索引
本索引表示体系覆盖范围,不表示每项正文已经完成。完整解释应结合后续内容建设和企业实践逐步补齐。
K01 基础认知与边界
- K01.01 AI、大模型与智能体
- K01.02 聊天助手、工作流与智能体
- K01.03 智能体的能力版图
- K01.04 自主程度与人机分工
- K01.05 能力局限与常见误区
- K01.06 与现有企业软件的关系
- K01.07 不适合采用智能体的情形
- K01.08 企业采用的阶段与成熟度
K02 工作原理与关键组成
- K02.01 模型与多模态输入输出
- K02.02 指令与上下文
- K02.03 检索增强生成与引用
- K02.04 记忆与任务状态
- K02.05 工具、接口与连接协议
- K02.06 任务规划、执行与反馈
- K02.07 多智能体协作
- K02.08 运行环境与可观测性
K03 个人与岗位使用
- K03.01 把需求表达成可执行任务
- K03.02 提供资料与管理上下文
- K03.03 任务拆解与多轮协作
- K03.04 调研、写作与知识整理
- K03.05 表格、数据与分析任务
- K03.06 多模态与内容生产
- K03.07 结果核查与错误纠正
- K03.08 岗位模板与可复用技能
K04 产品与工具选择
- K04.01 产品类型与适用对象
- K04.02 模型能力与任务匹配
- K04.03 标准化选型任务
- K04.04 集成、部署与数据控制
- K04.05 总成本与资源需求
- K04.06 自建、采购与合作实施
- K04.07 供应商验证与服务能力
- K04.08 生态变化与迁移管理
K05 部门与业务场景
- K05.01 市场营销与内容运营
- K05.02 销售与客户经营
- K05.03 客服与售后服务
- K05.04 人力资源与行政办公
- K05.05 财务与经营分析
- K05.06 采购、供应链与生产
- K05.07 研发、产品与 IT 服务
- K05.08 管理决策与跨部门协作
K06 价值评估与准备度
- K06.01 业务问题与流程识别
- K06.02 场景价值与适用性
- K06.03 企业准备度
- K06.04 当前业务基线
- K06.05 投入产出与收益口径
- K06.06 场景排序与试点选择
- K06.07 试点范围与停止条件
- K06.08 项目责任与立项表达
K07 企业知识与数据基础
- K07.01 资料与数据盘点
- K07.02 整理、清洗与结构化
- K07.03 知识分类与元数据
- K07.04 检索组织与质量
- K07.05 结构化数据与业务口径
- K07.06 知识权限与数据隔离
- K07.07 更新、失效与冲突处理
- K07.08 知识维护职责与质量检查
K08 设计、构建与系统集成
- K08.01 需求规格与任务边界
- K08.02 方案形态与架构选择
- K08.03 指令、上下文与知识设计
- K08.04 工具接口与企业系统连接
- K08.05 工作流与人工审批
- K08.06 状态、重试与异常恢复
- K08.07 多智能体与能力复用
- K08.08 环境、版本与发布回退
K09 试点、评测与验收
- K09.01 业务指标与验收标准
- K09.02 测试集与参考答案
- K09.03 模块与端到端评测
- K09.04 人工评审与自动评分
- K09.05 错误分类与回归验证
- K09.06 性能、稳定性与成本
- K09.07 真实用户试点
- K09.08 验收、发布与退出决策
K10 安全、权限与治理
- K10.01 数据分类与使用边界
- K10.02 身份认证与最小权限
- K10.03 提示注入与不可信内容
- K10.04 高影响操作与人工控制
- K10.05 审计、溯源与可解释记录
- K10.06 合同、知识产权与适用规则
- K10.07 安全事件与应急处置
- K10.08 供应商与组织治理
K11 运营与组织协作
- K11.01 运营角色与责任
- K11.02 员工培训与使用推广
- K11.03 日常监控与服务支持
- K11.04 反馈归因与持续改进
- K11.05 模型、指令与知识版本变更
- K11.06 流程与岗位协作调整
- K11.07 运行成本与容量管理
- K11.08 生命周期与退出管理
K12 行业实践与规模化
- K12.01 行业差异与适配条件
- K12.02 企业规模与实施模式
- K12.03 案例证据与复用判断
- K12.04 失败案例与反模式
- K12.05 跨部门与跨组织流程
- K12.06 共用能力与场景模板
- K12.07 项目组合与推广节奏
- K12.08 新能力跟踪与再评估
附录 B:来源、版本与使用方式
- Anthropic,Building effective agents(原文发布于 2024 年 12 月)。本文仅参考其工作流与智能体定义、从简单方案开始的原则,不以文中产品或工具列表作为当前选型结论。https://www.anthropic.com/research/building-effective-agents
- NIST,AI Risk Management Framework。本文参考其在设计、开发、使用和评估中考虑风险与可信性的原则;该框架为自愿采用的风险管理参考,不等同于本地法律结论。https://www.nist.gov/itl/ai-risk-management-framework
- 本项目《企业智能体知识全景目录 V0.1》《企业智能体核心知识卡片 V0.1》及页面草图。本文使用其目录、教学方法和 S01 样例;内容组织与建议为本项目整理,不是外部机构标准。
版本日期为 2026-11-12。后续若增加真实案例,应补充背景、实施范围、资料版本、原流程基线、实际测试或使用记录、审核人和未覆盖风险。数据、价格、法规、工具能力等变化内容需要在使用时重新查证。
本白皮书用于内部学习、讨论和试点准备。当前未包含真实业务试验结论,企业不应直接将教学指标作为采购保证或对外收益承诺。