AI PM 储备知识库

2026/5/12

AI Product Manager 知识库

AI PM 必备技术知识库，涵盖 LLM 基础、Prompt Engineering、AI Agent、RAG 四大模块。

一、LLM 基础

1. Token（令牌）

是什么：LLM 处理文本的最小单元，不是字，而是“有意义的最小片段”。一个汉字≈1-2个 token，一个英文单词≈1-3个 token。
怎么用：模型按 token 计费、限制上下文长度。你的 prompt 越长、生成内容越多，消耗的 token 和费用就越高。
产品视角：设计功能时要控制 token 用量，比如聊天记录截断策略、长文档分段摘要再喂给模型，都是为了不超限、不浪费成本。

2. 上下文窗口（Context Window）

是什么：模型在一次交互中能“看到”的最大 token 数量，包括你的输入和模型的输出。比如 GPT-4 Turbo 窗口 128k tokens。
怎么用：超出窗口的部分会被遗忘，所以多轮对话需要“滑动窗口”或“摘要记忆”来保留关键信息。
产品视角：文档问答里，不能把整本手册一股脑塞进去，必须先切片、检索相关内容，再拼进窗口里。

3. 幻觉（Hallucination）

是什么：模型自信地生成与现实不符、无根据甚至矛盾的内容。因为它是概率预测，不是数据库查询。
怎么用：通过强制引用来源（RAG）、限定回答范围（system prompt）、要求给出低置信度时的表态来压制幻觉。
产品视角：做企业级应用时，回答必须可溯源，“AI 说错了”是产品事故，要设计兜底策略（如显示“依据如下文档段落”）。

4. Temperature

是什么：控制输出随机性的参数，一般在 0~2 之间。温度越低结果越确定、保守；温度越高越多样、有创造性，但也更容易胡说。
怎么用：需要精确、一致性的场景（如抽取字段、生成SQL）设低温度（0~~0.3）；创意写作或闲聊可设高（0.7~~1.0）。
产品视角：产品经理可以在功能层封装不同温度档位，比如“严谨模式”和“灵感模式”，让用户可感知。

5. System Prompt（系统提示）

是什么：在对话开始前，给模型下达的“最高级别指令”，定义角色、风格、行为边界、输出格式等，且具有全程约束力。
怎么用：“你是一个儿童编程助教，回答要亲切、用比喻，不直接给答案。” 用户后续对话都会遵循这个基调。
产品视角：这是产品刻画 AI 人格的核心工具，相当于“AI 的产品经理设定”。所有深度专家场景都靠它限定领域。

6. Few-shot（少样本提示）

是什么：在 prompt 里给模型几个“输入→期望输出”的例子，让模型学会模式，而不需要微调。
怎么用：比如“将用户问题分类：Q-购买咨询 A-售后。示例1:… 示例2:… 现在请对‘我的订单到哪了’分类。”
产品视角：适合产品经理快速测试意图分类、情感分析、格式转换等，无需依赖工程资源。

7. Function Calling（函数调用）

是什么：模型不直接回答，而是输出一个结构化 JSON，指明要调用哪个外部工具/函数以及参数。由系统执行后，再把结果传回模型生成最终回答。OpenAI 官方将其定义为“让模型连接外部工具和系统，用于取数据、执行动作和构建工作流”。
怎么用：用户说“帮我查明天杭州天气”，模型返回 { "function": "get_weather", "params": {"city": "杭州", "date": "明天"}}，程序调用天气 API 后，模型把结果组织成自然语言。
产品视角：这是 Agent 的基石，让 AI 从“只会说”变成“能做事”。你的联网搜索、内部工具调用、订阅状态查询都可基于此设计。

二、Prompt Engineering

1. 角色设定（Persona）

是什么：通过 system prompt 或对话首句，给 AI 一个明确的身份、口吻和专业领域，比如“你是一名资深产品经理，擅长用数据思考”。
怎么用：结合目标场景打磨角色描述，越具体越稳定。
产品视角：AI 产品的“人设”直接影响用户信任度和黏性，要像塑造运营形象一样设计 prompt。

2. 结构化输出（Structured Outputs）

是什么：要求模型以固定格式（JSON、Markdown表格、列表）返回结果，而不是自由文本。OpenAI 的 Structured Outputs 功能利用 JSON Schema 强制约束模型输出，确保字段类型、必填项完全符合预期。
怎么用：“提取以下简历中的姓名、邮箱、工作年限，以 JSON 格式返回：{‘name’: ‘…’, ‘email’: ‘…’, ‘years’: int}”。
产品视角：AI 功能能落地的关键，因为前端界面需要可靠的结构化数据来渲染卡片、填表、入库。可大幅减少非确定性带来的开发成本。

3. 约束（Constraints）

是什么：在 prompt 中明确限制回答的长度、范围、禁止事项等。比如“回答不超过100字”、“不要透露任何内部代码”。
怎么用：与 system prompt 配合，形成“必须做”和“禁止做”的规则集。
产品视角：约束是产品合规与安全的防线，能防止 AI 在用户诱导下说出不该说的话。

4. 反例（Negative Examples）

是什么：在 few-shot 示例中，故意给出“错误回答”或“不合格回答”，并注明“这是错的”，让模型明确辨认边界。
怎么用：情感分析示例里，除了给正面、负面的正确分类，还可以给一句“今天心情真差”并标为“负面”，再给一句“今天心情真差但没事”故意标成“这是错误分类，正确应为正面”，强化模型理解。
产品视角：当你的 AI 容易在边缘 case 上出错时，加反例往往比加正例更高效。

5. 评测样例（Evaluation Examples）

是什么：一套带有标准答案的测试用例，用来量化评估 prompt 效果。包含输入、期望输出、评分规则。
怎么用：收集 50 条真实用户 query，让不同 prompt 版本生成答案，人工或自动化打分，比较准确率、格式合规率。
产品视角：产品经理要建立这套评测集，它是你推动算法优化的“证据”，没有评测就不能说 prompt 变好了。

三、AI Agent 基础

1. 工具调用（Tool Use）

是什么：Agent 根据任务动态选择并调用外部工具（搜索、计算器、数据库、API）的能力，通常基于 function calling 实现。
怎么用：用户问“今年销售额比去年增长多少？”，Agent 先调用数据库工具查两年销售额，再用计算器算增长率，最后生成回答。
产品视角：产品设计的核心是定义工具集和权限边界，决定 AI 能“碰”哪些系统，这也是 Agent 的能力上限。

2. 记忆（Memory）

是什么：让 Agent 在不同对话回合甚至不同会话间记住用户信息、偏好、历史上下文的能力。
怎么用：短期记忆靠上下文窗口；长期记忆通过存储向量化对话摘要到数据库，下次检索注入。
产品视角：记忆成就个性化体验。RealBot 可以记住学生上次学到哪、常犯的编程错误，下次主动推荐练习，这就是产品粘性。

3. 任务拆解（Task Decomposition）

是什么：Agent 把复杂目标拆分成一步步可执行的子任务，并规划执行顺序。
怎么用：用户说“帮我从竞品报告里总结三家公司的SWOT，做成对比表并发邮件给老板”，Agent 会拆成：读文件→提取每家SWOT→生成表格→调用邮件发送。
产品视角：你设计的 AI 如果只做“一问一答”就是聊天机器人，能拆解多步任务才是真正的 Agent。产品经理需要梳理业务 SOP，看哪些能拆解自动化。

4. 工作流（Workflow）

是什么：一系列预定义的步骤和节点，Agent 按条件路由执行，可包含人工审核节点。
怎么用：在 PRD 辅助场景里，可以构建“需求分析→竞品查询→生成初版PRD→人工修改→评审”的流水线。
产品视角：工作流是可编排、可监控的 Agent 产品形态。你可以用低代码工具把多个 AI 调用串成业务流程。

5. 失败兜底（Fallback）

是什么：当 Agent 无法理解、工具出错、任务超出能力时，降级处理的策略，比如转人工、给出安全回答、重试限制等。
怎么用：三次重试失败后，回复“这个问题我暂时无法处理，已为您转接人工”，并记录错误日志。
产品视角：兜底设计决定用户容错度。好的兜底让用户觉得“这个 AI 很靠谱”，而不是“它坏了”。

四、RAG 基础

1. 文档切片（Chunking

是什么：把长文档拆成一个个小段落（chunk），每个 chunk 通常 200~500 tokens 左右，保证语义完整且不会太大。
怎么用：按标题或自然段落切分，带上标题等元信息。切片好坏直接影响检索质量。
产品视角：你需要和工程一起定切片策略（大小、重叠量），比如法律合同更适合按条款切，教程适合按步骤切。

2. Embedding（嵌入）

是什么：将文本转成高维向量（一串数字），语义相似的文本向量距离近。相当于给文本算出一个“语义坐标”。
怎么用：把文档切片和用户问题都转成向量，通过向量距离找最相关的文档片段。
产品视角：Embedding 模型的选择（通用 vs 领域专用）会影响召回质量，也是成本因素。产品经理可要求测试对比。

3. 向量库（Vector Database）

是什么：专门存储和检索向量的数据库，如 Pinecone、Milvus、PGvector。支持快速相似度搜索
怎么用：把文档片段的向量存进去，用户提问时把问题向量化，在库中找最相似的 Top K 个片段。
产品视角：向量库是 RAG 的底盘，你设计文档问答时需关注搜索速度、准确率和更新机制。

4. 召回（Retrieval）

是什么：根据用户问题，从知识库中“捞”出可能相关的文档片段的过程，通常分关键词召回和语义召回。
怎么用：混合召回策略，结合稀疏检索（BM25）和密集向量检索，提高覆盖面。
产品视角：产品可以干预召回策略，比如限定搜索范围（仅搜索某类文档）、加关键词权重，提升答案的精准性。

5. 重排（Re-ranking）

是什么：对召回的一堆候选片段进行二次精排，用更慢但更准的模型重新打分，把最相关的放到前面。
怎么用：召回 50 个片段，重排模型选出最相关的前 5 个送入 LLM 生成答案。
产品视角：重排是成本与效果的平衡点，产品经理可决定是否开启重排以提升回答质量，并监控延迟和费用。

6. 引用来源（Source Citation）

是什么：让模型在回答中标注信息来自哪份文档的哪个片段，并提供链接或页码。
怎么用：在 prompt 中要求“回答后附上参考文档段落编号”，并在前端渲染成可点击的脚标。
产品视角：这是企业 AI 可信度的核心。尤其在文档问答功能里，你能展示出处，用户才敢用。这也是产品文案的一环。

学习路线

Written By Six_moon