背景

2025 年，LLM 技术在产品化中逐渐稳定，但工程挑战仍然存在：数据准备、检索增强（RAG）、结构化输出、评估与观测、成本治理与安全合规。本清单旨在帮助工程团队快速校验关键环节。

清单

• 数据
  • 选择可用的知识来源与更新策略
  • 切分策略（按语义/结构/任务）
  • 向量化维度、阈值与归一
• 检索
  • 多路召回（BM25 + 向量 + 规则）
  • 重排序（小模型/交叉编码器）
  • 约束（来源、时间、权限）
• 提示
  • 输入/输出契约（JSON Schema）
  • 模板版本管理（SemVer）
  • 少样本/偏差控制/抗越狱
• 工具
  • 工具边界与可见性（只读/只写/资金、消息）
  • 幂等与 dry-run
  • 重试/超时/熔断
• 评估
  • 任务集（真实任务及变体）
  • 质量：目标达成与引用率
  • 性能：P95 延迟、Token 成本
• 观测
  • Trace：步骤、提示、工具输入输出
  • 红线与告警：越权、未引用、成本突增
  • 回放：金路径持续回放
• 成本与安全
  • 成本预算与限额
  • 模型分级：路由/提取/规划用小模型
  • 安全：层级策略与人工升级

参考

• 多篇近期 Medium 文章与社区实践（均作思想参考）

结语

这份清单可作为迭代中的“最低保障”，结合团队的数据/业务进行裁剪。