118 lines
2.8 KiB
Markdown
118 lines
2.8 KiB
Markdown
|
# PRD - 置信度门控
|
|||
|
|
|
|||
|
|
> **REQ编号**: REQ-AI-002
|
|||
|
|
> **版本**: v1.0
|
|||
|
|
> **优先级**: P1
|
|||
|
|
> **阶段**: 近期（1-2个月）
|
|||
|
|
> **作者**: 宋献
|
|||
|
|
> **日期**: 2026-07-19
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 一、问题陈述
|
|||
|
|
|
|||
|
|
**用户问题**：
|
|||
|
|
- AI 不分问题难易，都直接回答
|
|||
|
|
- 低置信度问题被"硬答"，回答质量差
|
|||
|
|
- 员工体验差，认为"AI 答非所问"
|
|||
|
|
|
|||
|
|
**业务目标**：
|
|||
|
|
- 引入置信度评估，低置信度问题自动转人工
|
|||
|
|
- 减少"AI 答非所问"的负面体验
|
|||
|
|
- 提升 AI 回答的整体质量感知
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 二、需求范围
|
|||
|
|
|
|||
|
|
### 2.1 核心功能
|
|||
|
|
|
|||
|
|
| 功能 | 描述 |
|
|||
|
|
|------|------|
|
|||
|
|
| 置信度评分 | Dify 返回回答的置信度分数 |
|
|||
|
|
| 阈值判断 | 根据置信度决定后续动作 |
|
|||
|
|
| 自动转人工 | 低置信度问题自动转接人工坐席 |
|
|||
|
|
| 提示引导 | 告知用户转人工原因 |
|
|||
|
|
|
|||
|
|
### 2.2 非目标
|
|||
|
|
|
|||
|
|
- 不修改 Dify 内部置信度计算逻辑
|
|||
|
|
- 不支持人工调整阈值（后续迭代）
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 三、用户故事
|
|||
|
|
|
|||
|
|
| 角色 | 用户故事 | 验收标准 |
|
|||
|
|
|------|----------|---------|
|
|||
|
|
| 员工 | AI 无法回答我的问题时自动转人工 | 低置信度问题自动转接人工，无需重复描述问题 |
|
|||
|
|
| 员工 | 我知道为什么被转人工 | 显示提示"这个问题比较复杂，已为您转接人工" |
|
|||
|
|
| 坐席 | 转入的会话带有问题摘要 | 坐席可以看到员工刚才问的问题内容 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 四、功能详情
|
|||
|
|
|
|||
|
|
### 4.1 置信度评分
|
|||
|
|
|
|||
|
|
**流程**：
|
|||
|
|
```
|
|||
|
|
员工提问 → Dify处理 → 返回回答 + confidence_score → 后端判断阈值 → 执行动作
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
**Dify 返回格式**（扩展）：
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"answer": "...",
|
|||
|
|
"confidence_score": 0.75,
|
|||
|
|
"sources": [...]
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 4.2 阈值配置
|
|||
|
|
|
|||
|
|
| 置信度区间 | 动作 |
|
|||
|
|
|-----------|------|
|
|||
|
|
| ≥ 0.8 | 直接返回回答 |
|
|||
|
|
| 0.5 - 0.8 | 返回回答 + 提示"如果不确定可以转人工" |
|
|||
|
|
| < 0.5 | 自动转人工 + 提示"问题已转接人工处理" |
|
|||
|
|
|
|||
|
|
### 4.3 自动转人工逻辑
|
|||
|
|
|
|||
|
|
1. 触发条件：`confidence_score < 0.5`
|
|||
|
|
2. 动作：
|
|||
|
|
- 创建人工会话
|
|||
|
|
- 将 AI 已生成的回答作为"预设回复"（坐席可修改后发送）
|
|||
|
|
- 将会话状态标记为"待处理"
|
|||
|
|
- 通知空闲坐席
|
|||
|
|
3. 提示文案：
|
|||
|
|
- "这个问题我暂时无法确定答案，已为您转接人工处理"
|
|||
|
|
- "您的问题已提交，坐席将尽快为您解答"
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 五、指标设计
|
|||
|
|
|
|||
|
|
| 指标 | 目标 | 测量方式 |
|
|||
|
|
|------|------|---------|
|
|||
|
|
| 自动转人工率 | 10-20% | 转人工会话数/总会话数 |
|
|||
|
|
| 转人工满意度 | ≥ 4.0 | 人工服务满意度评分 |
|
|||
|
|
| 置信度准确率 | ≥ 80% | 高置信度回答被标记正确的比例 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 六、技术依赖
|
|||
|
|
|
|||
|
|
| 依赖项 | 说明 |
|
|||
|
|
|--------|------|
|
|||
|
|
| Dify API | 返回置信度分数 |
|
|||
|
|
| 会话管理 | 自动转接逻辑 |
|
|||
|
|
| 消息通知 | 坐席接收通知 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 七、关联文档
|
|||
|
|
|
|||
|
|
- 前置需求: REQ-AI-001 复杂场景与统一路由
|
|||
|
|
- 后续需求: 无
|