Skip to content

Commit e3ed4d9

Browse files
AparenciaAparencia
committed
docs(Foresight): 长期优化清单六源调研汇总——分层执行顺序+依赖链+低挂果实
1 parent 1b7fdac commit e3ed4d9

1 file changed

Lines changed: 137 additions & 0 deletions

File tree

‎docs/Foresight/long-term-optimization-inventory.md‎

Lines changed: 137 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,137 @@
1+
# 长期优化清单——全面调研汇总（2026-08-20）
2+
3+
> **状态**: 前瞻调研（未排期，2026-08-20 六源合并）
4+
> **用途**: v0.8.0 AI 线之后批次的排期输入；与 [需求池远期区段](../product/requirements-pool.md)、[机制摘要](brainstorming-classroom-assistant-mechanisms.md) 配套使用
5+
> **调研来源（6 类）**: ① 需求池 V1.0/V1.1+ 远期 REQ（24 条）② Foresight 四份前瞻（机制 42 项/档案检测 20 项/数据清单 30 项/提取极限 L1-L4）③ 版本文档"不做/缓做"清单（v0.5.0~v0.8.0）④ ADR-010（补缝 AI 规划）⑤ 技术债台账（open 7 笔 + 观察 8 条 + carried 4 笔）⑥ 模型接入与前端接线双盘点 + 影子层模块核验（8 个）
6+
> **方法**: 六源去重合并（已落地项标注 ✅）、依赖链标注、分层排序；全部结论可经文件:行号回溯
7+
8+
---
9+
10+
## 一、调研结论速览
11+
12+
1. **"接线问题"多于"能力缺失"**：数据清单六层约 30 项绝大多数已闭环；未投入的是增强型数据（词级时间戳/讲者/图像流/元数据）——缺的是**消费端排期**；档案检测根因①同样是"参数存在但从未被填充"。
13+
2. **三条最高置信主线**（四份前瞻文档互为印证）：
14+
- ① 已有信号接线 + 多信号投票（章节/档案/重点——信号全现成只差融合）
15+
- ② 反馈闭环/用户纠错回流（用户编辑是最廉价的高质量标注）
16+
- ③ VideoProfile 档案化（管线配置化骨架，"架构极限三件套"之一）
17+
3. **性能类优化的共同前提**：先测量后优化——本地诊断面板（G2）优先于一切性能机制。
18+
4. **两个枢纽**：REQ-056 补缝 AI（058/093/094 前置）、闪卡 REQ-019/020（021/022/027 前置）。
19+
20+
---
21+
22+
## 二、执行优先级分层（建议执行顺序）
23+
24+
### S 档：立即可做（无前置、低风险）
25+
26+
| # | 候选 | 来源 | 说明 |
27+
|---|------|------|------|
28+
| S1 | **image_crop → structure_capture 接线** | 影子层核验 | structure_capture.rs 头部已规划"白边裁剪（image_crop 机制）"但管线未调用——本模块内接线缺口；纯函数已单测，存储/缩略图直接受益 |
29+
| S2 | **TD-E/F：health_status 增查 speaker/punctuation 模型** | 技术债 open | 就绪清单（ReadyCheckCard）补 2 项；标点缺失提示一并解决 |
30+
| S3 | **TD-I：live:window-lost 前端横幅** | 技术债 open | 目标窗口丢失用户无感知（采集中画面源不可见）；与 asr-degraded 同模式 |
31+
| S4 | **TD-H：音频落盘状态/清理 UI 或修注释** | 技术债 open | 后端注释"承诺未兑现" |
32+
| S5 | **观察 2：render_note_structure 无结构早退** | 技术债观察 | chapters/glossary 均空时直接返回（黄金测试保输出不变，零风险） |
33+
| S6 | **卫生项**：model_registry::list_versions 冗余清理 + asr_dedupe 过时豁免清理 | 影子层核验 | 同盘点清偿 S1 模式 |
34+
| S7 | **观察 4：AGENTS.md VAD 表述修正**（RMS+自适应，非 Silero） | 技术债观察 | 规范一致性（倾向改文档；补模型需产品决策） |
35+
36+
### M 档：近期（有先例/依赖小）
37+
38+
| # | 候选 | 来源 | 说明 |
39+
|---|------|------|------|
40+
| M1 | **TD-A + 观察 1：三命令 spawn_blocking 合并改造** | 技术债 open+观察 | session_to_note/batch（≤50 条）/preview 三命令；先例 review_text_filter 可抄；数据移入闭包后 to_vec 变所有权转移，一次改动双收益；1-2 人日 |
41+
| M2 | **TD-D：说话人模型应用内下载** | 技术债 open | 按 structure_models 模式加下载命令+UI（对照流式/结构模型） |
42+
| M3 | **TD-G：备份/恢复 UI** | 技术债 open | REQ-107 TRUST-1 能力不可达（后端已 spawn_blocking） |
43+
| M4 | **档案检测批一**：#4 增量再检测接线、#1 标题结构化、#2 负向规则、#3 归一化 | Foresight doc4 | 纯逻辑可单测、不动采集链路、低成本高收益 |
44+
| M5 | 观察 3/5：titled_chapters 展示 + 课堂助手页捕获结果提示 | 技术债观察 | 各 S 级单点 |
45+
46+
### M/L 档：立项评估（有条件/核心链路）
47+
48+
| # | 候选 | 来源 | 前置/风险 |
49+
|---|------|------|-----------|
50+
| L1 | **audio_route_probe 分应用音频路由** | 影子层 | spike 已过 API 面；接入=capture/audio_loopback 核心链路改造 + REQ-105 兜底；**独立于 AI 线的最高价值影子能力**（根治微信/广告声混入） |
51+
| L2 | **interruption_detect 抢话检测** | 影子层 | 代理版技术上可接（live_session_loop Final 处），但该文件属其他代理域 + 精度需真机圆桌样本——随 live_session 域排期 |
52+
| L3 | **dtw_align 时序对齐** | 影子层 | spike 门未过：等 M4 音频落盘后实测漂移分布，有收益才接入（当前不改变行为是正确姿态） |
53+
| L4 | **image_stream_store 图像流接线** | 影子层/TD-D(carried) | 随"图像优先档"档案组（跟练/白板/题目讲解）+ T4 跟练步骤图卡 |
54+
| L5 | **双版面统一**（规则版 vs 模型版） | 技术债观察 7 | 架构口径问题（结果不互认、无法交叉验证）；**ADR 先行**（统一/并存+回灌），L 级 |
55+
| L6 | **观察 6：首启自动下载缺失模型** | 技术债观察 | 下载入口已齐备，缺分发策略决策 |
56+
| L7 | 词级时间戳（B8/A7） | 机制+数据清单 | 依赖 sherpa-onnx 上游暴露 token timestamps；提取函数+单测已就位 |
57+
| L8 | **engine.rs mpsc 无界 channel 背压（衍生观察，待核验）** | 代码级盘点 | 长导入与实时 OCR 并发时请求可积压；现有 load_monitor/idle_governor 是否覆盖该场景需核验；若需有界队列/背压属 S-M 性能项 |
58+
59+
### v0.8.0 AI 线捆绑（随 REQ-138~147 排期）
60+
61+
- AI 增强实装（Qwen-VL，mock 换真实适配器）、AI 补缝 unknown 区域、AI 参考图上下文（REQ-093）、AI 描述影子缓存（REQ-094 → image_caption 接线）、段落级"对这段补充"（接口已预留）、逐会话成本报表 UI（数据已备）
62+
- 讲者影子列/embedding（V1.0 模型分发 G4）、掌握度建模 K1 输入（语速/停顿/speaker 已落列）
63+
- 周报 A4（session_events/foreground_timeline 已备 dead_code 豁免）、foreground_timeline 载荷富化
64+
65+
---
66+
67+
## 三、依赖链与枢纽
68+
69+
```
70+
REQ-055（AI 协议已实施）→ REQ-056 补缝 AI ─┬→ REQ-058 流程图语义重建
71+
├→ REQ-093 AI 参考图上下文
72+
└→ REQ-094 AI 描述影子缓存 → image_caption 接线
73+
闪卡 REQ-019/020（三版顺延未排期）→ REQ-021 生成式复习 / REQ-022 黄金错误 / REQ-027 重点→闪卡
74+
REQ-077 大纲标题（已实施）+ REQ-023 时间轴 → REQ-026 章节速览/思维导图
75+
ADR-006 派生视图（已立项）→ D2 会话结束离线精修 / B2 跨信道交叉验证 / G1
76+
G2 诊断面板 → 一切性能机制（先测量后优化）
77+
S4 关键帧图集（已实施）→ V4 课后全量两遍解码（S4 已就绪 = 低挂果实）
78+
REQ-067 图指纹（已实施）→ REQ-096 跨会话图关联
79+
K2 测验 → REQ-097 测验引用图；E1 导出 → REQ-095 导出带图
80+
```
81+
82+
---
83+
84+
## 四、低挂果实（3 个，建议优先评估）
85+
86+
| 果实 | 依据 | 前置状态 |
87+
|------|------|---------|
88+
| V4 课后全量两遍解码（会话结束离线精修） | v0.6.0 缓做项 | **S4 已就绪**（流式+重打分+关键帧投票全链路可用），缺后台任务编排 |
89+
| 逐会话成本报表 UI | v0.8.0 缓做项 | 成本数据已落库（note_ai_usage），缺展示层 |
90+
| 段落级"对这段补充" | v0.8.0 缓做项 | 锚点接口已预留，随 AI 线消费 |
91+
92+
---
93+
94+
## 五、口径冲突提示（2 处，排期前需裁决）
95+
96+
1. **REQ-026/027/028 版本冲突**：需求池标 V1.1，v0.6.0.md:196 沿用清单标 V1.0——需统一口径
97+
2. **REQ-025 状态过期**：需求池"待评估"但核心（口语书面化/热词）已由 v0.4.0 REQ-040 + v0.8.0 REQ-141 提前兑现——应更新状态
98+
99+
---
100+
101+
## 六、跨文档共性主题（高置信长期方向，11 条）
102+
103+
| 主题 | 出现文档 | 置信度 |
104+
|------|---------|--------|
105+
| 已有信号接线 + 多信号投票（增量再检测/三信号章节/窗口进程信号） | mechanisms(A5/C1)、极限(S1/X2)、数据清单(C4/D1)、档案检测(#4/#7/#9) | ★★★ |
106+
| 反馈闭环/用户纠错回流（无 LLM 的"学习"） | 四份全部 | ★★★ |
107+
| VideoProfile 档案化（管线配置化骨架） | mechanisms(E9)、极限(V1-V4)、档案检测(整篇) | ★★★ |
108+
| 词级时间戳/精确对齐 | mechanisms(B8)、极限(T4/O4)、数据清单(A7 🟡)、档案检测(DTW) | ★★☆ |
109+
| 关键帧图集/步骤卡 | mechanisms(B6)、极限(S4/V2)、数据清单(✅ 已兑现) | ★★★ 已兑现 |
110+
| OCR→ASR hotwords 闭环/术语表自动发现 | mechanisms(M5/C3)、极限(T3/S3)、数据清单(D3 ✅)、档案检测(#20) | ★★☆ |
111+
| 置信度/可信度审计（"可校对学习原料"定位） | mechanisms(B3)、极限(O1)、数据清单(A2 ✅) | ★★☆ |
112+
| 性能预算/采样调度/资源降级（先测量） | mechanisms(M4/E1/E5/G2)、极限(P1-P8) | ★★☆ |
113+
| 会话结束离线精修/两遍解码 | mechanisms(D2)、极限(T4/O4) | ★★☆ |
114+
| 会话检索+时间回跳/可携带导出 | mechanisms(C5/C7)、极限(O3) | ★★☆ |
115+
| 剪贴板信号（隐私受控）/说话人标记/跨会话合并 | mechanisms(§1.5/A3/C8)、极限(X1/X5/O5) | ★★☆ 已兑现/已立项/低优先 |
116+
117+
---
118+
119+
## 七、已落地对照（去重说明——勿重复排期）
120+
121+
- **mechanisms 42 项中已落地**：A1 音频预处理（REQ-041，默认关）、A3 说话人变化检测（v0.7.2 REQ-153）、A4 课件预热（pptx 最小版）、B4 版面/表格/公式结构化（v0.5.0）、B5 口语书面化（v0.7.5）、B6 步骤卡/图集（v0.5.0 M6）、B7 滚动字幕过滤、C1 章节检测、C2 重点标注、C3 术语表、C4 大纲、E9 档案、F2/F3 健康监测与失败可见化
122+
- **数据清单 30 项**：音频 9/字幕 2/画面 7/结构 6/行为 6/产物 8 绝大部分 ✅ 闭环；剩 A7 词级时间戳/C3 图像流/C6 图注/A8 讲者/视频元数据/关键词云
123+
- **极限 L1-L4 分层**：L1/L2 ✅、L3 ⚠️ 部分、L4 ❌（LLM 专属，v0.8.0 后 AI 线）
124+
- **已否决勿重启**：mpv IPC、信号源插件抽象、静音降频、零拷贝、实时增量融合、弹幕解析、浏览器扩展（除非新突破性依据）
125+
126+
---
127+
128+
## 八、技术债现状（并入清单的 open/观察）
129+
130+
- **open 7 笔**：TD-A（M1 已排）、TD-D（M2 已排）、TD-E/F（S2 已排）、TD-G（M3 已排）、TD-H（S4 已排）、TD-I（S3 已排）
131+
- **观察 8 条**：1/2/3/4/5/6/7/8（分别并入 M1/S5/S7/M5/L5/L6/L7）
132+
- **carried 4 笔**（保持）：TD-040（ffmpeg deliberate）、TD-2026-08-19-D（图像流→L4）、TD-F/G（既有）
133+
- **影子层 8 模块**：image_crop（S1）、image_stream_store（L4）、image_caption/ocr_confusion（AI 线）、interruption_detect（L2）、dtw_align（L3）、audio_route_probe（L1）、model_registry.list_versions（S6）、asr_dedupe 豁免（S6）
134+
135+
## 关联
136+
137+
- [需求池远期区段](../product/requirements-pool.md)（V1.0/V1.1+）· [机制摘要](brainstorming-classroom-assistant-mechanisms.md)（42 项候选+ROI）· [提取极限](brainstorming-no-cloud-ai-extraction-limit.md)（L1-L4）· [数据清单](video-data-extraction-inventory.md)（30 项）· [档案检测](brainstorming-video-profile-detection.md)（20 项）· [技术债台账](../archive/2026-08-20/tech-debt.md)

0 commit comments

Comments
 (0)