Skip to content

v0.7.0.md

Latest commit

 

History

History
153 lines (125 loc) · 21.8 KB

v0.7.0.md

File metadata and controls

153 lines (125 loc) · 21.8 KB
Raw

v0.7.0 — 第七阶段：信任收尾 + 存储使能 + 类型扩展（三通道）

状态: 开发完成待真机验收（2026-08-19：M0–M3 全部实施——X-O5 行数硬拆 + REQ-098~134 + REQ-088 落地，921 单测全绿 + clippy 干净 + 前端构建通过；M4 端到端真机验收待用户执行） 目标: 在 v0.6.0"提取质量与信任"之上：① 收尾信任最后一公里（置信度真实化/悬空机制治理）；② M-存储 使能层（统一信号事件表/段级元数据/档案级存储策略档位）为后处理集体变"真实"铺路；③ 按三通道模型（ASR/OCR/图像流）落地 7 个新档案与注意力信号主线（M1/M10/M16/M17 本地独占差异化提前兑现）。 关联: 需求裁决表（[ ] 已归档）（六轴裁决记录）· 三阶段管线深度优化（[ ] 已归档）（PRE/CORE/POST 缺陷源）· 图像信息复用（[ ] 已归档）（影子层/价值四家族）· 深化方向 84 项（[ ] 已归档） · 需求池

一、阶段目标

  1. 信任收尾（REQ-098~107）：ASR 置信度体系真实化（融合/过滤/质量报告三处消费假数据的根治）；"已交付未接线"悬空机制治理；质量报告指标从"恒 0"变真实；音频预处理链 CER 基准闭环；讲者诚实降级；剪贴板/音频事件信号；日志脱敏与数据备份
  2. 存储使能 M-存储（REQ-108~110）：统一信号事件表（一次 schema、消费端分批接线）；段级元数据列扩展；档案级存储策略档位（文本优先/均衡/图像优先）+ 图像流存储层（时间轴帧序列）
  3. 类型扩展（三通道）（REQ-121~124）：编程实战（示例代码提取，OCR+ASR 通道）；播客/有声书（ASR-only 短路）；跟练型（图像流通道首个档案）+ 顺带图像流档案组（直播/白板/游戏教程/题目讲解）
  4. 注意力信号（REQ-125~129）：播放器行为信号（含倍速感知采样）；分应用音频路由（环回污染根治）；抢话/打断（代理版）；前台时间线（落库+消费，纯规则）；样式信号暴露面核查
  5. 平台与图像（REQ-130~134 + REQ-088）：无音/无图短路；模型版本管理；剪贴板图片直贴；图内文字检索入口；图片裁剪去白边；图注生成（影子层第一步）

本阶段不做（2026-08-19 用户裁决）：定制轴全部（C1–C18，留 V1.0）；闭环轴全部（K/X/V/A/D/E，含 E1 导出/A4 周报/D1 速览，留 V1.0）；M2 光标锚点/M4 书写重建/M9 双语对齐/M15 提问绑定（远期）；M3 弹幕（关闭）；T5 语言/T6 纪录/T7 圆桌/T10 纯字幕/T12 表达（远期或不做）；P3 多语言/P9 其余导入源（V1.0）；P1/P2/P7/P8/P10/P12/P14（远期）。

二、范围（需求追溯）

REQ 内容 验收要点 规划状态
REQ-098 CORE-O1 置信度体系真实化：ASR 段置信度用重打分一致性（SenseVoice vs Zipformer 相似度）替代硬编码 0.9；无法产出时诚实 None；字幕投票置信度落库 融合概率加权/低置信过滤/质量报告不再消费假数据；重打分一致性校准样本矩阵；诚实降级路径单测 已排期
REQ-099 X-O1 悬空机制治理：预处理链/讲者/音量骤变/DTW 四处"已交付未接线"逐个决策（接线/移除/诚实占位） 决策记录齐备；无"已交付但无效"机制残留；移除或占位均有测试覆盖 已排期
REQ-100 POST-O4 quality_report 指标修正：OCR 失败用 engine 失败计数（AtomicU64）+ 落库低分块双源；加重打分超时率 指标从"恒 ≈0"变真实；诊断数据接入报告 已排期
REQ-101 PRE-O1 音频预处理链闭环启用：S4 落盘音频离线 CER 微基准 → 定 AGC/动态阈值默认值 → 设置 UI 开关 基准流程自动化；默认值有数据支撑；低音量课程 VAD 截断案例改善；UI 可开关 已排期
REQ-102 POST-O1 讲者诚实降级：产物模板移除"讲者"占位或显式标注不可用；接线随 V1.0 模型分发 无空转死代码；产物不再出现恒空讲者字段；期望落差消除 已排期
REQ-103 POST-O2 段级 volume 落库 + 音量骤变接线：raw_rms 按段聚合写新列 → 重点标注三信号全亮 重点候选从双信号变三信号；ensure_column 幂等迁移；合成样本单测 已排期
REQ-104 M11 剪贴板信号：课中复制内容=高置信信号 → 产物/热词候选；复制即标记 会话期间监听生效；内容只作信号不持久化原始剪贴板（隐私红线）；与 P9 剪贴板图片共用监听 已排期
REQ-105 M14 音频事件过滤：通知音/系统音固定音模式检测 → VAD 静音门控联动（M10 实装后降为兜底） 微信/邮件提示音不触发 VAD 误判；固定音模式库可校准 已排期
REQ-106 TRUST-4 日志脱敏：诊断日志过滤屏幕 OCR 文本/会话标题等敏感内容 日志不含敏感内容；与 REQ-042 诊断面板同域 已排期
REQ-107 TRUST-1 数据备份/恢复：数据目录（SQLite+图+音频）打包+恢复入口（与 E1 合并设计解除，独立实现） 备份/恢复 roundtrip 单测；误删/磁盘损坏场景可恢复 已排期
REQ-108 M-存储·统一信号事件表（POST-O3 上调）：帧切换/长静音/音量骤变/VAD 段/剪贴板/前台切换/播放器行为事件落库；章节检测从"近似"变"真实" 事件表 schema 定稿（类型与容量）；章节检测消费真实信号；事件分级落库防写放大 已排期
REQ-109 M-存储·段级元数据列扩展：volume/语速/停顿（REQ-103 并入）+ speaker 影子列预留 段级元数据落库；为 V1.0 K1 掌握度建模备好输入 已排期
REQ-110 M-存储·档案级存储策略档位 + 图像流存储层：文本优先/均衡/图像优先三档（§6.3）；时间轴帧序列存储（帧流+时间戳+步骤边界），图像优先档先给跟练/白板/游戏/题目档案 档位参数化（C1 档案工厂滑块预留）；图像流存储不 50 张截断；低价值帧只存指纹；磁盘占用实测 已排期
REQ-111 CORE-O3 融合切分对齐标点/词边界：窗口切分回退最近标点/空格 无"今天讲矩"+"阵的特征值"式词破碎；纯函数单测 已排期
REQ-112 CORE-O5 滚动字幕防误杀：is_scrolling 增加"连续 N 帧滚动才判"确认机制 快速切换正常字幕不再误丢；合成样本回归 已排期
REQ-113 CORE-O6 import 分窗加重叠+边界去重：30s 窗 + 2s 重叠，窗边句经 merge_segments 合并 导入转写无窗边切句；复用 asr_merge 已排期
REQ-114 PRE-O2 抗混叠重采样：线性插值 → 带限低通+抽取（或复用 sherpa resampler） 混叠污染消除；与 REQ-101 共用 CER 基准 已排期
REQ-115 PRE-O4 VAD/健康监测口径统一：健康判定改用自适应阈值 + 暴露当前阈值到诊断 降级提示与切段判定一致；诊断可查阈值 已排期
REQ-116 PRE-O5 24bit/8bit 格式支持：PCM24 左对齐解包 罕见设备不再静默丢段；防御性单测 已排期
REQ-117 PRE-O6 导入链路净化对齐：import_frame 落库前过 is_ui_junk + 水印候选标记 导入/实时双入口口径统一；导入画面要点无播放器时间码污染 已排期
REQ-118 POST-O7 重复合并升级：文本归一化（去标点/空白）后比较 + 短语级 Jaccard 带标点差异的重复合并；虚词拉高重叠的误判下降 已排期
REQ-119 POST-O8 AI merge 拼接边界空格：按相邻语言插入空格 中英混排不粘连；纯函数 已排期
REQ-120 PIPE-3 OCR 错误模式校准表：落库混淆对画像（0/O、1/l 等）→ 自动生成替换/校准表 高频误识字符对统计；校准表供 REQ-040 替换词表补充；数据驱动 已排期
REQ-121 T3 编程实战档案：示例代码提取（逐字符 OCR+缩进恢复+ASR 交叉补全+低置信诚实标记+变量/函数名进热词）+ M5 代码 diff 步骤卡 + M13 代码域朗读规范化 code 区版面识别复用；代码块产物 Markdown 渲染；"老师改了什么"步骤卡；代码域映射表生效 已排期
REQ-122 T8 播客/有声书档案：ASR-only 快速路径 + 封面/章节元数据直读；UI 显示名「播客/有声书」 P4 短路生效；导入会话 ASR 直出；显示名正确 已排期
REQ-123 T4 跟练型档案（图像流首个）：时间轴图像流存储 + 步骤边界（M7 口令切分 + REQ-070 练习段 + M8 示范/跟练交替） 图像流不预算截断；步骤图卡产物；口令/交替段落标记 已排期
REQ-124 图像流档案组（顺带注册）：T1 直播（ASR+图像流，不做 OCR/弹幕）· T2 白板（时间轴图像流，M4 远期）· T9 游戏教程/软件演示（ASR+图像流）· T11 题目讲解（ASR+图像流，题目结构化后续） 档案参数注册生效；各档案产物模板可用 已排期
REQ-125 M1 播放器行为信号（含 MEC-1 UI 元素识别 + M17 倍速感知采样）：检测倍速/暂停/反复回看 → 难点信号；采样预算按速率缩放 播放器 UI 元素定位/状态判定实测；难点信号进重点候选；倍速缩放采样 已排期
REQ-126 M10 分应用音频路由：WASAPI 会话级按进程取音频，环回污染根治 会话级 API 面验证通过；微信/广告声不入转写；与 REQ-105 兜底并存 已排期
REQ-127 M6 抢话/打断检测（代理信号版先行）：短间隔连续语音+能量突变=疑似打断；讲者接线随 V1.0 代理版不依赖讲者识别；圆桌场景样本标注精度基线 已排期
REQ-128 M16 前台时间线（落库+消费）：前台切换序列事件落库 + 实践段标记（视频↔编辑器交替），纯规则无 AI 事件表消费；实践段标记产物；为 A4 周报备数据 已排期
REQ-129 M12 样式信号暴露面核查：oar-ocr 颜色/字号输出核查；无则定启发式降级方案（实装留 V1.0） 核查结论记录；降级方案定稿 已排期（spike 前置）
REQ-130 P4 无音/无图短路：按档案声明禁用 ASR/OCR 链 播客（跳过画面链）/直播（跳过 OCR 链）内存收益实测 已排期
REQ-131 P13 模型版本管理/回退 + 磁盘占用面板 模型版本可查可回退；磁盘占用面板 已排期
REQ-132 P9 导入源扩展·剪贴板图片子集：剪贴板图片直贴入图集（随 REQ-104 监听顺带）；手写拍照/截图文件夹留 V1.0 剪贴板图片直贴可用；去重/预算生效 已排期
REQ-133 IMG-1 图内文字检索入口：FTS5 OCR 块视图 → 关键词命中图 搜"PPT 上的词"命中图；与段搜索并存 已排期
REQ-134 IMG-2 图片内容裁剪/去白边：版面区域框复用裁剪 白边去除；缩略图可读性提升；存储下降 已排期
REQ-088 图注生成（本地规则）：关键图一句话图注（OCR 高频词×转写摘要交叉）；影子层基础设施 图注产出；为 REQ-094 影子 schema 铺路 已排期（v0.7.0，自 V1.0 提前）

注：REQ-089/090/091 双向跳转/参考面板/回温包保持 V1.0；REQ-094 必须搭 REQ-056 协议车；REQ-095 并入 E1（V1.0）。P6 高 DPI 核查并入 v0.6.0 M7 验收清单执行（不占 v0.7.0 里程碑）；X-O5 行数红线拆分随 M0 强制执行。

三、技术方案

M0 前置（未通过不启动开发）

  • v0.6.0 M7 端到端真机验收（用户执行）：M1–M6 各机制真机生效 + 3 节课对比 + P6 高 DPI/缩放核查（150%/200% 缩放下 OCR 输入分辨率与区域坐标换算）并入验收清单
  • X-O5 行数红线拆分：live_session.rs（798 行）/streaming_asr.rs（378 行）超限硬拆（M7 承诺强制兑现）
  • 范围冻结确认：本版 37 项 REQ（098–134 + 088 提前），spike 项结论可裁剪

M1 信任收尾（REQ-098~107）

  1. 置信度体系真实化（REQ-098，最高优先）：live_session.rs/import.rs 硬编码 0.9/0.8 替换——重打分一致性（asr_rescore 已有相似度计算）作为代理置信度；无法产出时落 None（诚实表达未知）；subtitle_ocr.rs 投票置信度落库（CORE-D4 修复）。前置校准：重打分一致性 vs 真实识别错误率相关性（合成样本矩阵）
  2. 悬空机制治理（REQ-099）：四处（PRE-D1 预处理链/POST-D1 讲者/POST-D2 音量/CORE-D5 DTW）逐个决策，写决策记录；讲者走 REQ-102 诚实降级、音量走 REQ-103 接线、预处理链走 REQ-101 闭环、DTW 保持机制先行（CORE-O4 实测留验收后）
  3. 质量报告指标修正（REQ-100）：quality_report.rs 低分统计改双源（engine ocr_failures AtomicU64 + 落库低分块）；加重打分超时率
  4. 预处理链闭环（REQ-101）：audio_preprocess.rs CER 微基准脚本（S4 落盘音频）→ 默认值 → 设置 UI 开关（与 X-O3 配置 UI 化衔接，配置面板随 V1.0 全面化，本版先出开关）
  5. 讲者诚实降级（REQ-102）：产物模板移除"讲者"占位/显式不可用标注；sherpa SpeakerEmbeddingExtractor 接线时机=V1.0 模型分发波
  6. 段级 volume 接线（REQ-103）：analysis.rs SegmentInput.volume 从恒 None 改为段聚合 RMS；segments 新列 ensure_column 幂等迁移
  7. 剪贴板信号（REQ-104）：会话期间剪贴板监听（仅课中+仅信号不持久化原始内容）；产物/热词候选接入；与 REQ-132 剪贴板图片共用监听
  8. 音频事件过滤（REQ-105）：固定音模式库（微信/邮件提示音）→ VAD 门控联动；M10（REQ-126）实装后降为兜底
  9. 日志脱敏（REQ-106）：诊断日志过滤层（OCR 文本/会话标题）
  10. 备份/恢复（REQ-107）：数据目录打包+恢复入口；与 E1 导出解耦独立实现

M1.5 M-存储 使能层（REQ-108~110）

  1. 统一信号事件表（REQ-108）：事件类型（frame_switch/long_silence/volume_surge/vad_segment/clipboard/foreground_switch/player_behavior）+ 容量设计（分级落库防写放大）；analysis.rs 章节检测消费真实信号（POST-D3 修复）；为 V1.0 K1 备输入
  2. 段级元数据列（REQ-109）：volume/语速/停顿 + speaker 影子列预留
  3. 档案级存储策略档位 + 图像流存储层（REQ-110）：image_store.rs 档位参数化（文本优先=现状 50 张预算/均衡/图像优先=时间轴帧序列全量+分级标记）；图像流存储=帧流+时间戳+步骤边界；真机磁盘占用实测定阈值；C1 档案工厂滑块预留

M2 类型与信号（REQ-121~129）

  1. T3 编程实战档案（REQ-121）：code 区版面识别（REQ-047 复用）→ 示例代码提取（逐字符 OCR+缩进恢复+ASR 交叉+低置信诚实标记）→ 代码块产物（REQ-053 渲染）+ 变量/函数名进热词（REQ-040 通道）；M5 代码 diff（相邻帧 code 区文本 diff → 步骤卡）；M13 代码域映射表（"下划线 init"→_init 等，JSON 可校准，沿用 REQ-060 模式）
  2. T8 播客/有声书档案（REQ-122）：P4 短路（跳过画面链）+ ASR-only + 封面/章节元数据直读；UI 显示名「播客/有声书」
  3. T4 跟练型档案（REQ-123）：图像流存储（REQ-110 消费）+ 步骤边界三信号（M7 口令短语识别/REQ-070 练习段/M8 示范跟练交替）→ 步骤图卡产物（含 REQ-088 图注）
  4. 图像流档案组（REQ-124）：T1 直播（ASR+图像流，无 OCR/弹幕）/T2 白板/T9 游戏教程/T11 题目讲解 参数注册+产物模板
  5. M1 播放器行为信号（REQ-125）：播放器 UI 元素定位（倍速/进度条/暂停态）实现首阶段验证 → 行为事件（倍速/暂停/回看）→ 难点信号；M17 采样预算按速率缩放
  6. M10 分应用音频路由（REQ-126）：WASAPI IAudioSessionManager2 会话级枚举按进程取音频；实现首阶段验证 API 面 → 接入环回链路
  7. M6 抢话代理版（REQ-127）：短间隔连续语音+能量突变=疑似打断（不依赖讲者识别）；精度基线标注；讲者接线随 V1.0
  8. M16 前台时间线（REQ-128）：前台切换序列落库（REQ-108 事件表消费）+ 实践段标记（纯规则）；A4 周报数据就绪
  9. M12 样式暴露面核查（REQ-129）：oar-ocr 颜色/字号输出核查；无则启发式降级方案定稿（实装 V1.0）

M3 平台与图像补齐（REQ-130~134 + REQ-088）

  1. P4 短路（REQ-130）：engine.rs 按档案声明禁用链（跳过 ASR/OCR 初始化）；T8/T1 消费
  2. 模型版本管理（REQ-131）：模型版本记录/回退 + 磁盘占用面板
  3. 剪贴板图片直贴（REQ-132）：随 REQ-104 监听顺带（图片→图集）
  4. 图内文字检索（REQ-133）：FTS5 OCR 块视图；搜索结果含图 + 定位
  5. 图片裁剪（REQ-134）：版面区域框复用裁剪（full/thumb 双层）
  6. 图注生成（REQ-088）：OCR 高频词×转写摘要交叉 → 一句话图注；影子表 schema（REQ-094 预留）

测试

  • 置信度代理校准矩阵（REQ-098）；事件表 roundtrip/容量（REQ-108）；档位切换/图像流存储单测（REQ-110）；代码提取 golden（合成代码帧，含 0/O/1/l 混淆样本）（REQ-121）；口令/交替段落合成样本（REQ-123）；M1 播放器 UI 合成帧（REQ-125）；备份恢复 roundtrip（REQ-107）；日志脱敏样本（REQ-106）；全部沿用 AAA + Mock 隔离，不依赖真实模型文件

四、验收标准

  • 信任：融合/过滤/质量报告消费真实置信度（合成双源矩阵）；无"已交付未接线"机制残留；质量报告 OCR 失败指标真实；预处理链 CER 基准有数据结论；讲者字段不再空转；日志脱敏生效；备份/恢复 roundtrip
  • 存储：事件表落库生效且章节检测精度提升（真实会话对比）；段级元数据落库；图像流存储不截断+分级标记+磁盘占用实测结论
  • 类型：编程档案示例代码提取质量（合成代码帧 golden，低置信诚实标记）；播客/有声书短路生效且显示名正确；跟练档案步骤图卡产出；直播/白板/游戏/题目档案注册生效
  • 信号：M1 播放器行为事件产出难点信号（真机播放器样本）；M10 分应用路由隔离系统音（基准对比）；M6 代理版精度基线；M16 实践段标记
  • 平台/图像：P4 内存收益实测；模型版本可回退；剪贴板图片直贴；图内检索命中；裁剪生效；图注产出
  • 回归：v0.6.0 验收项不劣化；cargo test + cargo clippy 全绿；前端构建通过

五、里程碑

步骤 内容 产出
M0 v0.6.0 M7 真机验收（含 P6 高 DPI 核查）+ X-O5 行数拆分（用户执行，未通过不启动） 干净基线
M1 信任收尾（REQ-098~107） 置信度真实化/悬空治理/指标修正/预处理链闭环/诚实降级/volume/剪贴板/音频事件/脱敏/备份
M1.5 M-存储（REQ-108~110） 统一信号事件表/段级元数据/档案级档位+图像流存储层
M2 类型与信号（REQ-121~129） T3/T8/T4/图像流档案组 + M1/M10/M6/M16/M12 核查
M3 平台与图像（REQ-130~134 + REQ-088） 短路/模型管理/剪贴板图片/图内检索/裁剪/图注
M4 端到端验收 + 发布 v0.7.0

六、开放问题 / 风险

  • M-存储 参数实测：档案级档位磁盘占用/分级阈值（真机长会话数据）；事件表类型与容量定稿
  • CORE-O1 校准：重打分一致性 vs 真实识别错误率相关性（合成样本矩阵）——结论决定置信度口径
  • M1 播放器 UI 识别：倍速/进度条/暂停态定位在真实播放器（浏览器/桌面播放器）上的可靠性——实装首阶段验证，失败则降级窗口状态检测
  • M10 WASAPI 会话级 API 面：分进程捕获在系统策略下的可行性——实现首阶段验证，失败则维持 REQ-105 止血
  • M6 代理版精度：无讲者信息的打断检测精度基线——不达标则标注低置信或裁剪
  • 代码提取质量：OCR 对代码的 0/O、1/l 混淆——ASR 交叉+低置信标记兜底，质量 golden 不达标则收窄范围（只提取高置信代码块）
  • 图像流存储磁盘：图像优先档长会话磁盘占用——分级标记+指纹替代控制；实测数据驱动
  • 范围纪律：本版 37 项多为小项但串联量大——按里程碑可裁剪（M3 平台/图像优先裁，M2 信号次之）

七、明确不做（2026-08-19 用户裁决）

  • 定制轴全部（C1–C18）：档案工厂/向导/模板引擎/热键/词表/标记语义化/配方包等 → V1.0 及以后
  • 闭环轴全部（K/X/V/A/D/E）：掌握度/测验/遗忘曲线/X1 知识库/V1 校验/周报/速览/E1 导出/AI 讲解等 → V1.0 及以后（E1 可任意版本间隙插队）
  • 机制：M2 光标锚点（远期）· M3 弹幕（关闭）· M4 书写重建（远期）· M9 双语（随 T5）· M15 提问绑定（随 P8）
  • 类型：T5 语言（AI 后）· T6 纪录（暂不处理）· T7 圆桌（V1.0 讲者波次）· T10 纯字幕（不做）· T12 表达（不做）
  • 平台：P3 多语言（V1.0）· P5 macOS（不做）· P11 多实例（不做）· P1/P2/P7/P8/P10/P12/P14（远期）
  • 图像：REQ-089/090/091（V1.0）· REQ-092/093/096/097/图源规则（依赖门）
  • 技术债治理：CORE-O2 融合可逆化/X-O2 单一管线/X-O3 配置 UI 化/POST-O5 书面化接入 → V1.0 架构主线（涉 ADR）