feat(classroom): P1-4 说话人手动重识别 + P1-5 中英混说 spike

P1-4: 转写行说话人循环标注（无→A→B，飞书式重新识别），audioSegments 同步 speaker 供课后分析消费

P1-5: spike 结论落盘（本地 zipformer 双语模型混说已具备，缺口是基线验证与混说语料）；设置 UI 混说说明

Author: Aparencia

client/src/features/classroom/components/SessionContentView.tsx

@@ -103,6 +103,7 @@ export function SessionContentView({ capture, onOpenNoteDialog }: SessionContent
                 partialText={capture.partialText}
                 isActive={capture.status === 'capturing' && (capture.mode === 'audio' || capture.mode === 'mixed')}
                 onEditTranscript={capture.handleEditTranscript}
+                onCycleSpeaker={capture.handleCycleSpeaker}
               />
             </>
           )}

client/src/features/classroom/components/SettingsCollapse.tsx

@@ -60,6 +60,12 @@ export function SettingsCollapse({ config, onChange }: SettingsCollapseProps) {
                 </button>
               ))}
             </div>
+            {/* P1-5：混说说明（本地双语模型直接支持；云端走语言检测） */}
+            {config.language === 'mixed' && (
+              <p className="text-c1 text-text-tertiary mt-1">
+                中英混说：本地双语模型直接支持；云端转写走语言检测
+              </p>
+            )}
           </div>
         </div>
       )}

client/src/features/classroom/components/UnifiedTimeline.tsx

@@ -26,6 +26,8 @@ export interface TranscriptEntry {
   editedText?: string;
   /** P0-3：转写置信度（估算口径，<0.55 时 UI 弱化标记） */
   confidence?: number;
+  /** P1-4：手动标注的说话人（飞书式重新识别；无/说话人A/说话人B） */
+  speaker?: string;
 }
 
 interface UnifiedTimelineProps {
@@ -39,6 +41,8 @@ interface UnifiedTimelineProps {
   isActive: boolean;
   /** P1-2：编辑回调——保存修正文本时调用 */
   onEditTranscript?: (id: string, newText: string) => void;
+  /** P1-4：说话人循环标注回调（无 → 说话人A → 说话人B → 无） */
+  onCycleSpeaker?: (id: string) => void;
 }
 
 /** 事件类型 → 图标/文案/配色 */
@@ -71,7 +75,7 @@ type Row =
   | { kind: 'text'; ts: number; text: TranscriptEntry }
   | { kind: 'anchor'; ts: number; label?: string };
 
-export function UnifiedTimeline({ bundle, liveTranscripts, autoAnchors = [], partialText, isActive, onEditTranscript }: UnifiedTimelineProps) {
+export function UnifiedTimeline({ bundle, liveTranscripts, autoAnchors = [], partialText, isActive, onEditTranscript, onCycleSpeaker }: UnifiedTimelineProps) {
   const scrollRef = useRef<HTMLDivElement>(null);
   const lastCountRef = useRef(0);
   const [editingId, setEditingId] = useState<string | null>(null);
@@ -193,6 +197,21 @@ export function UnifiedTimeline({ bundle, liveTranscripts, autoAnchors = [], par
         <div key={t.id} className="flex gap-2 p-2 rounded-kb-sm transition-colors hover:bg-bg-tertiary/30 group">
           <span className="text-[10px] text-text-tertiary flex-shrink-0 mt-0.5 tabular-nums">{time}</span>
           <Mic className="w-3.5 h-3.5 flex-shrink-0 mt-0.5 text-emerald-500/70" strokeWidth={1.5} />
+          {/* P1-4 说话人标注（飞书式手动重新识别；课后点击循环标注） */}
+          {!isActive && onCycleSpeaker && (
+            <button
+              onClick={() => onCycleSpeaker(t.id)}
+              className={cn(
+                'flex-shrink-0 px-1.5 py-0.5 mt-0.5 rounded-kb-sm text-[10px] font-medium border transition-all',
+                t.speaker
+                  ? 'border-cyber/40 text-cyber bg-cyber/5'
+                  : 'border-border/30 text-text-quaternary opacity-0 group-hover:opacity-100 hover:text-cyber hover:border-cyber/40',
+              )}
+              title={t.speaker ? `说话人: ${t.speaker}（点击切换）` : '标注说话人'}
+            >
+              {t.speaker ? t.speaker : '标人'}
+            </button>
+          )}
           <span className={cn('flex-1 text-[12px] leading-relaxed min-w-0', idx === rows.length - 1 ? 'text-text-primary font-medium' : 'text-text-secondary', isLowConfidence && 'opacity-60')}>
             {displayText}
             {isLowConfidence && (

client/src/features/classroom/hooks/useClassroomCapture.ts

@@ -351,6 +351,7 @@ export function useClassroomCapture() {
     // 实时转录
     liveTranscripts: events.liveTranscripts,
     handleEditTranscript: events.handleEditTranscript,
+    handleCycleSpeaker: events.handleCycleSpeaker,
     // 真流式进行中的 partial 文本 + 激活标志
     partialText: events.partialText,
     streamingAsrActive,

client/src/features/classroom/hooks/useClassroomEvents.ts

@@ -55,6 +55,8 @@ export interface LiveTranscript {
   timestamp: number;
   /** P0-3：转写置信度（估算口径，<0.55 时 UI 弱化标记；缺失视为 1） */
   confidence?: number;
+  /** P1-4：手动标注的说话人（飞书式重新识别） */
+  speaker?: string;
 }
 
 interface UseClassroomEventsOptions {
@@ -583,11 +585,33 @@ export function useClassroomEvents({
     }
   }, [liveTranscripts, courseName, toast]);
 
+  // P1-4：说话人循环标注（飞书式手动重新识别：无 → 说话人A → 说话人B → 无）
+  const handleCycleSpeaker = useCallback((id: string) => {
+    const NEXT: Array<string | undefined> = [undefined, '说话人A', '说话人B'];
+    setLiveTranscripts((prev) =>
+      prev.map((t) => {
+        if (t.id !== id) return t;
+        const cur = NEXT.indexOf(t.speaker);
+        return { ...t, speaker: NEXT[(cur + 1) % NEXT.length] };
+      }),
+    );
+    // 同步 smartBundle audioSegments（课后分析消费说话人标签）
+    setSmartBundle((prev) => ({
+      ...prev,
+      audioSegments: (prev.audioSegments ?? []).map((s) => {
+        if (s.id !== id) return s;
+        const cur = NEXT.indexOf(s.speaker);
+        return { ...s, speaker: NEXT[(cur + 1) % NEXT.length] };
+      }),
+    }));
+  }, []);
+
   return {
     segments, setSegments, stats, setStats, extractionError, setExtractionError,
     smartBundle, setSmartBundle,
     liveTranscripts, setLiveTranscripts,
     handleEditTranscript,
+    handleCycleSpeaker,
     partialText,
     vadStats, recordingStatus, setRecordingStatus,
     videoFilePath, setVideoFilePath,

client/src/lib/capture/captureTypes.ts

@@ -163,6 +163,8 @@ export interface AudioSegment {
   audioText?: string | null;
   /** 原始 ASR 转写文本（热词替换前），保真溯源用 */
   audioTextRaw?: string | null;
+  /** P1-4：手动标注的说话人（飞书式重新识别；未标注为 undefined） */
+  speaker?: string;
 }
 
 /** @ai-context 全局时间轴条目，串联关键帧和语音段供后续分析回放 */

docs/knowledge/solutions/2026-08-mixed-language-spike.md

@@ -0,0 +1,45 @@
+# 中英混说识别 Spike 结论（P1-5）
+
+> 日期：2026-08-16
+> 目标：评估课堂「中文讲解 + 英文术语」混说场景的本地/云端识别方案
+> 结论来源：ASR 市场调研（`docs/Foresight/asr-market-2025-2026.md` §2）+ 仓库现有引擎代码盘点
+
+---
+
+## 一、现有能力盘点（代码证据）
+
+| 层 | 现状 | 证据 |
+|---|---|---|
+| 本地流式引擎 | zipformer-transducer **中英双语**模型（bilingual-zh-en），天然支持混说解码；`language` 参数不参与模型选择（模型固定双语） | `client/electron/ai/local-asr/config.ts`（dirName 含 bilingual-zh-en） |
+| 本地重打分 | SenseVoice int8 为**多语言模型**（zh/en/ja/ko/yue），混说复核可用 | `config.ts` rescore.dirName |
+| 云端转写 | `language` 参数透传（zh/en/auto），Qwen3-ASR 支持 auto 语言检测；混说质量取决于 ASR 服务本身 | `server/ai-gateway/routers/transcribe.py` L34 |
+| 客户端语言映射 | 设置项 `mixed` → ASR 参数 `auto`（已接线） | `asrTranscriber.ts` toAsrLanguage |
+| 历史遗留 | 仓库曾部署过 sherpa-onnx **paraformer-bilingual-zh-en** 流式模型，后随 zipformer 切换被列入废弃清理清单（P1-1 已把 SenseVoice 移出清理清单；该双语 paraformer 目录仍在清理清单中） | `modelManager.ts` OBSOLETE_MODEL_DIRS |
+
+## 二、Spike 结论
+
+1. **本地混说能力已具备，无需新模型**：zipformer bilingual 的混说解码是引擎固有属性；「mixed→auto」映射对本地引擎无实际作用（模型固定双语），对云端引擎正确（auto = 语言检测）。
+2. **真正的缺口不是「能不能混说」，而是「混说准确率未被验证」**：评估基线（P0-1）语料规范目前未包含混说样本；无 CER 数据支撑任何优化决策。
+3. **市场方案对照**：FunASR `paraformer-bilingual-zh-en` 是混说专用模型（阿里云同源），sherpa-onnx 有官方转换版；若基线显示 zipformer 混说 CER 显著差于预期，可恢复该模型作为「混说专用引擎」备选（下载源与历史清理清单中目录一致，接入成本低）。
+4. **云端路径**：language=auto 已透传；Qwen3-ASR-Flash 的混说质量需在基线语料上实测对比（`eval.mjs --cloud` 已支持）。
+
+## 三、落地动作（P1-5 实施范围）
+
+- [x] 客户端语言映射已支持 mixed→auto（现状接线，无需改动）
+- [x] 云端 transcribe 端点 language 参数已透传（现状接线）
+- [ ] **基线语料补混说样本**：corpus/README 增加混说样本要求（≥2 节含英文术语课程），CER 对比 zipformer vs 云端 auto
+- [ ] **设置 UI 提示**：识别语言「中英混说」选项补充说明（本地双语模型直接支持；云端走语言检测）
+- [ ] 若基线混说 CER > 阈值（相对纯中文 +50%）：恢复 paraformer-bilingual 引擎为可选下载项（config.ts 增加第三个模型定义 + 引擎路由）
+
+## 四、验收口径
+
+- 混说样本英文术语不被音译错字（如「python」不被转成「派森」）——热词命中率口径（P0-1）覆盖
+- 混说 CER 与纯中文 CER 差距 ≤50%（基线对比）
+
+---
+
+## 附：相关文件
+
+- 市场调研：`docs/Foresight/asr-market-2025-2026.md`（§2 中英混说）
+- 评估基线：`client/scripts/asr-eval/`、`docs/asr-eval-baseline/BASELINE-2026-08-16.md`
+- 引擎配置：`client/electron/ai/local-asr/config.ts`、`modelManager.ts`