feat(capture): 视频暂停随播随停——声画双通道检测（REQ-291）

Author: Aparencia

app/src-tauri/src/lib.rs

@@ -340,6 +340,8 @@ mod log_redact;
 mod model_downloader;
 // v0.7.0 M3（REQ-131）：模型版本管理与磁盘占用（可查可回退）
 mod model_registry;
+// REQ-291（v0.19.7）：视频随播随停——声画双通道检测纯状态机
+mod media_state;
 mod note_filter;
 mod note_filter_ai;
 mod note_filter_discourse;

app/src-tauri/src/live_session.rs

@@ -252,6 +252,8 @@ pub(crate) fn run_session_after_engine(
     let mut asr_segments: Vec<crate::types::TranscriptSegment> = Vec::new();
     let subtitle_segments: Arc<Mutex<Vec<SubtitleSegment>>> = Arc::new(Mutex::new(Vec::new()));
     let speech_active = Arc::new(AtomicBool::new(false));
+    // REQ-291（v0.19.7）：媒体级"最后有声时刻"共享戳（音频线程写/屏幕线程读）
+    let media_sound: Arc<Mutex<Option<std::time::Instant>>> = Arc::new(Mutex::new(None));
     // M4/REQ-068（S4）：实时链路音频落盘（WAV PCM16；创建失败降级不阻断）
     let mut audio_writer = crate::audio_store::SessionAudioWriter::create(
         &params.data_dir.join("session-audio"),
@@ -286,6 +288,8 @@ pub(crate) fn run_session_after_engine(
         let foreground_monitor = crate::foreground_timeline::ForegroundMonitor::new(params.hwnd);
         // 2026-08 A1：屏幕 worker 共享暂停状态（暂停跳过采样；恢复后时间戳补偿）
         let worker_pause = pause.clone();
+        // REQ-291（v0.19.7）：媒体级声音戳（worker 随播随停检测读取）
+        let worker_media_sound = media_sound.clone();
         // v0.7.2（REQ-151）：会话信息聚合（worker 播放器 OCR 写入）
         let worker_session_info = session_info.clone();
         // v0.9.0 M2（REQ-189）：画面档降档确认共享状态（前端确认后写入，
@@ -317,6 +321,8 @@ pub(crate) fn run_session_after_engine(
                     foreground_monitor,
                     // 2026-08 A1：暂停共享状态
                     worker_pause,
+                    // REQ-291（v0.19.7）：媒体级声音戳（随播随停检测输入）
+                    worker_media_sound,
                     // v0.7.2（REQ-151）：会话信息聚合（播放器 OCR 写入）
                     worker_session_info,
                     // v0.9.0 M2（REQ-189）：画面档降档确认共享状态
@@ -356,6 +362,8 @@ pub(crate) fn run_session_after_engine(
         vad_slot: Some(params.vad_slot.as_ref()),
         // 2026-08 A1：暂停共享状态（主循环做边沿断句/事件/落库）
         pause: &pause,
+        // REQ-291（v0.19.7）：媒体级声音戳（音频线程每块写"最后有声时刻"）
+        media_sound,
     };
     run_audio_loop(rx, audio, loop_ctx, &params.data_dir);
 

app/src-tauri/src/live_session_frame.rs

@@ -129,6 +129,13 @@ fn liveness_check(
     }
 }
 
+/// REQ-291：媒体级"最近有声"判定（窗口=SOUND_RECENT_MS ≥ 采样拍 1s——
+/// 保证一拍内出现的声音必被读到；锁中毒按无声处理，零阻断）。
+fn media_sound_recent(slot: &Arc<Mutex<Option<Instant>>>) -> bool {
+    let last = slot.lock().ok().and_then(|g| *g);
+    last.is_some_and(|t| t.elapsed().as_millis() as u64 <= crate::media_state::SOUND_RECENT_MS)
+}
+
 /// 屏幕采样线程入口（TD-026 修复：OCR 从会话线程移出，音频消费不再被阻塞）。
 ///
 /// @ai-context: ScreenCaptureSampler 持 COM 对象（非 Send），在本线程内创建与使用，
@@ -159,6 +166,8 @@ pub fn run_screen_worker(
     mut foreground_monitor: crate::foreground_timeline::ForegroundMonitor,
     // 2026-08 A1：会话暂停共享状态（暂停跳过采样；恢复后时间戳补偿暂停时长）
     pause: crate::capture::audio_loopback::SessionPause,
+    // REQ-291（v0.19.7）：媒体级"最后有声时刻"戳（音频线程写；随播随停输入）
+    media_sound: Arc<Mutex<Option<Instant>>>,
     // v0.7.2（REQ-151）：会话信息聚合（播放器 OCR 文本 → 平台/时长/合集信息面板）
     session_info: crate::session_info::SessionInfoCollector,
     // v0.9.0 M2（REQ-189）：画面档降档确认共享状态（前端确认后写入——
@@ -242,6 +251,11 @@ pub fn run_screen_worker(
     // process_frame/capture_latest_only 内部清零，无需手动重置）
     let mut liveness = crate::frame_liveness::FrameLiveness::new();
     let mut got_frame = false;
+    // REQ-291（v0.19.7）：随播随停状态——双通道检测器 + 画面动最近时刻
+    // （got_frame 采样点更新；1s 媒体拍独立于采样——idle 静默期仍判暂停）
+    let mut media_detector = crate::media_state::MediaDetector::new();
+    let mut last_motion_at: Option<Instant> = None;
+    let mut last_media_tick = Instant::now();
     // M2/REQ-037：动态字幕区域跟踪（播放区域检测 + ROI 锁定/重扫；尺寸首帧自适应）
     let mut roi_tracker = crate::region_tracker::RoiTracker::new(0, 0);
     // M6/REQ-051：关键帧样本缓冲（全帧分支收集，停止时投票产出关键图候选）
@@ -304,6 +318,31 @@ pub fn run_screen_worker(
                         &mut last_capture_error,
                         &mut got_frame,
                     );
+                    // REQ-291 快恢复（主通道）：声画任一恢复 ≤~1.5s 解除自动暂停
+                    // （OCR 5s 判定降级为辅助——保留其后兜底）
+                    if last_media_tick.elapsed() >= Duration::from_secs(1) {
+                        last_media_tick = Instant::now();
+                        let sound_recent = media_sound_recent(&media_sound);
+                        if media_detector.tick(sound_recent, got_frame)
+                            == crate::media_state::MediaDecision::Resume
+                        {
+                            let resume_ms = comp_epoch.elapsed().as_millis() as u64;
+                            crate::player_behavior::record_action(
+                                &crate::player_behavior::PlayerAction {
+                                    kind: crate::player_behavior::PlayerActionKind::Play,
+                                    value: None,
+                                },
+                                resume_ms,
+                                session_id,
+                                &db,
+                            );
+                            pause.paused.store(false, Ordering::SeqCst);
+                            auto_paused = false;
+                            last_player_paused = false;
+                            let _ = app.emit("live:media-resumed", ());
+                            eprintln!("[ScreenWorker] 随播随停：声画恢复 → 自动解除暂停");
+                        }
+                    }
                     if last_player_check_at.elapsed() >= Duration::from_secs(5) {
                         last_player_check_at = Instant::now();
                         let check_now_ms = comp_epoch.elapsed().as_millis() as u64;
@@ -328,6 +367,7 @@ pub fn run_screen_worker(
                                     pause.paused.store(false, Ordering::SeqCst);
                                     auto_paused = false;
                                     last_player_paused = false;
+                                    let _ = app.emit("live:media-resumed", ());
                                     eprintln!("[ScreenWorker] 视频恢复播放，自动解除暂停");
                                 }
                             }
@@ -356,6 +396,32 @@ pub fn run_screen_worker(
         // 纪元传入（暂停期间不采样，补偿值在恢复后恒定）
         let comp_epoch = epoch
             + Duration::from_millis(pause.total_paused_ms.load(Ordering::SeqCst));
+        // REQ-291（v0.19.7）：随播随停 1s 拍（独立于采样——idle 静默期仍判暂停；
+        // 手动暂停不判：auto_paused=false 时语义是用户冻结，不跟随视频）
+        if !paused_now && last_media_tick.elapsed() >= Duration::from_secs(1) {
+            last_media_tick = Instant::now();
+            let sound_recent = media_sound_recent(&media_sound);
+            let motion_recent = last_motion_at.is_some_and(|t| {
+                last_media_tick.duration_since(t) <= Duration::from_millis(1500)
+            });
+            let decision = media_detector.tick(sound_recent, motion_recent);
+            if decision == crate::media_state::MediaDecision::Suspend {
+                let ms = comp_epoch.elapsed().as_millis() as u64;
+                pause.paused.store(true, Ordering::SeqCst);
+                auto_paused = true;
+                crate::player_behavior::record_action(
+                    &crate::player_behavior::PlayerAction {
+                        kind: crate::player_behavior::PlayerActionKind::Pause,
+                        value: None,
+                    },
+                    ms,
+                    session_id,
+                    &db,
+                );
+                let _ = app.emit("live:media-paused", ());
+                eprintln!("[ScreenWorker] 随播随停：声画双通道确认视频暂停 → 自动暂停捕获");
+            }
+        }
         // M4：每 2s 采样 CPU 负载（降级标志变化打印——静默失败可见化）
         if last_load_check_at.elapsed() >= Duration::from_secs(2) {
             last_load_check_at = Instant::now();
@@ -424,6 +490,11 @@ pub fn run_screen_worker(
                 );
                 // REQ-281（v0.19.6）：停更监测 + WGC watchdog + 帧心跳（真实采样拍）
                 liveness_check(&app, screen.as_mut(), &mut liveness, got_frame, Instant::now());
+                // REQ-291：画面动时刻（媒体拍 motion_recent 数据源——WGC 内容驱动
+                // 出帧，got_frame 即"画面变了"的近真信号）
+                if got_frame {
+                    last_motion_at = Some(Instant::now());
+                }
                 // v0.11.5（Task 6）：OCR 文本累计（去重→领域检测用）
                 // v0.11.5 审查修复（A6）：FIFO 上限 50→100——领域检测信号缓存
                 // 保守放大，避免 B站选集证据（`P3/12`/`第3集/共12集`）在
@@ -650,6 +721,7 @@ pub fn run_screen_worker(
                             if paused && !pause.paused.load(Ordering::SeqCst) {
                                 pause.paused.store(true, Ordering::SeqCst);
                                 auto_paused = true;
+                                let _ = app.emit("live:media-paused", ());
                                 eprintln!("[ScreenWorker] 视频处于暂停态，会话自动暂停");
                             }
                         } else if paused != last_player_paused {
@@ -676,13 +748,15 @@ pub fn run_screen_worker(
                                 // 下一轮循环进入轻量轮询，恢复检测不中断）
                                 pause.paused.store(true, Ordering::SeqCst);
                                 auto_paused = true;
+                                let _ = app.emit("live:media-paused", ());
                                 eprintln!("[ScreenWorker] 检测到视频暂停，自动暂停捕获");
                             }
                         } else if paused && !pause.paused.load(Ordering::SeqCst) {
                             // P2 兜底：手动恢复后视频仍暂停 → 重新自动暂停
                             // （语义：捕获跟随视频状态，用户手动继续不覆盖）
                             pause.paused.store(true, Ordering::SeqCst);
                             auto_paused = true;
+                            let _ = app.emit("live:media-paused", ());
                             eprintln!("[ScreenWorker] 视频处于暂停态，重新自动暂停");
                         }
                     }

app/src-tauri/src/live_session_loop.rs

@@ -51,6 +51,10 @@ pub(crate) struct LiveLoopCtx<'a> {
     pub session_id: i64,
     pub asr_segments: &'a mut Vec<TranscriptSegment>,
     pub speech_active: Arc<AtomicBool>,
+    /// REQ-291（v0.19.7）：媒体级"最后有声时刻"戳（Arc<Mutex<Option<Instant>>>——
+    /// 音频线程每块写、屏幕线程拍级读；区别于 speech_active（VAD 语音级）——
+    /// 判定"有任何声音"（含音乐/环境声），随播随停双通道之一）
+    pub media_sound: Arc<std::sync::Mutex<Option<Instant>>>,
     pub asr_engine: &'a mut StreamingAsrEngine,
     pub audio_writer: &'a mut Option<crate::audio_store::SessionAudioWriter>,
     /// REQ-115：VAD 阈值共享槽（诊断可查；None=无槽注入——测试路径）
@@ -235,6 +239,13 @@ pub(crate) fn run_audio_loop(
                 let silent = raw_rms < vad_threshold;
                 // B3：语音活跃度共享（屏幕 worker 自适应采样依据）
                 ctx.speech_active.store(!silent, Ordering::Relaxed);
+                // REQ-291（v0.19.7）：媒体级"任何声音"戳（阈值低于 VAD 语音级——
+                // 音乐/环境声也算；屏幕 worker 随播随停检测读取，见 media_state.rs）
+                if raw_rms >= crate::media_state::MEDIA_AUDIO_ACTIVE_RMS {
+                    if let Ok(mut g) = ctx.media_sound.lock() {
+                        *g = Some(Instant::now());
+                    }
+                }
                 // REQ-108（v0.7.0 M1.5）：长静音事件——连续静音 ≥3s 落库
                 // （章节检测真实信号；与 analysis LONG_SILENCE_GAP_MS 同口径）
                 if silent {