feat(ocr): 结构图命令层——批量/手动/列表/删除+停止后自动捕获

Author: Aparencia

app/src-tauri/src/commands_live.rs

@@ -12,6 +12,7 @@ use std::sync::Arc;
 use std::time::Instant;
 
 use serde::Serialize;
+use tauri::Emitter;
 use tauri::State;
 
 use crate::commands::AppState;
@@ -100,10 +101,44 @@ pub async fn stop_live_session(state: State<'_, AppState>) -> Result<Option<i64>
     // 无结构区域 → 内部降级跳过——run_refine 已有完整降级链）
     if let Some(sid) = stopped {
         trigger_auto_refine(&state, sid);
+        // v0.7.7（REQ-182）：停止后自动结构图捕获（非线性结构"图像即产物"；
+        // 无屏/无图/版面空 → 内部降级跳过；去重幂等可重跑）
+        trigger_auto_capture_structures(&state, sid);
     }
     Ok(stopped)
 }
 
+/// 停止后自动结构图捕获触发（v0.7.7 REQ-182）。
+///
+/// @ai-context: 与 trigger_auto_refine 并列的停止后批处理——纯本地规则管线
+///              （版面分析 + 启发式过滤），无模型依赖；失败仅留日志不阻断
+///              （捕获是增强非主链路）。
+fn trigger_auto_capture_structures(state: &AppState, session_id: i64) {
+    let state: AppState = (*state).clone();
+    tauri::async_runtime::spawn_blocking(move || {
+        let now = std::time::SystemTime::now()
+            .duration_since(std::time::UNIX_EPOCH)
+            .map(|d| d.as_millis() as u64)
+            .unwrap_or(0);
+        match crate::structure_capture::capture_session_structures(
+            &state.db,
+            &state.data_dir,
+            session_id,
+            now,
+        ) {
+            Ok(summary) if summary.captured > 0 => {
+                eprintln!(
+                    "[Structures] 会话 {} 停止：自动捕获 {} 张结构图（扫描 {} 屏）",
+                    session_id, summary.captured, summary.screens_scanned
+                );
+                let _ = state.app.emit("session:structures-updated", &summary);
+            }
+            Ok(_) => {} // 无结构区域/无图：静默跳过（常态）
+            Err(e) => eprintln!("[Structures] 会话 {} 自动捕获失败: {}", session_id, e),
+        }
+    });
+}
+
 /// 停止后自动结构精修触发（v0.7.3 REQ-159）。
 ///
 /// @ai-context: 前置检查：会话存在 region_kind=table/formula 的 OCR 块才触发

app/src-tauri/src/commands_structures.rs

@@ -0,0 +1,185 @@
+//! 结构图命令层（REQ-182/183/184 / v0.7.7）：批量捕获 / 手动框选 / 列表 / 删除。
+//!
+//! @ai-context: IPC 安全边界：全部入参校验（session_id>0、归一化坐标 0-1、
+//!              最小尺寸）；文件访问限定会话图片目录（data_dir/session-images/<id>，
+//!              AGENTS.md 安全红线）；事件 session:structures-updated 驱动前端图库刷新。
+//! @ai-context: 停止后自动触发与手动重跑共用同一管线（capture_session_structures）——
+//!              去重幂等，重跑不重复入库。
+
+use tauri::Emitter;
+use tauri::State;
+
+use crate::commands::AppState;
+use crate::db_structures::StructureImageRecord;
+use crate::structure_capture::CaptureSummary;
+
+/// 会话图片目录（与 commands_images 同约定）。
+fn session_images_dir(data_dir: &std::path::Path, session_id: i64) -> std::path::PathBuf {
+    data_dir.join("session-images").join(session_id.to_string())
+}
+
+/// 批量捕获结构图（停止后自动触发 / 图库「重新捕获」重跑；幂等）。
+#[tauri::command]
+pub async fn capture_session_structures(
+    state: State<'_, AppState>,
+    session_id: i64,
+) -> Result<CaptureSummary, String> {
+    if session_id <= 0 {
+        return Err("无效的会话 id".to_string());
+    }
+    let state: AppState = (*state).clone();
+    let summary = tauri::async_runtime::spawn_blocking(move || {
+        let now = std::time::SystemTime::now()
+            .duration_since(std::time::UNIX_EPOCH)
+            .map(|d| d.as_millis() as u64)
+            .unwrap_or(0);
+        crate::structure_capture::capture_session_structures(
+            &state.db,
+            &state.data_dir,
+            session_id,
+            now,
+        )
+    })
+    .await
+    .map_err(|e| format!("任务调度失败: {}", e))?
+    .map_err(|e| e.to_string())?;
+    // 图库刷新事件（前端 ImageGallery 监听）
+    let _ = state.app.emit("session:structures-updated", &summary);
+    Ok(summary)
+}
+
+/// 手动框选截取（REQ-184）：屏卡全帧图归一化坐标 → 裁剪入库。
+///
+/// @ai-context: 入参归一化 0-1（前端框选与图同坐标系）；像素换算按 image_ref
+///              解码帧的宽高；越界钳制；<32×32 拒绝（误触防护）；原样裁剪
+///              （不做白边——用户意图优先）；手动不设预算上限。
+#[tauri::command]
+pub async fn capture_structure_manual(
+    state: State<'_, AppState>,
+    session_id: i64,
+    screen_id: Option<i64>,
+    x: f32,
+    y: f32,
+    w: f32,
+    h: f32,
+) -> Result<StructureImageRecord, String> {
+    if session_id <= 0 {
+        return Err("无效的会话 id".to_string());
+    }
+    // 归一化坐标校验（防负数/越界/空框）
+    if !(0.0..=1.0).contains(&x) || !(0.0..=1.0).contains(&y) || !(0.0..=1.0).contains(&w) || !(0.0..=1.0).contains(&h) {
+        return Err("框选坐标无效（须 0-1 归一化）".to_string());
+    }
+    let state: AppState = (*state).clone();
+    tauri::async_runtime::spawn_blocking(move || {
+        manual_capture_inner(&state, session_id, screen_id, x, y, w, h)
+    })
+    .await
+    .map_err(|e| format!("任务调度失败: {}", e))?
+}
+
+/// 手动捕获核心（IO；独立函数便于单测）。
+fn manual_capture_inner(
+    state: &AppState,
+    session_id: i64,
+    screen_id: Option<i64>,
+    x: f32,
+    y: f32,
+    w: f32,
+    h: f32,
+) -> std::result::Result<StructureImageRecord, String> {
+    // ① 定位屏卡 image_ref（复用屏卡体系；无图 → 明确错误，前端禁用按钮）
+    let blocks = state.db.list_ocr_blocks(session_id).map_err(|e| e.to_string())?;
+    let images_dir = session_images_dir(&state.data_dir, session_id);
+    let screens = crate::screens::build_screens(&blocks, Some(&images_dir));
+    let screen = screens
+        .iter()
+        .find(|s| s.screen_id == screen_id)
+        .ok_or_else(|| "未找到对应屏卡".to_string())?;
+    let image_ref = screen
+        .image_ref
+        .clone()
+        .ok_or_else(|| "该屏无图像，无法框选截取".to_string())?;
+    // ② 解码全帧图
+    let frame = image::open(images_dir.join(&image_ref))
+        .map_err(|e| format!("屏图解码失败: {}", e))?
+        .to_rgb8();
+    let (fw, fh) = (frame.width(), frame.height());
+    // ③ 归一化 → 像素坐标（钳制越界；最小尺寸拒绝）
+    let px = |v: f32, dim: u32| (v * dim as f32).round().min(dim as f32) as u32;
+    let (cx, cy) = (px(x, fw), px(y, fh));
+    let (cw, ch) = (px(w, fw).min(fw - cx), px(h, fh).min(fh - cy));
+    if cw < 32 || ch < 32 {
+        return Err("框选区域过小（≥32×32 像素）".to_string());
+    }
+    let crop = image::imageops::crop_imm(&frame, cx, cy, cw, ch).to_image();
+    // ④ 手动入库（不设预算/不去重）+ 记录
+    let mut store =
+        crate::structure_store::StructureImageStore::new(images_dir.clone()).map_err(|e| e.to_string())?;
+    let now = std::time::SystemTime::now()
+        .duration_since(std::time::UNIX_EPOCH)
+        .map(|d| d.as_millis() as u64)
+        .unwrap_or(0);
+    let rel = store
+        .save_manual(now, &rgb_to_bgra(&crop), crop.width(), crop.height())
+        .map_err(|e| e.to_string())?;
+    let rec = StructureImageRecord {
+        id: 0,
+        session_id,
+        screen_id: screen.screen_id,
+        kind: "manual".to_string(),
+        bbox: format!(r#"{{"x":{},"y":{},"w":{},"h":{}}}"#, cx, cy, cw, ch),
+        source_ts_ms: screen.first_seen_ms,
+        crop_path: rel,
+        source: "manual".to_string(),
+        created_at: now,
+    };
+    let id = crate::db_structures::insert_structure_image(&state.db, &rec).map_err(|e| e.to_string())?;
+    let mut saved = rec;
+    saved.id = id;
+    let _ = state.app.emit("session:structures-updated", ());
+    Ok(saved)
+}
+
+/// RGB → BGRA（结构图存储契约；与 structure_capture 内部同实现——命令层
+/// 独立小函数，避免跨模块依赖私有工具）。
+fn rgb_to_bgra(rgb: &image::RgbImage) -> Vec<u8> {
+    let mut out = Vec::with_capacity((rgb.width() * rgb.height() * 4) as usize);
+    for p in rgb.pixels() {
+        out.extend_from_slice(&[p[2], p[1], p[0], 255]);
+    }
+    out
+}
+
+/// 会话结构图列表（图库数据源；按入库时间升序）。
+#[tauri::command]
+pub fn list_session_structure_images(
+    state: State<'_, AppState>,
+    session_id: i64,
+) -> Result<Vec<StructureImageRecord>, String> {
+    if session_id <= 0 {
+        return Err("无效的会话 id".to_string());
+    }
+    crate::db_structures::list_structure_images(&state.db, session_id).map_err(|e| e.to_string())
+}
+
+/// 删除结构图（记录驱动：删记录 + 删文件；文件仅被本表引用可安全删）。
+#[tauri::command]
+pub fn delete_structure_image(
+    state: State<'_, AppState>,
+    id: i64,
+) -> Result<bool, String> {
+    if id <= 0 {
+        return Err("无效的记录 id".to_string());
+    }
+    let rec = crate::db_structures::delete_structure_image(&state.db, id)
+        .map_err(|e| e.to_string())?;
+    if let Some(r) = rec {
+        let images_dir = session_images_dir(&state.data_dir, r.session_id);
+        let store = crate::structure_store::StructureImageStore::new(images_dir)
+            .map_err(|e| e.to_string())?;
+        store.delete_image(&r.crop_path).map_err(|e| e.to_string())?;
+    }
+    let _ = state.app.emit("session:structures-updated", ());
+    Ok(true)
+}

app/src-tauri/src/lib.rs

@@ -55,6 +55,8 @@ mod commands_refine_inner;
 mod commands_session;
 // v0.7.6 审查硬拆：会话 → 笔记转换管线（原料装载/结构渲染/单条转换/批量编排/预览）
 mod commands_session_note;
+// v0.7.7（REQ-182/183/184）：结构图命令层——批量捕获/手动框选/列表/删除
+mod commands_structures;
 mod commands_streaming;
 mod commands_vocab;
 mod commands_video;
@@ -341,6 +343,11 @@ pub fn run() {
             commands_images::delete_session_images_all,
             commands_images::save_user_screenshot,
             commands_images::session_images_base_url,
+            // 结构图（REQ-182/183/184，v0.7.7：非线性结构图像捕获持久化 + 图库）
+            commands_structures::capture_session_structures,
+            commands_structures::capture_structure_manual,
+            commands_structures::list_session_structure_images,
+            commands_structures::delete_structure_image,
             // 会话音频落盘（REQ-068，v0.6.0 M4：状态/清理——M6 清理 UI 消费）
             commands_audio::session_audio_status,
             commands_audio::session_audio_cleanup,