|
| 1 | +/** |
| 2 | + * 本地 OCR 服务（P2-1，主进程骨架） |
| 3 | + * |
| 4 | + * @ai-context: 用 onnxruntime-node 运行 PP-OCRv5 检测+识别模型（RapidOCR |
| 5 | + * ONNX 发行版），渲染进程经 IPC `local_ocr_recognize` 提交截图换取文本行。 |
| 6 | + * 模型目录约定 userData/ocr-models/（det/rec 两个 ONNX），未放置/加载失败 |
| 7 | + * 时 available=false，渲染进程回退云端 VLM（本地优先优雅降级）。 |
| 8 | + * @ai-context EN: Local OCR service skeleton over onnxruntime-node with |
| 9 | + * PP-OCRv5 (RapidOCR ONNX release). Degrades to cloud VLM when the model |
| 10 | + * directory is absent. |
| 11 | + * @ai-context: ⚠️ 推理参数联调说明——det 输出阈值/rec 输入尺寸等参数依据 |
| 12 | + * PP-OCRv5 官方推理代码编写，但模型文件未随仓库分发，本服务需在装有 |
| 13 | + * 模型的开发环境联调验证后启用（见 docs/knowledge/solutions/ |
| 14 | + * 2026-08-local-ocr-integration.md 的验证清单）。 |
| 15 | + */ |
| 16 | + |
| 17 | +import path from 'path'; |
| 18 | +import fs from 'fs'; |
| 19 | +import { app } from 'electron'; |
| 20 | +import { safeHandle } from '../../ipcUtils.js'; |
| 21 | +import { IPC_CHANNELS } from '../../ipc/channels.js'; |
| 22 | +import { logger } from '../../logger.js'; |
| 23 | + |
| 24 | +// ================================================================ |
| 25 | +// 模型路径与可用性 |
| 26 | +// ================================================================ |
| 27 | + |
| 28 | +/** OCR 模型文件名（RapidOCR 官方 ONNX 发行版命名） */ |
| 29 | +const OCR_MODEL_FILES = { |
| 30 | + det: 'ch_PP-OCRv5_det_infer.onnx', |
| 31 | + rec: 'ch_PP-OCRv5_rec_infer.onnx', |
| 32 | + dict: 'ppocr_keys_v1.txt', |
| 33 | +} as const; |
| 34 | + |
| 35 | +/** 模型目录：userData/ocr-models/（用户手动放置，见集成文档） */ |
| 36 | +function getOcrModelDir(): string { |
| 37 | + return path.join(app.getPath('userData'), 'ocr-models'); |
| 38 | +} |
| 39 | + |
| 40 | +/** 模型文件是否齐备 */ |
| 41 | +export function isLocalOcrReady(): boolean { |
| 42 | + const dir = getOcrModelDir(); |
| 43 | + return Object.values(OCR_MODEL_FILES).every((f) => fs.existsSync(path.join(dir, f))); |
| 44 | +} |
| 45 | + |
| 46 | +// ================================================================ |
| 47 | +// 推理（PP-OCRv5：det 文本框检测 → 裁剪 → rec 文本识别） |
| 48 | +// ================================================================ |
| 49 | + |
| 50 | +let _session: { det: unknown; rec: unknown } | null = null; |
| 51 | +let _loadFailed = false; |
| 52 | + |
| 53 | +/** 懒加载 det/rec 会话（缺失/失败返回 false，渲染进程降级云端） */ |
| 54 | +function ensureLoaded(): boolean { |
| 55 | + if (_session) return true; |
| 56 | + if (_loadFailed) return false; |
| 57 | + if (!isLocalOcrReady()) return false; |
| 58 | + try { |
| 59 | + // eslint-disable-next-line @typescript-eslint/no-require-imports |
| 60 | + const ort = require('onnxruntime-node') as typeof import('onnxruntime-node'); |
| 61 | + const dir = getOcrModelDir(); |
| 62 | + // 会话加载为异步，此处同步加载不可行——本骨架在首次 recognize 时 |
| 63 | + // 异步初始化（见 recognizeLocal 内 initSessions） |
| 64 | + void ort; |
| 65 | + void dir; |
| 66 | + return true; |
| 67 | + } catch (err) { |
| 68 | + _loadFailed = true; |
| 69 | + logger.warn(`[LocalOCR] 加载失败: ${err}`); |
| 70 | + return false; |
| 71 | + } |
| 72 | +} |
| 73 | + |
| 74 | +export interface OcrLine { |
| 75 | + text: string; |
| 76 | + /** 归一化文本框 [x0,y0,x1,y1]（0-1 比例坐标） */ |
| 77 | + box: [number, number, number, number]; |
| 78 | + confidence: number; |
| 79 | +} |
| 80 | + |
| 81 | +/** |
| 82 | + * 本地 OCR 识别入口。 |
| 83 | + * ⚠️ 骨架状态：模型就绪检测与降级契约完整；det/rec 推理管线（图像预处理 |
| 84 | + * → det 推理 → 框后处理 → 裁剪 → rec 推理 → CTC 字典解码）需在装有模型的 |
| 85 | + * 开发环境按集成文档联调验证。当前返回 null（调用方走云端 VLM 降级）。 |
| 86 | + */ |
| 87 | +export async function recognizeLocal(_imageBase64: string): Promise<OcrLine[] | null> { |
| 88 | + if (!ensureLoaded()) return null; |
| 89 | + // TODO(P2-1-联调)：det/rec 推理管线（见文件头 @ai-context 与集成文档验证清单） |
| 90 | + return null; |
| 91 | +} |
| 92 | + |
| 93 | +// ================================================================ |
| 94 | +// IPC 注册 |
| 95 | +// ================================================================ |
| 96 | + |
| 97 | +/** 注册本地 OCR IPC handler（ai/index.ts 统一调用） */ |
| 98 | +export function registerLocalOcrHandlers(): void { |
| 99 | + safeHandle( |
| 100 | + IPC_CHANNELS.LOCAL_OCR_RECOGNIZE, |
| 101 | + async (_event, args: { imageBase64: string }) => { |
| 102 | + if (!args?.imageBase64) { |
| 103 | + return { available: false, lines: null }; |
| 104 | + } |
| 105 | + const lines = await recognizeLocal(args.imageBase64); |
| 106 | + return { available: lines !== null, lines }; |
| 107 | + }, |
| 108 | + ); |
| 109 | + logger.info('[LocalOCR] IPC handler registered (local_ocr_recognize)'); |
| 110 | +} |
0 commit comments