fix(asr): 热词含 tokens 表外字时过滤后重建流（防解码断言崩溃）

Author: Aparencia

app/src-tauri/src/streaming_asr.rs

@@ -93,6 +93,8 @@ pub struct StreamingAsrEngine {
     /// 可选标点恢复器（ADR-012 F4-2：重打分未通过的 final 补语义标点；
     /// 模型缺失 → None 零开销降级，不阻断 ASR）
     punctuator: Option<OfflinePunctuation>,
+    /// tokens.txt 单字集合（热词过滤；读取失败 → None 不阻断——仅失去过滤能力）
+    token_chars: Option<std::collections::HashSet<char>>,
 }
 
 impl StreamingAsrEngine {
@@ -154,6 +156,11 @@ impl StreamingAsrEngine {
             sentence_pcm: Vec::new(),
             rescorer,
             punctuator,
+            // 2026-08-21 热词崩溃修复：tokens.txt 单字集合——领域热词（心理成长
+            // 种子词等）含 tokens 表外字（焦/冥/哲）时 sherpa-onnx EncodeBase
+            // 失败仍创建 ContextGraph，greedy_search 解码断言 abort（exit
+            // 0xffffffff，用户真机日志实证）；读取失败 → None（不阻断加载）。
+            token_chars: load_token_chars(&models.tokens),
         })
     }
 
@@ -250,7 +257,18 @@ impl StreamingAsrEngine {
             .and_then(|v| v.hotwords_string());
         match hotwords.as_deref() {
             Some(h) if !h.trim().is_empty() => {
-                self.recognizer.create_stream_with_hotwords(h)
+                // TD-032 延伸修复（2026-08-21）：热词含 tokens.txt 外字符时
+                // sherpa-onnx 编码失败仍创建 ContextGraph → greedy_search 解码
+                // 断言 abort（exit 0xffffffff）；过滤后重建，空则回退普通流。
+                let filtered = match &self.token_chars {
+                    Some(chars) => filter_hotwords_by_tokens(h, chars),
+                    None => h.to_string(),
+                };
+                if filtered.trim().is_empty() {
+                    self.recognizer.create_stream()
+                } else {
+                    self.recognizer.create_stream_with_hotwords(&filtered)
+                }
             }
             _ => self.recognizer.create_stream(),
         }
@@ -307,6 +325,36 @@ impl StreamingAsrEngine {
     }
 }
 
+/// 读取 tokens.txt 构建单字集合（纯函数；失败 → None）。
+///
+/// @ai-context: sherpa-onnx 的 EncodeBase 按字符查 token ID（日志实证
+///              "Cannot find ID for token 焦"）——只收集单字符 token；
+///              多字符 token（▁/标点/英文词）不参与单字覆盖判断。
+fn load_token_chars(tokens_path: &str) -> Option<std::collections::HashSet<char>> {
+    std::fs::read_to_string(tokens_path).ok().map(|raw| {
+        raw.lines()
+            .filter_map(|l| l.split_whitespace().next())
+            .filter(|t| t.chars().count() == 1)
+            .flat_map(|t| t.chars())
+            .collect()
+    })
+}
+
+/// 热词 tokens 过滤（纯函数）：仅保留所有字符都在 token 集合中的词。
+///
+/// @ai-context: 词级剔除（"冥想"含非法字"冥" → 整词剔除，语义完整）；
+///              全部被剔 → 空串（调用方回退普通流，防 ContextGraph 崩溃）。
+fn filter_hotwords_by_tokens(
+    hotwords: &str,
+    token_chars: &std::collections::HashSet<char>,
+) -> String {
+    hotwords
+        .split_whitespace()
+        .filter(|w| w.chars().all(|c| token_chars.contains(&c)))
+        .collect::<Vec<_>>()
+        .join(" ")
+}
+
 // 兼容 re-export：编辑距离（asr_rescore.rs 实现；dtw_align/subtitle_ocr/fusion 引用此路径）。
 pub use crate::asr_rescore::levenshtein;
 

app/src-tauri/src/streaming_asr_tests.rs

@@ -7,6 +7,8 @@
 
 // v0.7.0 M0：silence_feed_decision 随端点处理域拆至子模块 endpoint
 use super::endpoint::silence_feed_decision;
+// 2026-08-21 热词崩溃修复：纯函数在模块级（与引擎分离，纯逻辑可单测）
+use super::{filter_hotwords_by_tokens, load_token_chars};
 use crate::streaming_asr::{
     StreamingAsrConfig, StreamingAsrEngine, StreamingAsrEvent, StreamingAsrModels,
 };
@@ -68,6 +70,58 @@ fn default_rule3_is_8_seconds() {
     assert_eq!(StreamingAsrConfig::default().rule3_min_utterance_secs, 8.0);
 }
 
+// ── 热词 tokens 过滤（2026-08-21：领域热词含 tokens 表外字 → 解码 abort）──
+
+#[test]
+fn filter_hotwords_keeps_covered_words() {
+    // Arrange：token 集合覆盖常用字（焦/冥/哲 缺席——用户真机日志实证）
+    let chars: std::collections::HashSet<char> =
+        "心理成长情绪压力习惯认知思维自律人生哲学".chars().collect();
+    // Act & Assert：全覆盖词原样保留
+    assert_eq!(
+        filter_hotwords_by_tokens("心理 成长 习惯", &chars),
+        "心理 成长 习惯"
+    );
+}
+
+#[test]
+fn filter_hotwords_drops_uncovered_words() {
+    // Arrange：冥想/哲学 含表外字（冥/哲）→ 整词剔除（词级，语义完整）
+    let chars: std::collections::HashSet<char> = "心理成长".chars().collect();
+    // Act & Assert：覆盖词保留，表外词剔除
+    assert_eq!(
+        filter_hotwords_by_tokens("心理 冥想 哲学 成长", &chars),
+        "心理 成长"
+    );
+}
+
+#[test]
+fn filter_hotwords_all_uncovered_returns_empty() {
+    // Act & Assert：全部被剔 → 空串（调用方回退普通流，防 ContextGraph 崩溃）
+    let chars: std::collections::HashSet<char> = "心理".chars().collect();
+    assert_eq!(filter_hotwords_by_tokens("冥想 哲学", &chars), "");
+}
+
+#[test]
+fn load_token_chars_collects_single_char_tokens() {
+    // Arrange：临时 tokens.txt（单字 + 多字符 token + 带 id 行混合）
+    let dir = tempfile::tempdir().unwrap();
+    let path = dir.path().join("tokens.txt");
+    std::fs::write(&path, "心 1\n理 2\n▁ 3\n<sos> 4\n成长 5\n").unwrap();
+    // Act：读取构建单字集合
+    let chars = load_token_chars(path.to_str().unwrap()).unwrap();
+    // Assert：仅单字符 token 入集（▁=U+2581 也是单字符；多字符 token 不参与）
+    assert!(chars.contains(&'心') && chars.contains(&'理') && chars.contains(&'▁'));
+    assert!(!chars.contains(&'成'));
+    assert_eq!(chars.len(), 3);
+}
+
+#[test]
+fn load_token_chars_missing_file_is_none() {
+    // Act & Assert：文件缺失 → None（不阻断加载，仅失去过滤能力）
+    assert!(load_token_chars("C:\\nonexistent\\tokens.txt").is_none());
+}
+
 /// 集成测试：用本机真实 Zipformer 模型验证加载与喂入不崩溃。
 ///
 /// @ai-context: 模型目录取 ENTROPY_STREAMING_MODEL_DIR 环境变量，默认