fix: simpleText 的空白正则会删掉正文里的 ]]

[kevin9327]

现象

往知识库里导入一段带 ]] 的文本，]] 会凭空消失：

原文	入库后
参考 [[ 知识库 ]] 一节	参考 [[ 知识库 一节
{"matrix": [[]]}	{"matrix": [ }
value = arr[ ]]	value = arr[

同时 simpleText 注释里写的 “remove chinese space” 一直没生效：中文 中文 原样保留，多余空白也没有被压缩。

原因

packages/global/common/string/tools.ts 的两条规则用了字符组交集写法：

text = text.replace(/([一-龥])[\s&&[^\n]]+([一-龥])/g, '$1$2');
text = text.replace(/[\s&&[^\n]]{2,}/g, ' ');

&& 交集只在 v 标志下成立。没有 v 时字符组在第一个 ] 处就闭合了（组内是空白、&、[、^），后面那个 ] 变成字面量并被量词修饰。所以第二条规则实际匹配的是「一个空白/[/&/^ + 两个及以上 ]」，命中后整段替换成一个空格 —— 空白没压缩，反而把正文的 ]] 删掉了；第一条同理，删的是中文之间的 ]。

simpleText 在这些路径上都会跑到：textSplitter 的每个分块、simpleMarkdownText / readFileRawText（含 Doc2X 等解析结果）、以及 /api/core/dataset/data/insertData。

修改

改用 [^\S\r\n]（除换行外的空白，顺带覆盖全角空格 U+3000）。

压缩行内空白那条加了 (?<=\S)：只压缩行内多余空白，保留行首缩进，避免把知识库里代码块的缩进压掉。（replaceSensitiveText 已经在用后行断言，运行环境一致。）

因为这一步以前从未真正生效，有 3 处旧断言记录的是当时的实际行为，需要跟着更新：

• simpleText('a b')：'a b' → 'a b'
• simpleText(' 你 好 \r\n\r\n\r\nfoo\x00bar ')：'你 好 \n\nfoo bar' → '你好 \n\nfoo bar'（注释承诺的中文空格去除现在生效了）
• parseMarkdownBase64Images('before ![alt](data:…) after')：'before after' → 'before after'（图片被删后留下的双空格现在会被压成一个）

如果你们更希望完全保持现状、不启用空白压缩，我可以把第二条规则直接去掉，只保留「不再删 ]]」这部分，改动会更小 —— 按你们的偏好来即可。

验证

cd packages/global
vitest run --config vitest.config.ts --coverage.enabled=false --maxWorkers=1 --no-fileParallelism \
  test/common/string/tools.test.ts test/common/string/markdown.test.ts

• 修改前（只加测试、不改实现）：Test Files 1 failed | 1 passed (2)，Tests 3 failed | 56 passed (59)
  • expected '参考 [[ 知识库 一节' to be '参考 [[ 知识库 ]] 一节'
  • expected '中文 中文' to be '中文中文'
  • expected '你 好 \n\nfoo bar' to be '你好 \n\nfoo bar'
• 修改后，跑完整目录 test/common/string：Test Files 7 passed (7)，Tests 130 passed (130)

新增的回归用例同时钉住了「不删 ]]」和「保留行首缩进」：

expect(simpleText('参考 [[ 知识库 ]] 一节')).toBe('参考 [[ 知识库 ]] 一节');
expect(simpleText('{"matrix": [[]]}')).toBe('{"matrix": [[]]}');
expect(simpleText('def f():\n    return 1')).toBe('def f():\n    return 1');

prettier --check 与 git diff --check 均通过。

[chatgpt-codex-connector]

You have reached your Codex usage limits for code reviews. You can see your limits in the Codex usage dashboard.

[cla-assistant]

All committers have signed the CLA.

[c121914yu]

[P2] 当前正则没有要求空白后是非空白字符，因此会把行尾空格也压缩掉。例如 line \\nnext 会变成 line \\nnext。simpleMarkdownText 会先调用 simpleText，这可能破坏 Markdown 用两个行尾空格表示硬换行的语义。若目标仅是压缩词间空白，建议改为 /(?<=\\S)[^\\S\\r\\n]{2,}(?=\\S)/g 并补充行尾空格测试；如果需要全局压缩，请明确记录代码/JSON 字符串也会被改写的预期。