这款工具可免费使用，帮助你发现并删除文本中的隐藏 Unicode 字符。ChatGPT 等 AI 模型可能会悄悄加入 Em-Dash 或 Zero Width Space 等隐藏字符。使用此工具即可找到并删除不需要的字符。
我们的免费工具可以查找并删除以下隐藏的 Unicode 文本字符：
这款工具可以帮助你查看文本中的隐藏 Unicode 字符并将其移除，你可以选择特定代码，也可以一次性全部删除。
使用方法：
1. 粘贴文本。
2. 查看隐藏的 Unicode 字符并了解其功能。
3. 选择要清理的内容。
– 修复全部内容。
– 删除所有不可见字符。
– 针对特定字符（例如 Em-Dash、En-Dash）。
4. 复制清理后的文本。
请注意，如果文本由 ChatGPT、Claude 或 Gemini 等语言模型生成，那么在使用 Originality.ai 的 AI Detector 检查时，仍可能被标记为 AI 生成内容。
要点：
– 轻松清理 – 我们的免费工具可以快速查找并删除隐藏的文本字符。
– 隐私保障 – 所有内容都在您的浏览器中处理，因此您的文本会一直保留在设备上。
– 并非水印 – 隐藏字符由 ChatGPT 等 LLM 添加，但并不是用于秘密标记。
– 字符过度使用 – ChatGPT 经常使用多个 Unicode 隐藏字符，例如长破折号。
– 真正的风险 – 隐形文本可能导致安全和格式问题。
– 检测器依然有效 – 即使移除隐藏字符，AI 检测仍然有效。
所有 LLM 都包含隐藏字符。
什么是 Unicode 隐藏文本字符？
Unicode 隐藏字符是与纯 ASCII 不同的独特码点。有些字符略微可见，例如长破折号和智能引号；另一些字符则完全不可见，例如零宽空格和连接符。这些字符就像“数字墨水”，会改变软件换行、拆分单词或匹配文本的方式，而且往往不会引起你的注意。
ChatGPT 会在文本中隐藏水印吗？
不会，这是一个误解。有些人认为 ChatGPT 会在文本中添加隐藏标记，但事实并非如此。这种说法不太可能成立，原因有两个。
1. 移除这类标记非常简单。如果用户可以轻松删除它们，那么使用它们就没有意义。
2. OpenAI 表示，这只是大规模强化学习工作方式所产生的结果。
ChatGPT 会插入隐藏字符吗？
会，ChatGPT 等 AI 模型确实会添加隐藏字符。其中许多字符并无害处，例如长破折号等格式标记；但有些字符（如零宽空格）可能会破坏格式。
ChatGPT 经常使用一些常见的 Unicode 字符：
长破折号
这种长破折号经常出现在 ChatGPT 的文本中，尤其是在较新的模型（版本 o3、4 o、4.1）中，用于分隔句子或制造戏剧性的停顿。
- Unicode：U+2014
- 描述：一种比连字符更宽的长水平破折号。在排版中，它适合表示停顿；但在代码、CSV 或纯文本中，它可能被视为非标准字符，从而导致复制粘贴或解析问题。
- 示例：word—word 看起来像 word-word，但它们是不同的 Unicode 码点。
弯引号也称为排版引号，是用来替代普通直引号的装饰性引号。ChatGPT 有时会使用这类弯引号。
在 Unicode 中，它们有特定的编码：
– 左双引号：U+201C
– 右双引号：U+201D
– 左单引号：U+2018
– 右单引号：U+2019
这些引号呈弧形，专为印刷文本设计。在直引号（例如 ” 或 ‘）可能更合适的场景中，它们也会出现，比如代码、CSV 文件或 Markdown。例如，你可能会看到“hello”或‘world’。
不可见空格
这种字符会隐藏在文本中，通常会在从 ChatGPT 等特定编辑器复制内容时出现。
– Unicode：U+200B
– 描述：它不会显示空隙，却会将字符分隔开。这可能影响字符串匹配、URL 和字数统计，还可能导致“为什么粘贴后不对？”之类的问题。
– 示例：wordword ← 看起来像一个单词，但两者之间其实有一个不可见空格。
为什么 LLM 会使用隐藏字符？
LLM 更常使用这些不可见字符，主要有三个原因：
1. 训练偏差：LLM 从经过专业编辑的文本中学习。这些文本经常使用长破折号和智能引号，因此 LLM 比日常写作更常使用它们。
2. 正式语气：LLM 往往听起来正式或权威，而这些字符有助于营造这种语气。
3. 不受键盘限制：我们不常使用这些字符，因为标准键盘上没有它们。LLM 不需要通过键盘输入，因此使用不可见字符对它们来说很容易。
不可见字符：用途与问题
人们为什么要使用这些字符？
1. 整齐排版 – 零宽空格或软连字符可以帮助作者决定换行位置，防止过长的单词尴尬地悬在页边。
2. 用户名中的“空格”——有些网站不允许使用真正的空格。使用不可见的 Hangul 填充字符，可以让 John Doe 这样的姓名保持可读，同时遵守“不含空格”的规则。
3. 隐藏水印 – 出版商可以在内容中嵌入由零宽标记组成的独特模式。如果文本泄露，这些不可见的点就会成为数字指纹。
为什么人们会对此感到担忧？
– 格式问题：它们看起来相同，实际表现却不同。两个看似完全相同的部分，在加入隐藏字符后，进行哈希处理或排序时可能产生不同结果，从而干扰导出、搜索或审计记录。
– 为恶意代码提供隐藏位置：攻击者可以将恶意软件或秘密命令藏在零宽字符之间；文件仍能正常运行，但人工代码审查人员看不到任何异常。
– 悄无声息地操控 AI：隐藏的 Unicode 字符可以将额外命令偷偷植入聊天机器人提示词，使模型在用户毫不知情的情况下泄露数据或生成有害内容。
– 你的文本看起来像 AI 生成的：如果文本大量使用 AI 经常采用的独特格式（例如破折号），就很容易看出是 AI 生成的，从而损害你的声誉。
添加或删除不可见字符，能帮助绕过 AI 检测器吗？
不能。我们的快速测试显示，添加或删除隐藏字符，并不会改变 AI 生成内容被识别的难易程度。我们制作了两段 AI 内容，然后分别添加额外的隐藏字符，以及使用本页面的免费工具删除所有 Unicode 字符，对它们进行了调整。
结果表明，无论是否存在不可见字符，大多数工具仍然可以检测出这些内容。
以下是测试结果……
文本 AI 示例 2 – 包含许多隐藏符号的额外隐藏字符！
当要求 ChatGPT 特意加入额外字符时，它给出了警告……
所有大型语言模型都会偷偷加入隐藏字符吗？
是的。我们在不同的知名 LLM 上测试了相同的提示词，以检查其中是否存在隐藏字符。
提示词：撰写一篇 LinkedIn 帖子，突出介绍为 LinkedIn 帖子设置格式的优势。
没有任何模型生成不可见字符，但它们都大量使用了可见的 Unicode 字符来进行格式设置。
