文本去重排序指南:删除重复项、排序与更换分隔符
Admin ·
文本清理工具按所选选项把粘贴的列表整理得更易使用。ToolMellow 可去掉条目首尾空白、合并空白、删除空项或重复项、自然排序或反转保留条目。设置“输入分隔符”和“输出分隔符”,检查复选框后点击“清理文本”。处理在本地浏览器工作线程中运行。
默认去掉各条目首尾空白、删除空项和完全相同的重复项,保留原顺序。匹配仍区分大小写;“合并连续空白”和“忽略大小写”初始关闭。本指南解释处理顺序和可复现示例,区分字面列表整理与 CSV 解析、Unicode 规范化或文章改写。
如何整理列表并保留原始数据
粘贴列表或打开本地文本文件。“文本语言”决定语言相关比较,再选择输入、输出分隔符。两者默认“换行”,“排列顺序”默认“保持原顺序”。文本语言初始跟随网站语言,可选全部十一种语言;它控制比较,不翻译文本。
点击“清理文本”前确认需要的变化。“复制结果”和“下载”处理完成的结果;“将结果用作输入”主动把编辑器内容替换为结果。修改输入或清理选项会使旧结果失效,仅输入文字不会清理。“自动换行”只改变显示。
- 若空白、重复次数或顺序有意义,单独保存原文。
- 先用含边界情况的小样本检查结果,再把同样设置用于整份列表。
- 替换其他系统数据前比较保留写法和条目数;工具不验证该系统标识符或业务规则。
换行、逗号、制表符与自定义分隔符
输入分隔符确定条目边界。“换行”接受 CRLF、CR、LF;对应输出用 LF 连接。逗号、分号、制表符按所选字面字符切分。自定义使用输入的准确字符串,长度 1 到 20 个 UTF-16 代码单元。匹配区分大小写,多字符分隔符作为整体匹配。
开头、相邻和末尾分隔符产生空项,可用“删除空条目”移除。保留的末尾空项可能使连接结果以分隔符结束。.* 是普通文本;在自定义字段输入 \n 提供反斜杠和 n,不是解码后的换行。要切分真实行尾请选择“换行”。
| 分隔选项 | 输入行为 | 输出行为 |
|---|---|---|
| 换行 | CRLF、CR 或 LF 切分条目 | 用 LF 连接保留项 |
| 逗号 | 按 , 切分 | 用 , 连接 |
| 分号 | 按 ; 切分 | 用 ; 连接 |
| 制表符 | 按真实制表符切分 | 用真实制表符连接 |
| 自定义 | 按准确 1–20 单元字符串切分 | 用准确 1–20 单元字符串连接 |
清理流程及其顺序的意义
先切分输入,再按下表固定顺序执行选中的操作。修整或合并空白可能使原来不同的条目在去重前变得相同。去重保留首次出现的清理后写法,随后才排序或反转。屏幕上的复选框操作顺序不会改变流程。
完成操作后才插入输出分隔符。它可能增加空白或输出长度,字符不会再次清理。“反转条目顺序”反转保留列表,不反转条目内字符。这些操作不能重建删除的出现次数或原分隔符。
| 阶段 | 启用时的行为 |
|---|---|
| 切分 | 按输入分隔符产生条目 |
| 去掉条目首尾空白 | 删除每项边缘匹配空白 |
| 合并连续空白 | 匹配的非 CR/LF 空白段转为一个 ASCII 空格 |
| 删除空条目 | 移除修整后为空的条目 |
| 删除重复条目 | 保留每个准确或语言小写键的首项 |
| 排列顺序 | 保留、排序或反转留下的条目 |
| 连接 | 先检查最终大小,再用所选输出分隔符连接 |
ECMAScript:字符串、切分、修整和大小写映射ECMAScript:稳定 Array.prototype.sort
完整示例:默认设置、大小写和顺序
准确输入为 apple\nbanana\napple\n\nBanana\nitem 10\nitem 2 。这里 \n 是真实换行的显示记法;请输入七个物理行,第四行为空。输入、输出都用换行时,默认清理产生五项,去掉首尾空白、空项和第二个完全相同的 apple,但保留 banana 与 Banana。
各表行都从同一原输入开始,不沿用上一行结果。排序示例把“文本语言”设为 English(英语)。开启“忽略大小写”移除后出现的 Banana,保留之前的 banana 写法。自然排序把 item 2 的数字段排在 item 10 前。
| 相对默认的设置 | 转义显示记法输出 | 输出项数 |
|---|---|---|
| 不改变设置 | apple\nbanana\nBanana\nitem 10\nitem 2 | 5 |
| 开启忽略大小写 | apple\nbanana\nitem 10\nitem 2 | 4 |
| 忽略大小写;升序(自然数字排序);English | apple\nbanana\nitem 2\nitem 10 | 4 |
| 反转条目顺序;不忽略大小写 | item 2\nitem 10\nBanana\nbanana\napple | 5 |
ECMAScript 国际化:Collator 与 CompareStringsUnicode LDML:排序选项与数字顺序
首尾修整、合并空白与删除空项
“去掉条目首尾空白”按 JavaScript 空白规则处理边缘,不删除词语之间的空格。“合并连续空白”把匹配的一段换成一个 ASCII 空格,包括单个制表符或不换行空格。它排除 CR/LF,但其他匹配空白,例如 Unicode 行、段分隔符,可成为空格。范围比只改重复普通空格更广。
“删除空条目”检查修整后的值是否为空,即使首尾修整本身关闭。因此可删除只有空白的条目,同时保留非空条目的外侧空白。工具不是通用不可见字符删除器:零宽空格或 JavaScript 相应集合以外的字符可保留。对代码、签名或标识符不要盲目更改空白。
| 输入项 | 所选变化 | 结果 |
|---|---|---|
alpha | 启用修整 | alpha |
alpha\tbeta 含真实制表符 | 一项内启用合并 | alpha beta |
alpha 加一个只有空格的项 | 关闭修整;开启删除空项 | 保留 alpha 外侧空格,删除空项 |
去重并保留首次写法
不忽略大小写时,键是前面空白操作后的准确字符串;开启时按文本语言将键转为小写,但显示条目不转小写。每个键的第一个清理后条目保留。关闭“删除重复条目”保留所有出现,即使开启忽略大小写。
输入 Apple\napple\nApple 默认保留 Apple\napple;开启忽略大小写只留 Apple。关闭修整时结尾空格可区分条目,开启合并时内部空白可能使键相同。这是字面条目去重,不查找段落各处重复单词,也不做记录模糊比较。
ECMAScript:字符串、切分、修整和大小写映射ECMAScript 国际化:Collator 与 CompareStrings
为什么看似相同的行仍不同
Unicode 可用不同序列表示相似外观。例如单字符 é 与 e 加组合重音(Unicode 转义记法 e\u0301)可有不同去重键。工具不执行 NFC、NFD、NFKC 或 NFKD 规范化。排序中的规范等价不会悄悄规范化存储条目。
忽略大小写使用语言相关小写键,不是完整 Unicode 大小写折叠、去重音、转写或形似字符检测。并非所有看似相同的写法都会相等;例如仅转小写不会合并 ß 和 ss。其他系统需要规范化标识符时,应按其明确政策另行检查变化。
ECMAScript:字符串、切分、修整和大小写映射ECMAScript 国际化:Collator 与 CompareStringsUnicode 标准附录 #15:Unicode 规范化形式
自然排序、所选语言与稳定相等项
升序和降序使用文本语言的浏览器 Intl.Collator,开启数字比较。数字段让 item2 排在 item10 前。这不是数值解析器,不保证带符号小数、货币、日期、IP 地址或软件版本的算术顺序。它们有特定意义时,使用接收系统要求的排序规则。
忽略大小写开启时排序区分重音但不区分大小写;否则区分变体。浏览器语言数据和版本会影响顺序。不同字符串(包括规范等价形式)可能比较相等,去重却仍分开保留。稳定排序保留相等项进入排序时的顺序,因此降序不必反转所有相等项内部次序;反转列表是另一种操作。
| 排列顺序 | 对保留列表的作用 |
|---|---|
| 保持原顺序 | 保留清理后剩余顺序 |
| 升序(自然数字排序) | 升序语言比较和数字段排序 |
| 降序(自然数字排序) | 降序比较;相等项保留原进入顺序 |
| 反转条目顺序 | 反转位置,不比较条目文字 |
ECMAScript 国际化:Collator 与 CompareStringsUnicode LDML:排序选项与数字顺序ECMAScript:稳定 Array.prototype.sort
转换普通逗号列表;带引号记录需要 CSV 解析器
对 red, blue,red 之类简单列表,选择逗号输入、换行输出,以及默认修整和去重。结果 red\nblue 表示两行。同样可以把分号、制表符或自定义普通列表换成其他分隔方式。
带引号 CSV 是另一种格式。"a,b",c 按字面逗号切成三项,引号不保护内部逗号。逗号输出也不会对条目已有的逗号、引号或内嵌换行做 CSV 引用、转义。应先用了解 CSV 的流程解析结构记录,再把字段当简单列表。
- 选择逗号前检查引号内分隔符或多行字段。
- 自定义输入真实分隔符如
||,不要当正则表达式模式。 - 写入数据文件前检查接收格式的转义要求。
输入、输出扩张与分隔符长度
输入和输出各最多 1000000 个 UTF-16 代码单元。一个单元不一定是一个可见字符;表情或组合字素可能占多个单元。自定义输入和输出分隔符各为 1–20 单元。文本文件须严格小于 4000000 字节,解码后的文本另须符合输入上限。
连接前先计算保留条目长度及它们之间输出分隔符的长度。超过上限时拒绝结果,不截断。长自定义输出分隔符可能让短分隔符输入变长,即使删掉一些条目。选择短分隔符或较小的原文部分,同时保留列表所需含义。
| 边界 | 测量内容 |
|---|---|
| 输入、输出最多 1000000 | 各文本的 UTF-16 代码单元 |
| 自定义分隔符 1–20 | UTF-16 单元,不是字素簇 |
| 文本文件小于 4000000 | 解码前字节数;等于此大小会拒绝 |
理解条目数与完成的空结果
结果提示报告切分输入项和保留输出项。逗号、制表符或自定义输入时不一定是物理行:一项可以含换行。差值合计空项和重复项的移除,不是只统计重复。输出字节标记计算 UTF-8 文本,不是 UTF-16 上限或条目数。
空或只有空白的编辑器禁用“清理文本”。非空白输入仍可清理为空:例如 ,, 用逗号输入并开启删除空项,得到三个输入空项和零输出项。成功空结果后可复制、下载;它不同于错误或设置变化后没有结果。
文本文件、下载与再次使用结果
File.text() 按 UTF-8 读取文件,移除开头 BOM,畸形 UTF-8 可成为替换字符;浏览器编辑可影响行尾。这不是编码检测器或保留字节的二进制文件转换。清理前检查导入内容,尤其旧编码或空白有意义时。
下载保存 UTF-8 纯文本 toolmellow-result.txt。允许时复制结果使用剪贴板,不可用时可手动复制。将结果用作输入主动替换编辑器,用于第二次处理,不是自动串联。撤销、重做处理编辑器历史,不恢复所有清理选项,也不能从已导出清理文件恢复原文。
清空、本地处理与常规网站请求
“清空”移除输入、结果、错误、查找替换内容和历史,保留文本语言、分隔符、排列顺序、清理复选框和自动换行。下载文件与剪贴板不属此操作。关闭或刷新丢弃内存状态;清空不保证彻底移除可恢复痕迹。
清理在本地工作线程中运行,不把粘贴文本或文件内容上传给清理服务器。可以取消任务;取消或超时会终止工作线程。加载公开站点仍发送常规主机元数据与 Google Analytics 访问请求。本地处理不证明匿名或网络零日志。
嵌入清理工具并保留 ToolMellow 反向链接
选择网站语言,在工作区下方集成部分复制或下载 HTML 代码,粘贴到允许 iframe 和尺寸脚本的页面或平台。保留对应语言 ToolMellow 工具页的可见反向链接,链接带 nofollow 和 noopener。
在窄屏检查嵌入版,确认宿主允许工作线程和所需剪贴板交互。它有相同交互选项、限制和本地处理。高度消息帮助调整 iframe,不是把文本发给自动清理服务的 API。
常见问题
如何整理文本列表?
粘贴或打开文本,选文本语言和输入输出分隔符,检查清理与排列顺序,再点击清理文本。默认修整边缘、删除空项和准确重复,保留原顺序。
如何删除重复行?
换行输入并启用删除重复条目。匹配用之前空白处理后的项,保留首个写法;忽略大小写按所选语言生成小写键。
如何按自然数字顺序排序文本?
选择升序(自然数字排序)和所需文本语言。数字段把 item2 排在 item10 前,不把带符号小数、日期、地址或版本当专用数据解析。
如何删除空行但不修整其他行?
开启删除空条目,关闭首尾修整。只有空白的项仍删除,非空项外侧空格保留,除非其他所选操作改变它们。
如何把逗号改成换行?
普通列表用逗号输入和换行输出,清理前检查修整、空项、重复设置。带引号 CSV 需要专用解析器,因为引号内逗号在这里仍切分。
忽略大小写会改变输出吗?
不会把显示项转小写,只改变去重键和排序敏感性,保留首个清理后写法。这是语言小写比较,不是完整 Unicode 大小写折叠。
首尾修整与合并空白有何区别?
修整删除项边缘匹配空白。合并把 CR/LF 之外匹配空白段转一个 ASCII 空格,包括单个制表符或不换行空格。它们在删除和排序前执行。
为什么看似相同的行仍保留?
不同 Unicode 序列的字面或小写键可能不同。工具不规范化、不删除所有不可见字符、不去重音、不做模糊匹配,即使排序认为它们相等。
自定义分隔符能是正则表达式吗?
不能,它是 1 到 20 个 UTF-16 单元的准确字面字符串。.* 和输入的反斜杠 n 不是正则语法或解码的转义。
为什么清理输出超出上限?
最终大小含保留项文本和所有插入分隔符。长分隔符可能超过一百万 UTF-16 单元,工具拒绝结果;用短分隔符或小部分输入。
反转条目顺序会反转每个字符吗?
不会。按设置修整、删除空项、去重后反转保留列表,各项内部字符顺序不变。
结果条目数表示什么?
切分后的输入项与清理后的输出项。逗号或自定义方式一项可含物理换行,差值合计所有移除,不只统计重复。
文本会上传清理吗?
粘贴和读取文本在本地工作线程处理。网站仍有常规主机和分析请求,本地处理不表示匿名或零日志。
能在网站嵌入文本清理工具吗?
使用工作区下方本地化 HTML,保留可见 ToolMellow 反向链接,检查 iframe、脚本、工作线程支持。嵌入版同选项同限制,是交互工作区,不是远程 API。