文本

文本去重排序指南:删除重复项、排序与更换分隔符

·

文本清理工具按所选选项把粘贴的列表整理得更易使用。ToolMellow 可去掉条目首尾空白、合并空白、删除空项或重复项、自然排序或反转保留条目。设置“输入分隔符”和“输出分隔符”,检查复选框后点击“清理文本”。处理在本地浏览器工作线程中运行。

默认去掉各条目首尾空白、删除空项和完全相同的重复项,保留原顺序。匹配仍区分大小写;“合并连续空白”和“忽略大小写”初始关闭。本指南解释处理顺序和可复现示例,区分字面列表整理与 CSV 解析、Unicode 规范化或文章改写。

文本去重排序

如何整理列表并保留原始数据

粘贴列表或打开本地文本文件。“文本语言”决定语言相关比较,再选择输入、输出分隔符。两者默认“换行”,“排列顺序”默认“保持原顺序”。文本语言初始跟随网站语言,可选全部十一种语言;它控制比较,不翻译文本。

点击“清理文本”前确认需要的变化。“复制结果”和“下载”处理完成的结果;“将结果用作输入”主动把编辑器内容替换为结果。修改输入或清理选项会使旧结果失效,仅输入文字不会清理。“自动换行”只改变显示。

  • 若空白、重复次数或顺序有意义,单独保存原文。
  • 先用含边界情况的小样本检查结果,再把同样设置用于整份列表。
  • 替换其他系统数据前比较保留写法和条目数;工具不验证该系统标识符或业务规则。

换行、逗号、制表符与自定义分隔符

输入分隔符确定条目边界。“换行”接受 CRLF、CR、LF;对应输出用 LF 连接。逗号、分号、制表符按所选字面字符切分。自定义使用输入的准确字符串,长度 1 到 20 个 UTF-16 代码单元。匹配区分大小写,多字符分隔符作为整体匹配。

开头、相邻和末尾分隔符产生空项,可用“删除空条目”移除。保留的末尾空项可能使连接结果以分隔符结束。.* 是普通文本;在自定义字段输入 \n 提供反斜杠和 n,不是解码后的换行。要切分真实行尾请选择“换行”。

换行、逗号、制表符与自定义分隔符
分隔选项输入行为输出行为
换行CRLF、CR 或 LF 切分条目用 LF 连接保留项
逗号按 , 切分用 , 连接
分号按 ; 切分用 ; 连接
制表符按真实制表符切分用真实制表符连接
自定义按准确 1–20 单元字符串切分用准确 1–20 单元字符串连接

ECMAScript:字符串、切分、修整和大小写映射

清理流程及其顺序的意义

先切分输入,再按下表固定顺序执行选中的操作。修整或合并空白可能使原来不同的条目在去重前变得相同。去重保留首次出现的清理后写法,随后才排序或反转。屏幕上的复选框操作顺序不会改变流程。

完成操作后才插入输出分隔符。它可能增加空白或输出长度,字符不会再次清理。“反转条目顺序”反转保留列表,不反转条目内字符。这些操作不能重建删除的出现次数或原分隔符。

清理流程及其顺序的意义
阶段启用时的行为
切分按输入分隔符产生条目
去掉条目首尾空白删除每项边缘匹配空白
合并连续空白匹配的非 CR/LF 空白段转为一个 ASCII 空格
删除空条目移除修整后为空的条目
删除重复条目保留每个准确或语言小写键的首项
排列顺序保留、排序或反转留下的条目
连接先检查最终大小,再用所选输出分隔符连接

ECMAScript:字符串、切分、修整和大小写映射ECMAScript:稳定 Array.prototype.sort

完整示例:默认设置、大小写和顺序

准确输入为 apple\nbanana\napple\n\nBanana\nitem 10\nitem 2 。这里 \n 是真实换行的显示记法;请输入七个物理行,第四行为空。输入、输出都用换行时,默认清理产生五项,去掉首尾空白、空项和第二个完全相同的 apple,但保留 banana 与 Banana。

各表行都从同一原输入开始,不沿用上一行结果。排序示例把“文本语言”设为 English(英语)。开启“忽略大小写”移除后出现的 Banana,保留之前的 banana 写法。自然排序把 item 2 的数字段排在 item 10 前。

完整示例:默认设置、大小写和顺序
相对默认的设置转义显示记法输出输出项数
不改变设置apple\nbanana\nBanana\nitem 10\nitem 25
开启忽略大小写apple\nbanana\nitem 10\nitem 24
忽略大小写;升序(自然数字排序);Englishapple\nbanana\nitem 2\nitem 104
反转条目顺序;不忽略大小写item 2\nitem 10\nBanana\nbanana\napple5

ECMAScript 国际化:Collator 与 CompareStringsUnicode LDML:排序选项与数字顺序

首尾修整、合并空白与删除空项

“去掉条目首尾空白”按 JavaScript 空白规则处理边缘,不删除词语之间的空格。“合并连续空白”把匹配的一段换成一个 ASCII 空格,包括单个制表符或不换行空格。它排除 CR/LF,但其他匹配空白,例如 Unicode 行、段分隔符,可成为空格。范围比只改重复普通空格更广。

“删除空条目”检查修整后的值是否为空,即使首尾修整本身关闭。因此可删除只有空白的条目,同时保留非空条目的外侧空白。工具不是通用不可见字符删除器:零宽空格或 JavaScript 相应集合以外的字符可保留。对代码、签名或标识符不要盲目更改空白。

首尾修整、合并空白与删除空项
输入项所选变化结果
alpha 启用修整alpha
alpha\tbeta 含真实制表符一项内启用合并alpha beta
alpha 加一个只有空格的项关闭修整;开启删除空项保留 alpha 外侧空格,删除空项

ECMAScript:字符串、切分、修整和大小写映射

去重并保留首次写法

不忽略大小写时,键是前面空白操作后的准确字符串;开启时按文本语言将键转为小写,但显示条目不转小写。每个键的第一个清理后条目保留。关闭“删除重复条目”保留所有出现,即使开启忽略大小写。

输入 Apple\napple\nApple 默认保留 Apple\napple;开启忽略大小写只留 Apple。关闭修整时结尾空格可区分条目,开启合并时内部空白可能使键相同。这是字面条目去重,不查找段落各处重复单词,也不做记录模糊比较。

ECMAScript:字符串、切分、修整和大小写映射ECMAScript 国际化:Collator 与 CompareStrings

为什么看似相同的行仍不同

Unicode 可用不同序列表示相似外观。例如单字符 é 与 e 加组合重音(Unicode 转义记法 e\u0301)可有不同去重键。工具不执行 NFC、NFD、NFKC 或 NFKD 规范化。排序中的规范等价不会悄悄规范化存储条目。

忽略大小写使用语言相关小写键,不是完整 Unicode 大小写折叠、去重音、转写或形似字符检测。并非所有看似相同的写法都会相等;例如仅转小写不会合并 ß 和 ss。其他系统需要规范化标识符时,应按其明确政策另行检查变化。

ECMAScript:字符串、切分、修整和大小写映射ECMAScript 国际化:Collator 与 CompareStringsUnicode 标准附录 #15:Unicode 规范化形式

自然排序、所选语言与稳定相等项

升序和降序使用文本语言的浏览器 Intl.Collator,开启数字比较。数字段让 item2 排在 item10 前。这不是数值解析器,不保证带符号小数、货币、日期、IP 地址或软件版本的算术顺序。它们有特定意义时,使用接收系统要求的排序规则。

忽略大小写开启时排序区分重音但不区分大小写;否则区分变体。浏览器语言数据和版本会影响顺序。不同字符串(包括规范等价形式)可能比较相等,去重却仍分开保留。稳定排序保留相等项进入排序时的顺序,因此降序不必反转所有相等项内部次序;反转列表是另一种操作。

自然排序、所选语言与稳定相等项
排列顺序对保留列表的作用
保持原顺序保留清理后剩余顺序
升序(自然数字排序)升序语言比较和数字段排序
降序(自然数字排序)降序比较;相等项保留原进入顺序
反转条目顺序反转位置,不比较条目文字

ECMAScript 国际化:Collator 与 CompareStringsUnicode LDML:排序选项与数字顺序ECMAScript:稳定 Array.prototype.sort

转换普通逗号列表;带引号记录需要 CSV 解析器

对 red, blue,red 之类简单列表,选择逗号输入、换行输出,以及默认修整和去重。结果 red\nblue 表示两行。同样可以把分号、制表符或自定义普通列表换成其他分隔方式。

带引号 CSV 是另一种格式。"a,b",c 按字面逗号切成三项,引号不保护内部逗号。逗号输出也不会对条目已有的逗号、引号或内嵌换行做 CSV 引用、转义。应先用了解 CSV 的流程解析结构记录,再把字段当简单列表。

  • 选择逗号前检查引号内分隔符或多行字段。
  • 自定义输入真实分隔符如 ||,不要当正则表达式模式。
  • 写入数据文件前检查接收格式的转义要求。

ECMAScript:字符串、切分、修整和大小写映射

输入、输出扩张与分隔符长度

输入和输出各最多 1000000 个 UTF-16 代码单元。一个单元不一定是一个可见字符;表情或组合字素可能占多个单元。自定义输入和输出分隔符各为 1–20 单元。文本文件须严格小于 4000000 字节,解码后的文本另须符合输入上限。

连接前先计算保留条目长度及它们之间输出分隔符的长度。超过上限时拒绝结果,不截断。长自定义输出分隔符可能让短分隔符输入变长,即使删掉一些条目。选择短分隔符或较小的原文部分,同时保留列表所需含义。

输入、输出扩张与分隔符长度
边界测量内容
输入、输出最多 1000000各文本的 UTF-16 代码单元
自定义分隔符 1–20UTF-16 单元,不是字素簇
文本文件小于 4000000解码前字节数;等于此大小会拒绝

ECMAScript:字符串、切分、修整和大小写映射W3C File API:读取 Blob 文本

理解条目数与完成的空结果

结果提示报告切分输入项和保留输出项。逗号、制表符或自定义输入时不一定是物理行:一项可以含换行。差值合计空项和重复项的移除,不是只统计重复。输出字节标记计算 UTF-8 文本,不是 UTF-16 上限或条目数。

空或只有空白的编辑器禁用“清理文本”。非空白输入仍可清理为空:例如 ,, 用逗号输入并开启删除空项,得到三个输入空项和零输出项。成功空结果后可复制、下载;它不同于错误或设置变化后没有结果。

文本文件、下载与再次使用结果

File.text() 按 UTF-8 读取文件,移除开头 BOM,畸形 UTF-8 可成为替换字符;浏览器编辑可影响行尾。这不是编码检测器或保留字节的二进制文件转换。清理前检查导入内容,尤其旧编码或空白有意义时。

下载保存 UTF-8 纯文本 toolmellow-result.txt。允许时复制结果使用剪贴板,不可用时可手动复制。将结果用作输入主动替换编辑器,用于第二次处理,不是自动串联。撤销、重做处理编辑器历史,不恢复所有清理选项,也不能从已导出清理文件恢复原文。

W3C File API:读取 Blob 文本WHATWG Encoding:UTF-8 解码与替换

清空、本地处理与常规网站请求

“清空”移除输入、结果、错误、查找替换内容和历史,保留文本语言、分隔符、排列顺序、清理复选框和自动换行。下载文件与剪贴板不属此操作。关闭或刷新丢弃内存状态;清空不保证彻底移除可恢复痕迹。

清理在本地工作线程中运行,不把粘贴文本或文件内容上传给清理服务器。可以取消任务;取消或超时会终止工作线程。加载公开站点仍发送常规主机元数据与 Google Analytics 访问请求。本地处理不证明匿名或网络零日志。

WHATWG HTML:工作线程与生命周期

嵌入清理工具并保留 ToolMellow 反向链接

选择网站语言,在工作区下方集成部分复制或下载 HTML 代码,粘贴到允许 iframe 和尺寸脚本的页面或平台。保留对应语言 ToolMellow 工具页的可见反向链接,链接带 nofollow 和 noopener。

在窄屏检查嵌入版,确认宿主允许工作线程和所需剪贴板交互。它有相同交互选项、限制和本地处理。高度消息帮助调整 iframe,不是把文本发给自动清理服务的 API。

常见问题

如何整理文本列表?

粘贴或打开文本,选文本语言和输入输出分隔符,检查清理与排列顺序,再点击清理文本。默认修整边缘、删除空项和准确重复,保留原顺序。

如何删除重复行?

换行输入并启用删除重复条目。匹配用之前空白处理后的项,保留首个写法;忽略大小写按所选语言生成小写键。

如何按自然数字顺序排序文本?

选择升序(自然数字排序)和所需文本语言。数字段把 item2 排在 item10 前,不把带符号小数、日期、地址或版本当专用数据解析。

如何删除空行但不修整其他行?

开启删除空条目,关闭首尾修整。只有空白的项仍删除,非空项外侧空格保留,除非其他所选操作改变它们。

如何把逗号改成换行?

普通列表用逗号输入和换行输出,清理前检查修整、空项、重复设置。带引号 CSV 需要专用解析器,因为引号内逗号在这里仍切分。

忽略大小写会改变输出吗?

不会把显示项转小写,只改变去重键和排序敏感性,保留首个清理后写法。这是语言小写比较,不是完整 Unicode 大小写折叠。

首尾修整与合并空白有何区别?

修整删除项边缘匹配空白。合并把 CR/LF 之外匹配空白段转一个 ASCII 空格,包括单个制表符或不换行空格。它们在删除和排序前执行。

为什么看似相同的行仍保留?

不同 Unicode 序列的字面或小写键可能不同。工具不规范化、不删除所有不可见字符、不去重音、不做模糊匹配,即使排序认为它们相等。

自定义分隔符能是正则表达式吗?

不能,它是 1 到 20 个 UTF-16 单元的准确字面字符串。.* 和输入的反斜杠 n 不是正则语法或解码的转义。

为什么清理输出超出上限?

最终大小含保留项文本和所有插入分隔符。长分隔符可能超过一百万 UTF-16 单元,工具拒绝结果;用短分隔符或小部分输入。

反转条目顺序会反转每个字符吗?

不会。按设置修整、删除空项、去重后反转保留列表,各项内部字符顺序不变。

结果条目数表示什么?

切分后的输入项与清理后的输出项。逗号或自定义方式一项可含物理换行,差值合计所有移除,不只统计重复。

文本会上传清理吗?

粘贴和读取文本在本地工作线程处理。网站仍有常规主机和分析请求,本地处理不表示匿名或零日志。

能在网站嵌入文本清理工具吗?

使用工作区下方本地化 HTML,保留可见 ToolMellow 反向链接,检查 iframe、脚本、工作线程支持。嵌入版同选项同限制,是交互工作区,不是远程 API。

来源与延伸阅读

动手试试。

相关指南