跳转到主内容

重复行删除工具

删除文本中的重复行，只保留唯一行的免费在线工具。

⚙️ 选项

📝 输入文本

📊 统计

总行数0
唯一行数0
移除行数0

✨ 结果（唯一行）

删除重复行。使用"区分大小写"来区别大小写，使用"排序结果"按字母顺序排序。

主要功能​

  • 删除重复行：自动检测并删除相同内容的行
  • 区分大小写：可选择是否区分大小写
  • 排序选项：可按字母顺序对结果进行排序
  • 实时统计：显示总行数、唯一行数、删除的行数
  • 保持顺序：删除重复项的同时保持原始顺序（未使用排序时）

使用方法​

基本使用​

  1. 在输入区域输入文本（每行一个）
  2. 自动删除重复项并显示结果
  3. 点击"复制"按钮将结果复制到剪贴板

选项设置​

  • 区分大小写：选中时，"Apple"和"apple"视为不同
  • 排序输出：选中时，按字母顺序对结果排序

使用场景​

1. 整理邮件列表​

输入：
user1@example.com
user2@example.com
user1@example.com
user3@example.com

输出：
user1@example.com
user2@example.com
user3@example.com

2. 整理关键词列表​

在营销或 SEO 工作中删除重复的关键词。

输入：
react
javascript
react
vue
javascript
angular

输出：
react
javascript
vue
angular

3. 整理文件路径​

删除日志文件或脚本中的重复路径。

输入：
/home/user/docs
/home/user/downloads
/home/user/docs
/home/user/pictures

输出：
/home/user/docs
/home/user/downloads
/home/user/pictures

4. 数据清理​

删除 CSV 文件或数据库中的重复项。

选项详细说明​

区分大小写（Case Sensitive）​

未选中（默认）​

忽略大小写判断重复。

输入：
Apple
APPLE
apple
Banana

输出：
Apple
Banana

选中时​

区分大小写判断重复。

输入：
Apple
APPLE
apple
Banana

输出：
Apple
APPLE
apple
Banana

排序输出（Sort Output）​

未选中（默认）​

保持原始顺序（首次出现顺序）。

输入：
Zebra
Apple
Banana
Apple

输出：
Zebra
Apple
Banana

选中时​

按字母顺序对结果排序。

输入：
Zebra
Apple
Banana
Apple

输出：
Apple
Banana
Zebra

统计信息​

工具实时显示以下三个统计数据：

  • 总行数（Total Lines）：输入的总行数
  • 唯一行数（Unique Lines）：删除重复后剩余的行数
  • 删除的行数（Removed Lines）：删除的重复行数

实用技巧​

1. 处理 CSV 文件​

删除 CSV 文件特定列中的重复项时：

  1. 从 Excel 或电子表格中复制该列
  2. 粘贴到此工具中
  3. 删除重复项后再粘贴回去

2. 日志分析​

查找服务器日志中唯一的 IP 地址或用户时很有用。

3. 代码整理​

可用于删除 import 语句或依赖项列表中的重复项。

4. 大量数据处理​

可以快速处理数千行数据。

算法说明​

此工具使用 JavaScript 的 Set 数据结构高效地删除重复项：

const seen = new Set();
lines.forEach((line) => {
  const key = caseSensitive ? line : line.toLowerCase();
  if (!seen.has(key)) {
    seen.add(key);
    uniqueLines.push(line);
  }
});

时间复杂度：O(n) - 非常高效！

常见问题​

Q：如何处理空行？​

空行也作为普通行处理。如果有多个空行，只保留一个。

Q：前后空格会影响重复判断吗？​

是的。"Apple"和" Apple"（前面有空格）视为不同。要删除空格，请先使用空格删除工具。

Q：最多可以处理多少行？​

理论上没有限制，但取决于浏览器内存。通常可以轻松处理数万行。

Q：排序选项如何工作？​

使用 JavaScript 的 localeCompare 按自然字母顺序排序。中文也按拼音顺序排序。

相关工具​

性能​

  • 处理速度：1 秒内处理 1 万行
  • 内存效率：使用 Set 数据结构优化
  • 实时处理：输入即时显示结果

隐私保护​

此工具完全在客户端运行。输入的数据不会发送到服务器，仅在浏览器中处理。