跳至主內容

重複項目移除工具

從文字中移除重複行，只保留唯一行的免費線上工具。

⚙️ 選項

📝 輸入文字

📊 統計

總行數0
唯一行數0
刪除行數0

✨ 結果（唯一行）

移除重複行。使用「區分大小寫」來區別大小寫，「排序結果」可以按字母順序排序。

主要功能​

  • 移除重複行：自動偵測並移除相同內容的行
  • 區分大小寫：可選擇是否區分大小寫
  • 排序選項：可按字母順序排序結果
  • 即時統計：顯示總行數、唯一行數、移除行數
  • 保持順序：移除重複項目時保持原始順序（未使用排序時）

使用方法​

基本使用​

  1. 在輸入區域輸入文字（每行一項）
  2. 重複項目將自動移除並顯示結果
  3. 點擊「複製」按鈕將結果複製到剪貼簿

選項設定​

  • 區分大小寫：勾選後「Apple」和「apple」會被視為不同項目
  • 排序輸出：勾選後結果會按字母順序排序

使用案例​

1. 整理電子郵件清單​

輸入：
user1@example.com
user2@example.com
user1@example.com
user3@example.com

輸出：
user1@example.com
user2@example.com
user3@example.com

2. 整理關鍵字清單​

在行銷或 SEO 工作中移除重複的關鍵字時非常有用。

輸入：
react
javascript
react
vue
javascript
angular

輸出：
react
javascript
vue
angular

3. 整理檔案路徑​

從日誌檔案或腳本中移除重複的路徑時使用。

輸入：
/home/user/docs
/home/user/downloads
/home/user/docs
/home/user/pictures

輸出：
/home/user/docs
/home/user/downloads
/home/user/pictures

4. 資料清理​

從 CSV 檔案或資料庫中移除重複項目時使用。

選項詳細說明​

區分大小寫（Case Sensitive）​

不勾選時（預設值）​

忽略大小寫判斷重複項目。

輸入：
Apple
APPLE
apple
Banana

輸出：
Apple
Banana

勾選時​

區分大小寫判斷重複項目。

輸入：
Apple
APPLE
apple
Banana

輸出：
Apple
APPLE
apple
Banana

排序輸出（Sort Output）​

不勾選時（預設值）​

保持原始順序（首次出現的順序）。

輸入：
Zebra
Apple
Banana
Apple

輸出：
Zebra
Apple
Banana

勾選時​

結果按字母順序排序。

輸入：
Zebra
Apple
Banana
Apple

輸出：
Apple
Banana
Zebra

統計資訊​

本工具即時顯示以下三個統計數據：

  • 總行數（Total Lines）：輸入的總行數
  • 唯一行數（Unique Lines）：移除重複後剩餘的行數
  • 移除行數（Removed Lines）：移除的重複行數

實用技巧​

1. 處理 CSV 檔案​

從 CSV 檔案的特定欄位移除重複項目時：

  1. 從 Excel 或試算表複製該欄位
  2. 貼到本工具中
  3. 移除重複後再貼回

2. 日誌分析​

從伺服器日誌中找出唯一的 IP 位址或使用者時非常有用。

3. 程式碼整理​

可用於移除 import 語句或相依性清單中的重複項目。

4. 大量資料處理​

可以快速處理數千行資料。

演算法說明​

本工具使用 JavaScript 的 Set 資料結構來高效移除重複項目：

const seen = new Set();
lines.forEach((line) => {
  const key = caseSensitive ? line : line.toLowerCase();
  if (!seen.has(key)) {
    seen.add(key);
    uniqueLines.push(line);
  }
});

時間複雜度：O(n) - 非常高效！

常見問題​

Q：如何處理空白行？​

空白行也會像一般行一樣處理。如果有多個空白行，只會保留一個。

Q：前後空格會影響重複判斷嗎？​

會。「Apple」和「 Apple」（前面有空格）會被視為不同項目。要移除空格，請先使用空格移除工具。

Q：最多可以處理多少行？​

理論上沒有限制，但取決於瀏覽器記憶體。一般來說，數萬行都可以正常處理。

Q：排序選項如何運作？​

使用 JavaScript 的 localeCompare 來以自然的字母順序排序。中文也會按筆畫或拼音排序。

相關工具​

效能​

  • 處理速度：1 秒內處理 1 萬行
  • 記憶體效率：使用 Set 資料結構最佳化
  • 即時處理：輸入後立即顯示結果

隱私保護​

本工具完全在客戶端運作。您輸入的資料不會傳送到伺服器，僅在瀏覽器中處理。