[文本处理] 批处理对超大文本文件进行去重的问题

shenghuo

@echo off
for /f "delims=" %%i in (2.txt) do (
if not defined %%i set %%i=A & >>去重后.txt echo %%i)
使用这个批处理对不到500万行的文本跑了一晚上，才跑出不到40万行。有没有可能使用批处理对500完或2500万行的数据进行快速去重呢？使用editplus对400多W行的数据去重，跑了一上午了还没跑完。。。

大家有更高效的方法吗？

CrLf

下一个 gawk 第三方工具：

@gawk "!a[$0]++" a.txt>b.txt
复制代码

PowerShell

1你的大文本，能压缩发网盘么？
2网上有个软件，我不知原理和效果如何，推荐你试试，
-----------------------------------
下载地址：



精英txt文本整理工具箱v3.4

下载地址1：
http://pan.baidu.com/share/link? ... 7&uk=1563140309

产品价格: 免费

********************************


功能说明：
不到1秒内，轻松处理txt文件！
可以对文本文件，去重复行，相同行。给txt文件数据处理提供大量方便！！
该软件是免费软件，绿色，直接使用即可

shenghuo

回复 2# CrLf

多谢 CrLf

shenghuo

回复 3# PowerShell


    多谢版主，这个之前用过，处理小文本还可以

lxh623

EmEditor这个支持大文件。