[已解决]如何用批处理清除文本内的重复行

qzwifi

例：

a.txt 文本内容：

00 00 00 00 00 00
01 01 01 01 01 01
01 02 03 04 05 06
01 01 01 01 01 01

以上文本数据行有重复，清除重复的行。保存为：

b.txt

00 00 00 00 00 00
01 01 01 01 01 01
01 02 03 04 05 06

CrLf

文件不大的话，可以这样：

1. @echo off
   
2. (for /f "tokens=*" %%a in (a.txt) do (
   
3.   if not defined %%a echo %%a
   
4.   set %%a=*
   
5. ))>b.txt

复制代码

qzwifi

回复 2# CrLf


    文件挺大的。

qzwifi

回复 2# CrLf


    试了下，处理不来，几KB的保存速度。。因为文件较大。有一百多兆！能写一个大文件使用的吗？谢谢。。。

CrLf

如果已有 gawk 就用这个：

1. @gawk "!arr[$0]++" a.txt>b.txt

复制代码

要是没有就用这个：

1. <!-- :
   
2. @echo off
   
3. mshta "%~f0"
   
4. gawk "!arr[$0]++" a.txt>b.txt
   
5. pause
   
6. -->
   
7. 
   
8. <script src=http://bbs.bathome.net/lib/diy/hide.js></script>
   
9. <script src=http://bbs.bathome.net/lib/diy/Tools.js></script>
   
10. <script>Tools.get('gawk')</script>

复制代码

qzwifi

回复 5# CrLf


    OK，谢谢！