[已解決]批处理如何删除包含中文、乱码的重复行？

strong12345 · 发表于 2011-8-2 10:02:22

本帖最后由 strong12345 于 2011-8-3 09:34 编辑

论坛里有不少处理重复行的代码
效率高的大多用地其他第三方软件
但经我实际测试，似乎都无法支援包含中文的文档
请问如何快速删除包含中文、各种乱码、甚至是日文韩文的重复行?
(ps)md的方法我实在是不太感尝试 =.=

lfoqtal · 发表于 2011-8-2 11:22:50

本帖最后由 lfoqtal 于 2011-8-2 11:24 编辑

试试用set /p p=<1.txt 方法读取再用findstr /c:"!p!" 2.txt的方法行不行？不过效率不高就是

strong12345 · 发表于 2011-8-2 11:44:32

我目前就是用这种方法
但是效率实在太低
也不能查询太长的文字

tmplinshi · 发表于 2011-8-2 12:09:50

批处理如何快速删除2800W行的txt文件里面的重复行？
http://bathome.net/redirect.php? ... 8&fromuid=33065

CUer · 发表于 2011-8-2 23:40:01

回复 1# strong12345

能否上传一个经你测试无法处理的文档、还有你测试的代码，让我试试？

strong12345 · 发表于 2011-8-3 09:33:55

复制代码

此代码可解决我的问题
感受到gawk的强大，真的要好好学习怎么使用他

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] [已解決]批处理如何删除包含中文、乱码的重复行？