[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
strong12345

Rank: 5Rank: 5

帖子
197 
积分
733 
技术
1  
捐助
0  
注册时间
2008-12-31 
1楼 跳转到 » 正序看帖
打印
tT
发表于 2011-8-2 10:02 | 只看该作者

[文本处理] [已解決]批处理如何删除包含中文、乱码的重复行？

本帖最后由 strong12345 于 2011-8-3 09:34 编辑

论坛里有不少处理重复行的代码
效率高的大多用地其他第三方软件
但经我实际测试，似乎都无法支援包含中文的文档
请问 如何快速删除包含中文、各种乱码、甚至是日文韩文的重复行?
(ps)md的方法我实在是不太感尝试 =.=
1

评分人数

    • CrLf: 感谢给帖子标题标注[已解决]字样PB + 2
收藏 分享

strong12345

Rank: 5Rank: 5

帖子
197 
积分
733 
技术
1  
捐助
0  
注册时间
2008-12-31 
6楼
发表于 2011-8-3 09:33 | 只看该作者 
  1. gawk "!a[$0]++"<a.txt>b.txt
复制代码
此代码可解决我的问题
感受到gawk的强大，真的要好好学习怎么使用他

TOP

CUer

Rank: 5Rank: 5

帖子
522 
积分
1037 
技术
61  
捐助
0  
注册时间
2010-4-30 
5楼
发表于 2011-8-2 23:40 | 只看该作者
回复 1# strong12345


能否上传一个经你测试无法处理的文档、还有你测试的代码，让我试试？

TOP

tmplinshi

Rank: 7Rank: 7Rank: 7

帖子
1023 
积分
3120 
技术
230  
捐助
160  
注册时间
2010-12-22 
4楼
发表于 2011-8-2 12:09 | 只看该作者
批处理如何快速删除2800W行的txt文件里面的重复行？
http://bathome.net/redirect.php? ... 8&fromuid=33065

TOP

strong12345

Rank: 5Rank: 5

帖子
197 
积分
733 
技术
1  
捐助
0  
注册时间
2008-12-31 
3楼
发表于 2011-8-2 11:44 | 只看该作者
我目前就是用这种方法
但是效率实在太低
也不能查询太长的文字

TOP

lfoqtal

Rank: 2

帖子
63 
积分
112 
技术
5  
捐助
0  
注册时间
2011-7-29 
2楼
发表于 2011-8-2 11:22 | 只看该作者
本帖最后由 lfoqtal 于 2011-8-2 11:24 编辑

试试用set /p p=<1.txt 方法读取再用findstr /c:"!p!" 2.txt的方法行不行？不过效率不高就是
1

评分人数

    • CrLf: 乐于助人PB + 2
通用简洁实用就是批处理精神

TOP

返回列表