[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
strong12345

Rank: 5Rank: 5

帖子
197 
积分
733 
技术
1  
捐助
0  
注册时间
2008-12-31 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2011-8-2 10:02 | 显示全部帖子

[文本处理] [已解決]批处理如何删除包含中文、乱码的重复行？

本帖最后由 strong12345 于 2011-8-3 09:34 编辑

论坛里有不少处理重复行的代码
效率高的大多用地其他第三方软件
但经我实际测试，似乎都无法支援包含中文的文档
请问 如何快速删除包含中文、各种乱码、甚至是日文韩文的重复行?
(ps)md的方法我实在是不太感尝试 =.=
1

评分人数

    • CrLf: 感谢给帖子标题标注[已解决]字样PB + 2
收藏 分享

strong12345

Rank: 5Rank: 5

帖子
197 
积分
733 
技术
1  
捐助
0  
注册时间
2008-12-31 
2楼
发表于 2011-8-2 11:44 | 显示全部帖子
我目前就是用这种方法
但是效率实在太低
也不能查询太长的文字

TOP

strong12345

Rank: 5Rank: 5

帖子
197 
积分
733 
技术
1  
捐助
0  
注册时间
2008-12-31 
3楼
发表于 2011-8-3 09:33 | 显示全部帖子 
  1. gawk "!a[$0]++"<a.txt>b.txt
复制代码
此代码可解决我的问题
感受到gawk的强大，真的要好好学习怎么使用他

TOP

返回列表