批处理怎么对比文件夹下包括子目录下的文件相同的判断，MD5值？

649918043 · 发表于 2014-8-23 21:21:46

本帖最后由 649918043 于 2014-8-23 23:41 编辑

问下怎么对比文件夹下包括子目录下的文件相同的判断，最好以MD5值来判断，他们有的文件名不一样，

还有个问题就是某文件夹下包括子目录的文件，，TXT怎么整理重复行，我用gawk.exe第三方最多只可整理600MB的文本重复行，请教下这样的情况用什么，因该怎么写

这个批处怎么写，麻烦给个例子

DAIC · 发表于 2014-8-23 22:52:15

整理重复是什么意思？
请给出原始文本内容、你希望得到的结果、你现在的gawk完整命令

649918043 · 发表于 2014-8-23 22:58:15

重复行~~~~~~~~~~~~

649918043 · 发表于 2014-8-23 22:59:17

整理重复行的意思

649918043 · 发表于 2014-8-23 23:11:43

gawk "!a[$0]++"<888.txt>1.txt
只可以整理重复行最多500MB多不到600

CrLf · 发表于 2014-8-24 22:48:31

用 md5 的话，可以这样：

hash /s /f /d:"你的路径" /format:"%s|%s|%s\r\n",md5,attrib,string *.txt | sort

复制代码

然后判断相邻行是否重复就行
使用第三方工具 hash.exe，下载地址：http://bbs.bathome.net/thread-30609-1-1.html

649918043 · 发表于 2014-8-25 12:30:48

回复 6# CrLf

麻烦解释下好吗？？？运行了，，一直没反映，，

CrLf · 发表于 2014-8-25 15:30:05

回复 7# 649918043

hash /s /f /d:"你的路径" /format:"%s|%s|%s\r\n",md5,attrib,string *.txt
将 "你的路径" 和其子目录下所有 txt 文件逐行读入，输出 md5值|来源文件|当前行内容
把这句的输出用 sort 排序后，可以直接判断相邻行的 md5 值是否相同来找出相同行

649918043 · 发表于 2014-8-28 14:48:27

回复 8# CrLf 3

运行不了提示好象要输入一个最大值，，，好象是输出的什么最大值，，怎么写成或者TXT 这个因该怎么写

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文件操作] 批处理怎么对比文件夹下包括子目录下的文件相同的判断，MD5值？