[文件操作] [已解决]批处理能否实现删除重复图片

a475012621

首先我有一个大的文件夹，然后里面有很多个子文件夹，然后子文件夹里面有很多照片

，然后每一个单独的子文件夹里有很多重复的照片，但是名字不同

，然后还有就是有可能在其他子文件夹中也会存在其他文件夹里的相同的照片

，现在我最终的诉求是想要每个子文件夹里单独查重就行了，然后完全重复的把它直接删掉，然后我不需要进行全文件夹都去比对，我只需要每一个子文件夹去单独和自己文件夹内的图片进行比对就行了，可以有办法实现吗？求集思广益写个代码~~~

aloha20200628

如此设置 findstr 的匹配参数，还为防止目标文件名出现 “e3 b4 a5.jpg” 的特殊情况...

certutil -hashfile "1.jpg" md5 | findstr /rbc:"[0-9a-z][0-9a-z] "
复制代码

a475012621

回复 41# wanghan519


    谢谢，费心了，应该没问题了

wanghan519

回复 34# a475012621


    修改了一下powershell代码，一会再试试先比较大小，再算md5，以加快速度

cd 测试
$d=@{};dir -File -Recurse | sort -Descending | % {$m=$_.DirectoryName+"\"+(Get-FileHash $_.FullName -Algorithm MD5).Hash;if($d.ContainsKey($m)){rm $_.FullName}else{$d.Add($m,1)}}
复制代码

Five66

回复 39# 77七

findstr /e "[0-9a-z]" 也能过滤，不过还得处理空格

77七

回复 38# Five66


  
改为find /v ":"，过滤，可能更好，看了好几个帖子，都用的findstr

Five66

回复 37# 77七

不是0字节文件，不知道是不是是系统问题，我这里（不是win10系统）输出的md5好像是带有空格的：
输出是这样的：
MD5 hash of file 33.jpg:
71 51 39 e0 db b7 2e f2 89 ce 4a 3c 02 92 7b 50
CertUtil: -hashfile command completed successfully.

77七

回复 36# Five66


   0字节文件好像不能获取md5

Five66

回复 32# 77七

不知为啥，我这边运行时，第7行for in里面那句certutil -hashfile "%%a" MD5 ^| findstr /v "[^0-9a-z]" 结果总是空的

a475012621

回复 32# 77七


    感谢，可以了

a475012621

回复 29# wanghan519


    链接：https://pan.baidu.com/s/1NK6rIHtoy1QLbsnoMYTRyw?pwd=ixl0
提取码：ixl0
--来自百度网盘超级会员V2的分享

aloha20200628

对图片/音频/视频去重是个常用操作，尤其是用文件的哈希值（md5）比对去重是个比较高效的方法，但用批处理脚本实现，至少有两个很有用的经验可供参考》
一。应该先对目标目录中的文件按尺寸排序，以便能够忽略其中大部分尺寸相异者，若舍此而去遍历每个文件计算其哈希值，当文件量过千后就有些难受了。例如，5000个文件去重了10个，即可估算前后两种方法所需哈希值计算量的效率之差了。
二。采用纯P的“字典”数据表来对应所有处理对象，比折腾外部数据交换的效率高很多，但会受限于CMD的8k个变量总空间，也就是处理对象/文件数量不要超过此限。好在个人家用较少有单个目录文件量超过此限，因此，单个目录的文件去重，对于纯P是可以驾驭的。

77七

回复 31# buyiyang


   谢谢大佬指点！重新写了一个。

@echo off
rem http://bbs.bathome.net/redirect.php?goto=findpost&ptid=53343&pid=221896
for /r /d %%d in (*) do (
	pushd "%%d"
	setlocal
	for %%a in (*.jpg) do (
		for /f %%i in ('certutil -hashfile "%%a" MD5 ^| findstr /v "[^0-9a-z]"') do (
			if defined _"%%i" (
				del "%%a"
			) else (
				set _"%%i"=1
			)
		)
	)
	endlocal
	popd
)
pause
复制代码

buyiyang

回复 30# 77七


    用自带的certutil就可以计算各类哈希值

77七

也可以使用第三方工具获取MD5

http://bcn.bathome.net/tool/fourmilab,2.0/md5.exe
复制代码

@echo off
for /r /d %%d in (*) do (
	pushd "%%d"
	setlocal
	for /f "tokens=1*" %%a in ('"%~dp0md5.exe" *.jpg') do (
		if defined _"%%a" (
			del "%%b"
		) else (
			set _"%%a"=1
		)
	)
	endlocal
	popd
)
pause
复制代码