[文本处理] 批处理删除重复文件咋写？大小一样,名字相似这种

allen2023

如题，删除掉 重复存在的 带（1）的文件，批处理咋写
注意:有的带了（1），但并不重复，不要删除。

77七

del "*(1).pdf"
复制代码

allen2023

回复 2# 77七

一楼表达不严谨，抱歉。

个别 "*(1).pdf"，是独一份的，还不能删除。

豆包生成了个，80那里不会改。

for /r "%dir%" %%F in (*.*) do (
    set "file=%%~nF"
    set "size=%%~zF"
    rem 检查是否已经处理过这个大小的文件
    if defined sizes[!size!] (
        rem 检查文件名相似度
        set "similar=false"
        for %%A in (!sizes[!size!]!) do (
            if "!file!"=="%%~nA" (
                set "similar=true"
                goto :skip
            ) else (
                call :isSimilar "!file!" "%%~nA"
                if!similarity! geq 80 (
                    set "similar=true"
                    goto :skip
                )
            )
        )
        if!similar! equ false (
            set "sizes[!size!]=!sizes[!size!]! %%F"
        )
    ) else (
        set "sizes[!size!]=%%F"
    )
    :skip
)

rem 遍历所有大小分组，删除除第一个文件外的其他文件
for /f "tokens=2 delims==" %%A in ('set sizes[') do (
    set "count=0"
    for %%B in (%%A) do (
        if!count! equ 0 (
            set "firstFile=%%B"
        ) else (
            del "%%B"
        )
        set /a count+=1
    )
)

echo Done.
pause
goto :eof

:isSimilar
set "str1=%~1"
set "str2=%~2"
set "similarity=0"
for /l %%I in (1,1,20) do (
    set "char1=!str1:~%%I,1!"
    set "char2=!str2:~%%I,1!"
    if defined char1 if defined char2 (
        if "!char1!"=="!char2!" (
            set /a similarity+=5
        )
    ) else (
        goto :eof
    )
)
goto :eof
复制代码

77七

回复 3# allen2023

@echo off
cd /d "%~dp0"
for /f "delims=" %%i in ('dir /b /a-d *.pdf ^|findstr /vi "([0-9][0-9]*)\.pdf"') do (
	if exist "%%~ni(*).pdf" (
		del "%%~ni(*).pdf"
	)
)
pause
复制代码

aloha20200628

回复 3# allen2023

@echo off &for /f "delims=(" %%a in ('dir /b/a-d "*(1).pdf" ') do (
     if exist "%%a.pdf" del /q "%%a(1).pdf"
)
pause&exit/b
复制代码

qixiaobin0715

就楼主提供的样本来说，这样简简单单即可：

for %%i in (*.pdf) do if exist "%%~ni(*).pdf" del "%%~ni(*).pdf"
复制代码

allen2023

回复 4# 77七


这个或许能解决重复多次的，但有的带了括号但不重复是不能做删除操作的-即2楼补充表达的那个意思（不能伤及无辜 ）。
如果文件少，我一个个检查，改掉单独存在的括号文件，用这串代码即可。但多了，肯定是程序执行的更靠谱。

另外，这些文件是在局域网的硬盘里的。执行如下：

UNC 路径不受支持。默认值设为 Windows 目录。
'\\sy\Download\1~9年级典中点\9年级\'
CMD 不支持将 UNC 路径作为当前目录。
找不到文件
复制代码

再次对您表示感谢！

77七

回复 7# allen2023


   重新写了代码，调整了代码思路，去除文件末尾"(数字)"并改名，如果已经存在则直接覆盖。支持以下各种情况，支持末尾3位数字以内，支持子目录去重

苏教版.pdf
苏教版(1).pdf
苏教版(1)(1).pdf 执行两次即可
苏教版(2).pdf
苏教版（1）.pdf
苏教版(语文).pdf
苏教版(语文)(1).pdf
复制代码

此为测试版，测试正确，删除 move 前的 echo 再次执行

@echo off
rem 保存为ansi编码
set dirpath=\\sy\Download\
for /f "delims=" %%d in ('dir /b /s /ad "%dirpath%"') do (
	echo 目录[%%d]
	for /f "delims=" %%i in ('2^>nul dir /b /a-d "%%d\*.pdf" ^| findstr /rie /c:"([0-9][0-9]*)\.pdf" /c:"（[0-9][0-9]*）\.pdf"') do (
		set filename=%%~ni
		set filepath=%%d
		echo 文件[%%~nxi]
		setlocal enabledelayedexpansion
		for /l %%l in (1,1,5) do (
			if not defined mo (
				if "!filename:~-%%l,1!" equ "(" (
					echo move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
					set mo=1
				) else if "!filename:~-%%l,1!" equ "（" (
					echo move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
					set mo=1
				)
			)
		)
		endlocal
	)
)
pause
复制代码

allen2023

回复 8# 77七

很强大了。还差一个文件大小的判断，即名字虽相似但这两文件大小不一致不需要操作。

还有，这个代码好像只能操作到子文件夹，首层文件夹文件没得操作，我新建了个子文件夹测试了，已经很好了，这是我没考虑的意外收获，大佬出品的更通用，慢慢学习。

这是再次用ai生成的，始终无法达到要求。供借鉴，
提问词：有一批文件，要删掉其中大小一样 且以 "("+ 数字 +")"  结尾的重复文件，批处理咋写。

@echo off
setlocal enabledelayedexpansion

rem 设置要处理的目录
set "dir=C:\your_directory"

rem 创建临时文件用于存储要保留的文件路径
set "tempFile=temp.txt"

rem 遍历目录下的所有文件
for /r "%dir%" %%F in (*.*) do (
    set "fileName=%%~nF"
    set "fileSize=%%~zF"
    rem 判断文件名是否以“(数字)”结尾
    if "!fileName:~-2!"==")" (
        set "numStart=0"
        for /l %%i in (1,1,20) do (
            set "char=!fileName:~-%%i,1!"
            if "!char!" geq "0" if "!char!" leq "9" (
                set /a numStart=%%i
            ) else (
                goto endLoop
            )
        )
        :endLoop
        if "!fileName:~-numStart,1!"=="(" then (
            rem 查找是否有相同大小且相似文件名但不以“(数字)”结尾的文件
            set "baseFileName=!fileName:~0,-numStart)"
            for /r "%dir%" %%G in ("!baseFileName!*") do (
                if "%%~nG" neq "!fileName!" then (
                    set "otherSize=%%~zG"
                    if!fileSize! equ!otherSize! then (
                        rem 将不以“(数字)”结尾的文件路径写入临时文件
                        echo %%G>>"%tempFile%"
                        goto :nextFile
                    )
                )
            )
        )
    )
    :nextFile
)

rem 遍历临时文件，删除对应的重复文件
for /f "delims=" %%A in ('type "%tempFile%"') do (
    for /r "%dir%" %%B in ("*(!fileName:~-2!)*") do (
        if "%%B" neq "%%A" then (
            del "%%B"
        )
    )
)

del "%tempFile%"
echo Done.
pause
复制代码

77七

回复 9# allen2023


  

@echo off
rem 保存为ansi编码
set dirpath=\\sy\Download\
call :1 "%dirpath%"
for /f "delims=" %%d in ('dir /b /s /ad "%dirpath%"') do (
	call :1 "%%d"
)
pause
exit


	:1
	echo 目录[%~1]
	for /f "delims=" %%i in ('2^>nul dir /b /a-d "%~1\*.pdf" ^| findstr /rie /c:".([0-9][0-9]*)\.pdf" /c:".（[0-9][0-9]*）\.pdf"') do (
		set filename=%%~ni
		set filepath=%~1
		for /f "delims=" %%j in ("%~1\%%i") do (
			set filesize=%%~zj
		)
		echo 文件[%%~nxi]
		setlocal enabledelayedexpansion
		for /l %%l in (1,1,5) do (
			if not defined mo (
				set "str=#!filename:~-%%l,1!"
				set "str=!str:(=!"
				set "str=!str:（=!"
				if "!str!" equ "#" (
					for /f "delims=" %%j in ("!filepath!\!filename:~0,-%%l!%%~xi") do (
						if "%%~zj" equ "" (
							echo move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
						) else if "%%~zj" equ "!filesize!" (
							echo move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
						)
					)
					set mo=1
				)
			)
		)
		endlocal
	)
	exit /b
复制代码

0字节文件则覆盖，非0字节文件大小相同覆盖。

allen2023

回复 8# 77七

终于改的目的达成了。%f1!%取不到size，!f1!行了，绕了好久。
现只能操作指定路径下的子目录，本层目录还是没得法，这门学问不容易记忆啊

				if "!filename:~-%%l,1!" equ "(" (				
					set "f1=!filepath!\!filename!%%~xi"
					set "f0=!filepath!\!filename:~0,-%%l!%%~xi"
					for %%A in ("!f1!") do (set "f1Size=%%~zA")
					for %%A in ("!f0!") do (set "f0Size=%%~zA")
					if !f1Size! equ !f0Size! (del "!f1!")						
					REM move "!filepath!\!filename!%%~xi" "!filepath!\!filename:~0,-%%l!%%~xi"
					move "!f1!" "!f0!"
					set mo=1
				)
复制代码

allen2023

回复 10# 77七

11楼发完，才看到10楼的回复。感谢大佬的回复，该问题解决了

hfxiang

回复 1# allen2023

试试MD5码法，此方法与文件名是否相似无关

@echo off&cd /d "%~dp0"
rem 建议保存为ANSI编码格式
rem 功能：删除当前文件夹（不含子文件夹）中的pdf重复文件（删除前请备份原文档以防意外）
rem 方法：计算pdf文件MD5码，遇到后出现MD5码重复的文件将被直接删除（不提示，无回显，无法恢复）
setlocal enabledelayedexpansion
for /f "delims==" %%a in ('set exist_ 2^>nul') do set "%%a="
for %%a in (*.pdf) do (
	for /f "usebackq" %%z in (`certutil -hashfile "%%~a" MD5^|find /v ":"`) do set "MD5_32=%%z"
	if not defined exist_!MD5_32! (
		call set "exist_!MD5_32!=True"
	) else (
		del /f "%%~a"
	)
)
复制代码

czjt1234

回复 13# hfxiang


    这个好

allen2023

回复 13# hfxiang
测试了，方法确实好。
顺便发现个问题：即便是大小不一样的文件，md5也会一样，事实上确实还是同一本书(内容还不完全一致，如水印)，哪怕是内容有改动。
对md5刷新一下认知。

文件是夸克云盘下载的，客户端不知道为啥会重复下载，所以有个本贴，

文件有点大我上传一部分，选了8个pdf文件供大家研究这种问题
https://www.123684.com/s/Klhmjv-oVKd3?提取码:KrBv
其中：典中点一年级上册语文部编版​教师用书.pdf 两个重名的就是这种情况。

小记：批处理的路径特殊符号太难理解了，
9楼老师从外在路径上解决问题，速度快，想做出通用的，如后缀是“ - 副本”，弄了半天还是失败，见笑。
13楼md5是根本内在的解决，certutil -hashfile 命令 有点耗时，但精准，小问题是，会把带 “副本”“（1）”这种文件留下，删了文件名正常的。
由衷感谢两位大佬的不吝赐教~