[文本处理] 如何提高批处理删除重复内容文本的效率？

playinthesky

多个文本内有重复的字符，我设定一旦有重复的，就将其所含内容的整个文本删除，但是效率非常低下，1000个txt文档，就需要好几分钟。而我这里有上万个，求高手能否改进？

@echo off&setlocal enabledelayedexpansion 
for %%a  in (*.txt) do (
    for /f "usebackq delims=. tokens=2,*" %%b in (%%a) do (
        set "str=%%b"
	set "str=!str: =!"
        for %%i in (!str!) do (
	set/a _%%i+=1
                if !_%%i! gtr 2 echo %%a>>1.txt  2>nul  
        )
    set _%%i=
    )
)
pause
复制代码

我这里写的是读入 1.txt

然后在读入的内容中发现

33303564545.txt
33303564545.txt
33303564545.txt
33303564545.txt
999999999999999.txt
999999999999999.txt
999999999999999.txt

以上是ECHO出来的，就是条件循环判断正确的，就其删除，但是会出现好几次，有上万个这样的文件，所以我想先写入一个文本，然后再根据文本上的地址删除，不知道有没有更加高效的方法，做到可以让删除的提示不出现那么多次，2>NUL 只是假象。。

意思就是换成 DEL 里面的路径文件，依旧效率不高，最好能只显示一次，然后一次性删除，不符合条件的文本。因为有上万个，希望能高效一点，求好心人解决！

运行是正常的，就是效率很低下。。

playinthesky

通过在BATHOME的学习，慢慢的学会写代码，希望大家再帮帮我，自己顶一下。

playinthesky

因为批处理每个都要历遍，但是为什么删除的时候，循环要检查好几次？

wankoilz

这种情况，上万个文件用纯批来处理估计有点慢哦

terse

这样提高点不

@echo off&setlocal enabledelayedexpansion 
(for %%i in (*.txt) do (
    set "a="
    for /f "delims=" %%j in ('sort "%%i"') do (
        if not defined a (
           if "!str!" == "%%j" set a=a&echo del "%%i"
           set "str=%%j"
        )
    )
))>$.#
start "" "notepad" "$.#"
pause
复制代码

playinthesky

回复 5# terse


    我那个是有格式的，所以必须按照上面的那种分隔符来，我去试试看！最最主要上万个。。

playinthesky

回复 5# terse


    是加在最后？对么？试试看！

terse

回复  terse


    我那个是有格式的，所以必须按照上面的那种分隔符来，我去试试看！最最主要上万个。 ...
playinthesky 发表于 2013-3-11 23:35

有固定格式的话 把第二FOR 替换这样试

for /f "tokens=2 delims=." %%j ..........
复制代码

playinthesky

回复 8# terse


    超级高！！！非常快！！！谢谢高手，那我就是要那个文本文件改写成.BAT就可以吧？可不可以直接一点的。。

CrLf

纯批的话我会这样：

@echo off
findstr . *.txt|sort /o tmp.$
(for /f "tokens=1* delims=:" %%a ni (tmp.$) do (
   set "str=%%a"
   setlocal enabledelayedexpansion
   if !last!==!str! del "%%a"
   endlocal
   set last=%%a
)) 2>nul
pause
复制代码

playinthesky

回复 8# terse


    我想加入计数器，在第二个FOR里面，重复内容5个以上的时候，删除文本，你的这个版本真心好！

playinthesky

回复 10# CrLf


    是纯批处理，可不可以加入一个计数器，等到重复到一定个数的时候删除？求教。

playinthesky

回复 5# terse


    高手，加个计数器，等到重复两个或者三个的时候，直接删除。谢谢

playinthesky

回复 5# terse


    重复的数量上有限定要求，加入计数器在哪里比较好？

CrLf

文件又多又大的话，用 vbs 会快很多

Const [路径]="."       '这里设置路径
Const [重复次数]="1"   '代表重复达到多少次就删除
Set fso = CreateObject("scripting.filesystemobject")

For Each file In fso.GetFolder([路径]).Files
	If LCase(fso.GetExtensionName(file)) = "txt" Then
		If reTest(fso.OpenTextFile(file).ReadAll) Then
			file.Delete
		End If
	End If
Next

Function reTest(text)
	Set re = New RegExp
	re.Global = True
	re.Pattern = "\n(\S+)(?:(?:\n.*)?\n\1){" & [重复次数] & ",}\n"
	reTest = re.Test(vbCrLf & text & vbCrLf)
End Function
复制代码