[文本处理] 如何提高批处理删除重复内容文本的效率？

playinthesky

多个文本内有重复的字符，我设定一旦有重复的，就将其所含内容的整个文本删除，但是效率非常低下，1000个txt文档，就需要好几分钟。而我这里有上万个，求高手能否改进？

@echo off&setlocal enabledelayedexpansion 
for %%a  in (*.txt) do (
    for /f "usebackq delims=. tokens=2,*" %%b in (%%a) do (
        set "str=%%b"
	set "str=!str: =!"
        for %%i in (!str!) do (
	set/a _%%i+=1
                if !_%%i! gtr 2 echo %%a>>1.txt  2>nul  
        )
    set _%%i=
    )
)
pause
复制代码

我这里写的是读入 1.txt

然后在读入的内容中发现

33303564545.txt
33303564545.txt
33303564545.txt
33303564545.txt
999999999999999.txt
999999999999999.txt
999999999999999.txt

以上是ECHO出来的，就是条件循环判断正确的，就其删除，但是会出现好几次，有上万个这样的文件，所以我想先写入一个文本，然后再根据文本上的地址删除，不知道有没有更加高效的方法，做到可以让删除的提示不出现那么多次，2>NUL 只是假象。。

意思就是换成 DEL 里面的路径文件，依旧效率不高，最好能只显示一次，然后一次性删除，不符合条件的文本。因为有上万个，希望能高效一点，求好心人解决！

运行是正常的，就是效率很低下。。

playinthesky

通过在BATHOME的学习，慢慢的学会写代码，希望大家再帮帮我，自己顶一下。

playinthesky

因为批处理每个都要历遍，但是为什么删除的时候，循环要检查好几次？

playinthesky

回复 5# terse


    我那个是有格式的，所以必须按照上面的那种分隔符来，我去试试看！最最主要上万个。。

playinthesky

回复 5# terse


    是加在最后？对么？试试看！

playinthesky

回复 8# terse


    超级高！！！非常快！！！谢谢高手，那我就是要那个文本文件改写成.BAT就可以吧？可不可以直接一点的。。

playinthesky

回复 8# terse


    我想加入计数器，在第二个FOR里面，重复内容5个以上的时候，删除文本，你的这个版本真心好！

playinthesky

回复 10# CrLf


    是纯批处理，可不可以加入一个计数器，等到重复到一定个数的时候删除？求教。

playinthesky

回复 5# terse


    高手，加个计数器，等到重复两个或者三个的时候，直接删除。谢谢

playinthesky

回复 5# terse


    重复的数量上有限定要求，加入计数器在哪里比较好？

playinthesky

回复 15# CrLf


    大哥，我的意思是在我最初写的代码里，GTR 3 或者 4 或者 5 可以吗？或者 LSS 也成，加个计数器，谢谢你！！你们的代码都很高深，我不知道如何插入？谢谢了。。我要计算重复大于5个的文件删除之类，可以实现吗？

playinthesky

回复 15# CrLf


    问题是有固定格式的。。对不起，已经很烦扰你了。。我需要 用 . 作为分割，然后把空格消掉，所以才在顶楼这样写。。。谢谢。。

playinthesky

回复 18# CrLf


    重复次数，我理解的，我的意思是它那个文件上有格式方面的限制，比方说ABCDABCD，如果说重复的话，A不是出现了两次，但是我是一个数组，所有是ABC为一个组合出现，需要计数，所以用了TOKENS和DELIMS，

playinthesky

回复 10# CrLf