批处理如何把重复的行只保留一次？

ngd

a.txt内容如下：
123
456
789
123
123
789

获取重复的行，并且重复的行只保留一次，处理后得到b.txt内容如下：
123
789
————————————————————————

1. @echo off
   
2. for /f "delims=" %%i in (a.txt) do (
   
3.     set /a _%%i+=1
   
4. )
   
5. (for /f "tokens=1-2 delims=_=" %%i in ('set _') do (
   
6.     if %%j gtr 1 (
   
7.         echo,%%i
   
8.     )
   
9. ))>b.txt

复制代码

这段代码可以用，但是我没看懂，第二个for中 'set _' 单引号里面是命令，但如果单独执行 set_是执行不了的，求点拨

ivor

回复 1# ngd
set_  显示所有_开头的变量

set /a _%%i+=1  变量赋值前面带_，如果有重复的结果肯定大于1，就可以得出结果了

ngd

回复 3# ivor

set_  显示所有_开头的变量

原来还有这样的用法  顿悟 万分感谢！

/zhqsystem/zhq

for /f "delims=" %%i in ('type "%~f1"')do if not defined %%i (
set "%%i=y"
(echo,%%i)>>"%~dp1new_%~nx1"
)
有局限性谨慎使用

codegay

1. """
   
2. 获取重复的行并且重复的行只保留一次.py
   
3. http://bbs.bathome.net/thread-39502-1-1.html
   
4. 2016年2月28日 03:57:29 codegay
   
5. 通过help(list),可见python序列有count方法.
   
6. -_-基础教程应该有说到的，估计是学过就忘记了.
   
7. python3
   
8. """
   
9. #a.txt内容必须是任意但是有重复行的内容。
   
10. #我使用的是一列IP地址进行测试的.
    
11. with open("a.txt") as f:
    
12.     txt=f.readlines()
    
13. 
    
14. #方法一 集合解析,缺点集合无序，不会保持原来的先后顺序
    
15. results={r for r in txt if (txt.count(r) >= 2)}
    
16. print("一：",results)
    
17. 
    
18. #方法二 map filter lambda ,
    
19. b=[]
    
20. a=map(lambda y:b.append(y) if (y not in b) else None,filter(lambda x:(txt.count(x) >= 2),txt))
    
21. list(a)#python3中map等函数返回成生成器,需要list或者for 历遍到的时候才进行计算结果。
    
22. print("二:",b)
    
23. 
    
24. #方法三
    
25. l2=[r for r in txt if txt.count(r)>=2]
    
26. result3=[]
    
27. [result3.append(r) for r in l2 if r not in result3]
    
28. print("三:",result3)
    
29. 
    
30. #方法4 字典 不保持原先后顺序
    
31. dd={r:txt.count(r) for r in txt}
    
32. ll=[k for k,v in dd.items() if v>=2]
    
33. print("4",ll)
    

复制代码

ngd

回复 4# /zhqsystem/zhq


    局限性在哪？

/zhqsystem/zhq

回复 6# ngd
变量设置判断