Board logo

标题: [文本处理] [已解决]求助批处理如何实现文件查重复行? [打印本页]

作者: BingjianREMIX    时间: 2023-7-9 22:50     标题: [已解决]求助批处理如何实现文件查重复行?

本帖最后由 BingjianREMIX 于 2023-7-10 16:36 编辑

一个文件中有多行文本,不确定那一行与那一行相同,需要留下一行唯一的,直到文件中没有任何一行相同,这个脚本怎么搞,谢谢
作者: qixiaobin0715    时间: 2023-7-10 08:18

回复 1# BingjianREMIX
要善用搜索。
作者: hfxiang    时间: 2023-7-10 08:37

回复 1# BingjianREMIX
用第3方工具gawk( http://bcn.bathome.net/tool/4.1.0/gawk.exe )比较简单:
  1. gawk "!a[$0]++" a.txt>b.txt
复制代码

作者: Batcher    时间: 2023-7-10 12:01

回复 1# BingjianREMIX


http://bbs.bathome.net/thread-5219-1-1.html
http://bbs.bathome.net/thread-5509-1-1.html
http://bbs.bathome.net/thread-4690-1-1.html
http://bbs.bathome.net/thread-5326-1-1.html
http://bbs.bathome.net/thread-4896-1-1.html
作者: BingjianREMIX    时间: 2023-7-10 16:34

感谢大佬们,已经解决了
作者: BingjianREMIX    时间: 2023-7-10 16:39

那大佬们帮我看看,这到底什么问题http://bbs.bathome.net/thread-66756-1-1.html
作者: DAIC    时间: 2023-7-12 15:17

回复 1# BingjianREMIX


去重-V1.bat
  1. powershell "Get-Content 'Old.txt' | Sort -Unique" > "New.txt"
复制代码

作者: DAIC    时间: 2023-7-12 15:22

回复 1# BingjianREMIX


去重-V2.bat
  1. powershell "$MyHash = @{}; Get-Content 'Old.txt' | ForEach-Object{if(!$MyHash.ContainsKey($_)){$_; $MyHash.Add($_ , 1)}}" > "New.txt"
复制代码





欢迎光临 批处理之家 (http://bbs.bathome.net/) Powered by Discuz! 7.2