批处理之家 - Powered by Discuz! Board

标题: [文本处理] [已解决]批处理怎样txt文本去重？ [打印本页]

作者: sunflowerr_88 时间: 2010-12-25 16:15 标题: [已解决]批处理怎样txt文本去重？

原txt文本文件内容：
123456
123456
1234567
123456
12345678
12345678
。。。。
希望处理后得到的内容：
123456
1234567
12345678
。。。。。
即：将二个及二个以上内容一样的行合并成一个（去除重复的）
谢谢！

[ 本帖最后由 sunflowerr_88 于 2011-1-27 03:07 编辑 ]

作者: Batcher 时间: 2010-12-25 16:23

批处理去除超大文本中的重复行
http://www.bathome.net/thread-4690-1-1.html

作者: sunflowerr_88 时间: 2010-12-25 16:40 标题: 回复 2楼的帖子

我是菜鸟，刚看了给出的帖子，我没这么多要求，只要去重就行了。还有，搜索相关关键词，总是搜不到啊，直接给个代码吧，谢谢

作者: andyrave 时间: 2010-12-25 17:21

对付简单点没有特殊符号的这个批处理能用

复杂点的用第三方工具 SED

@ECHO OFF 
FOR /F "TOKENS=* DELIMS=" %%I IN (A.TXT) DO ( 
IF NOT DEFINED "_%%~NI" ( 
SET "_%%~NI=M" & ECHO/%%~NI 
) ELSE ( 
SET "_%%~NI=_%%~NI" 
)
)
PAUSE>NUL
复制代码

作者: hanyeguxing 时间: 2010-12-25 17:27

@echo off
(for /f "delims=" %%a in (1.txt) do (if not defined #"%%a" echo %%a&set #"%%a"==)>1_.txt
复制代码

作者: sunflowerr_88 时间: 2010-12-25 19:35 标题: 回复 5楼的帖子

爱死这个论坛了，从来不知道这东西还能处理这么多复杂的问题呢！今后要多泡泡这论坛了，还请各位大仙不吝指教啊。。。。

作者: smith203 时间: 2012-3-26 11:47

对付简单点没有特殊符号的这个批处理能用

复杂点的用第三方工具 SED
andyrave 发表于 2010-12-25 17:21

这个我怎么不能用啊。

作者: find 时间: 2012-3-26 12:58

回复 7# smith203

因为你还没有下载sed.exe

欢迎光临批处理之家 (http://bbs.bathome.net/)