[文本处理] 批处理怎样提取一个文本内容里的不重复行并输出？

wh1234567

批处理提取一个文本内容里的不重复行并输出，如何实现？
我有一个文本，里面有好多行，要求提取不重复的行，例如
原文本1：
4344
你1好11
4334
222
你1好
4535
不过
天天4
4334
不过
你1好11
处理后并输出的文本2为：
4344
222
你1好
4535
天天4

ghl621

看看学习！学习！

ghl621

看看学习！学习！

wh1234567

23# batman

处理速度很快，但就是处理后多出了一行

abcdshenji

@echo off
(for /f "delims= eol=" %%i in ('"type 1.txt|findstr ".*""') do (
	if not defined %%i (echo;%%i) else call,set "#=%%#%%%%i "
	set "%%i=0"
))>#
findstr /v /i "%#%" #>2.txt&del #
复制代码

batman

vbs的，应该很通用了：

Set fso = CreateObject("scripting.filesystemobject")
vbstr = fso.OpenTextFile("a.txt").ReadAll()
arr = Split(vbstr, vbCrLf)
For Each str In arr
  If InStr(vbout, str) = 0 Then
    vbout = vbout & str & vbCrLf
    Else
    vbout = Replace(vbout, str, "$@#^&><")
  End If
Next
fso.OpenTextFile("b.txt", 2, True).Write Replace(vbout, "$@#^&><" & vbCrLf, "")
MsgBox "ok"
复制代码

batman

@echo off&setlocal enabledelayedexpansion
rem 每行字符间不能有空格,;><&tab以及成对的!字符
set "str= "
for /f "delims=" %%a in (a.txt) do (  
  if "!str: %%a =!" neq "!str!" (
    set "str=!str: %%a =!"
    ) else (
    set "str=!str! %%a "
  )
)   
(for %%a in (%str%) do echo %%a)>b.txt
start b.txt
复制代码

batman

还是一个不通用的解：

@echo off
for /f "delims=" %%a in (a.txt) do set /a "_%%a+=1"
(for /f "tokens=1,2 delims==_" %%a in ('set _') do if %%b equ 1 echo %%a)>b.txt
start b.txt
复制代码

wh1234567

19# batman

回复版主，不是去除重复行，而是要提取不同的行，也就是将包含有重复的行全部去掉，剩下的就是没有重复过的行了，希望帮忙

例如：原文本1：
12
13
22
你好3？
13
12
处理后并输出的文本内容就是：
22
你好3？

batman

楼主自己对着改：

@echo off
(for /f "delims=" %%a in (a.txt) do if not defined "%%a" echo %%a&set ""%%a"=a")>b.txt
start b.txt
复制代码

Batcher

17# wh1234567


能否学习一下怎样使用code标签？
http://bbs.bathome.net/thread-3473-1-1.html

wh1234567

请高手帮我优化一下，我弄得这个批处理太慢
@echo off
setlocal enabledelayedexpansion
set a=0
echo                   过滤文本重复行只提取不相同行
echo.
set /p wb=输入要处理的文件名：
set /p wb1=输入要保存的文件名：
set wb=%wb:"=%
set wb1=%wb1:"=%

for /f "delims=" %%i in ('type "%wb%"') do (
set a=0
for /f "delims=" %%j in ('type "%wb%"') do if "%%i" == "%%j" (set /a a+=1)
if "!a!" leq "1" echo %%i>>"%wb1%".txt
)
echo                     处理完成
ping /n 2 127.0.1 >nul
goto :eof

wh1234567

13# chenqldiy

你这是干啥的批处理？我有点看不懂

wh1234567

14# Batcher

用第三方命令有利有弊：可能快速准确处理，但不方便使用，例如不可能每台电脑上都有这个程序还得另外下载，所以能弄成不是第三方的批处理就好了

Batcher

8# wh1234567


可以下载：
http://bbs.bathome.net/thread-3981-1-1.html