[文本处理] [已解决]求助坛友：批处理删除文本重复行，区分字符大小写

881966

pfxk&*^wcp
eee?==？fff
eeee#########
h20132052@%
fdsg@$
i-ab.co
⑨
ga||game
-u0!JI.h9
""_St.w
//SeM***BW\
g272"|":|":l@785&^&&FG
c")
TheCollector"28hxmf62
7EJbfkctl40UTcbEsD5fyfPSZllW1kAsx7Qp5aN9pnsj2hbSRA4HR1NUVjSd8aYZqUfSkmeVZmR1P4SH07TsRj3LMkgrlC6dphIa4uCeRK8LGNNAwK0SIPVYK2FluEPbUV63GIc3sHS5f93oLumxgn2BRAFZJjz0QH5YbXmSNullvCDosW1aO64GBjyd4iMowzyPfsT3UAVzpo10ruNnWSno9zxoEhQHbBs7FLDIrvRhmbCY7sSaB8VYhyWxCfnuMdHI8r0eXC08BpbKXhRvyFBqk99PXjhKcdVPluCHo9FulP9SLlc9lO1nvzMBkq5oHoiPt5bPESlsT0JlICVzcI964Y2W0F8wP2lsj2vdZj5IA4dpUyJ4JkQEZ
[閾炬帴鐧诲綍鍚庡彲瑙乚
@銆佹彁鐞村瘎
ACG娓告垙寮
垙寮
acg鍜岃皭鍖?
鐪熻悵鑾夛紝鍌插▏鏁戜笘鐣?
e_e鈥樻鐏?
E涔﹀洯
垙寮

881966

http://www.bathome.net/thread-28482-1-1.html

代码

@echo off
(for /f "delims=" %%i in (a.txt) do (
    if not defined %%i (
        echo,%%i
        set %%i=1
    )
))>b.txtCOPY

一样不能区分大小写字符

77七

@echo off
cd.>b.txt
for /f "delims=" %%i in (a.txt) do (
	findstr /x "%%i" "b.txt">nul||echo %%i>>b.txt
)
pauseCOPY

1楼的代码 加个 /x 完全匹配，试试呢

terse

这样呢

@echo off&setlocal enableDelayedExpansion
(for /f "delims=" %%i in (a.txt) do (
    if not defined _"%%i" (
        echo,%%i
        set _"%%i"=%%i
    ) else if not "!_"%%i"!"  == "%%i"  echo %%i
))>b.txtCOPY

没测试

@echo off&setlocal enableDelayedExpansion
(for /f "delims=" %%i in (a.txt) do (
        if not "!_"%%i"!"  == "%%i"  echo %%i
        set _"%%i"=%%i
))>b.txtCOPY

qixiaobin0715

@echo off
setlocal enabledelayedexpansion
set /p str=<1.txt
(for /f "delims=" %%a in ('type 1.txt^|sort') do (
    if not "!str!"=="%%a" (
        echo,!str!
    )
    set str=%%a
)
echo,!str!)>2.txt
pauseCOPY

aloha20200628

文本行去重是个经典话题，中外论坛老帖多多，但比较精简的批处理版本至少有两个。

一》find版本，上式区分大小写，下式不区分大小写，不保留空行
cd.>out.txt &for /f "delims=" %%s in (in.txt) do (find "%%~s" out.txt>nul||echo,%%s>>out.txt)
cd.>out.txt &for /f "delims=" %%s in (in.txt) do (find /i "%%~s" out.txt>nul||echo,%%s>>out.txt)

二》awk版本，区分大小写，保留空行
awk.exe "!existLines[$0]++" in.txt>out.txt

二者的算法虽然类似，但运行效率有所差别，尤其是对大数据文件（成千上万行+）。
find版的for...in()还会限制每行读入字符量不超过8k。
顺便再重复一下：set/p的单次读入字符量不能超过1k。
至于awk处理大数据文件的能限，可请已知者加注...

aloha20200628

补遗》本帖采用 findstr 对付无空格数据，匹配参数 /x "%%~s" 即可，若是有空格数据，须用 /xc:"%%~s" 匹配参数式 》
cd.>out.txt &for /f "delims=" %%s in (in.txt) do (findstr /xc:"%%~s" out.txt>nul||echo,%%s>>out.txt)

881966

现在又发现问题，有特殊字符的文本不能处理，有的汉字处理完了是乱码，空行不能保留，文本行顺序与原先不符，再次求助坛友，谢谢


测试文本上传多次不成功，只能贴出文本敬请坛友测试，本帖的代码都试了，很难描述清楚，谢谢大家:handshake

cpfxk&*^wcp
eee?==？fff
eeee#########
h20132052@%
-u0!JI.h9
fdsg@$
i-ab.co

⑨
a||game

""_St.w
//SeM***BW\
g272"|":|":l@785&^&&FG
c")
TheCollector"28hxmf62
7EJbfkctl40UTcbEsD5fyfPSZllW1kAsx7Qp5aN9pnsj2hbSRA4HR1NUVjSd8aYZqUfSkmeVZmR1P4SH07TsRj3LMkgrlC6dphIa4uCeRK8LGNNAwK0SIPVYK2FluEPbUV63GIc3sHS5f93oLumxgn2BRAFZJjz0QH5YbXmSNullvCDosW1aO64GBjyd4iMowzyPfsT3UAVzpo10ruNnWSno9zxoEhQHbBs7FLDIrvRhmbCY7sSaB8VYhyWxCfnuMdHI8r0eXC08BpbKXhRvyFBqk99PXjhKcdVPluCHo9FulP9SLlc9lO1nvzMBkq5oHoiPt5bPESlsT0JlICVzcI964Y2W0F8wP2lsj2vdZj5IA4dpUyJ4JkQEZ

[閾炬帴鐧诲綍鍚庡彲瑙乚
@銆佹彁鐞村瘎
ACG娓告垙寮

77七

回复 8# 881966

把需要处理的文本 、使用的代码、 使用该代码遇到的问题，分开一一详细描述，不是更好能解决问题？

77七

@echo off
cd.>b.txt
for /f "delims=" %%i in ('type "a.txt" ^| findstr /n .*') do (
        set "str=%%i"
        setlocal enabledelayedexpansion
        set "str=!str:*:=!"
        if "!str!" equ "" (
                >>b.txt echo,!str!
        ) else (
                findstr /x "!str!" "b.txt">nul || (>>b.txt echo,!str!)
        )
        endlocal
)
pauseCOPY

试试这样满足要求吗，如果不行，上传一个样本，再修改。批处理和文本都保存为ansi编码格式，试试吧

fireye

dedup /T xxx.txt >out.txt
dedup工具去第三方下载即可，很方便 。

fireye

gawk64  "a[$0]++" a.txt>b.txt

881966

测试文本上传多次不成功，只能贴出文本敬请坛友测试，本帖的代码都试了，遇到的问题很难描述清楚，谢谢大家

不知道为什么，文本都贴不全

77七

@echo off
cd.>b.txt
for /f "delims=" %%i in ('type "a.txt" ^| findstr /n .*') do (
        set "str=%%i"
        setlocal enabledelayedexpansion
        set "str=!str:*:=!"
        if "!str!" equ "" (
                >>b.txt echo,!str!
        ) else (
                type "b.txt" | findstr /x "!str!" 1>nul 2>nul || (>>b.txt echo,!str!)
        )
        endlocal
)
pauseCOPY

如果还是不行，请把测试失败的样本原件，测试失败生成的样本和批处理原件上传到网盘

881966

回复 14# 77七


    楼上所有的代码都试了，把我贴出的文本复制保存就可以，出错信息很难描述

谢谢你，麻烦了