[文本处理] [已解决]批处理如何删掉前面出现过的字所在行？

每天几分

有1个txt文件，全是词语，要实现每个字只能出现1次，后面如果出现前面出现过的，则删掉后面这行。

如：
一个
这个
但是
自己
就是
但我
还是
我们
自我
这不
很多
……
实现如下：
一个
但是
自己
很多

就是说前面出了“一个”所以后面带“一……”、“……一”、“……个”、“个……”的行都删掉。
同样，前面出了“这是”，后面带“这……”“……这”“是……”“……是”的行都删掉。
复制代码

hfxiang

（gawk.exe 的下载地址见 9 楼）
方案一：按楼主的需求以输入文件去重出结果

gawk "{ID=1;for(i=0;++i<=length($0);){s=substr($0,i,1);if(!b[s]++)if(a[s]++)ID=0}delete b}ID" 1.txt>2.txt

结果：
一个
但是
自己
很多
复制代码

方案二：以输出文件去重出结果（输出结果在不同的行不会出现重复字，本人觉得这个看上去好像更合理）

gawk "{ID=1;for(i=0;++i<=length($0);){s=substr($0,i,1);if(!b[s]++)if(s in a)ID=0}if(ID){for(i=0;++i<=length($0);)a[substr($0,i,1)];print}delete b}" 1.txt>2.txt

结果：
一个
但是
自己
我们
这不
很多
复制代码

qixiaobin0715

回复 8# 每天几分
这个与你顶楼的例子好像有差异。
开始没仔细看，被你在顶楼的描述带偏了，5楼代码逻辑上有问题，如果想使用纯批处理代码，可以运行下面代码，因为你没有提供文件样本，无法测试，个人感觉效率上还过得去：

@echo off
setlocal enabledelayedexpansion
(for /f "delims=" %%a in (1.txt) do (
    set str=%%a
    if not defined _"!str:~,1!" if not defined _"!str:~-1!" (
        echo,%%a
        set _"!str:~,1!"=true
        set _"!str:~-1!"=true
    )
))>out.txt
pause
复制代码

WHY

$srcFile = '1.txt';
$dstFile = '2.txt';
$Hash    = @{};
$out     = [Collections.ArrayList]@();

forEach( $str In [IO.File]::ReadAllLines($srcFile, [Text.Encoding]::Default) ){
    $flag = $True;
    for( $i=0; $i -lt $str.Length; $i++ ){
        if( $Hash.Contains($str[$i]) ){ $flag = $False; break; }
    }
    if( $flag ){
        $null = $out.Add($str);
        for( $i=0; $i -lt $str.Length; $i++ ){
            if( !$Hash.Contains($str[$i]) ){ $Hash.Add( $str[$i], $True ); }
        }
    }
}

[IO.File]::WriteAllLines($dstFile, $out, [Text.Encoding]::Default);

echo 'Done';
[Console]::ReadLine();
复制代码

hfxiang

假设原文件为1.txt，编码格式为ANSI，去重用gawk（ http://bcn.bathome.net/tool/4.1.0/gawk.exe ），效率也是杠杠的：

gawk "{ID=1;for(i=0;++i<=length($0);){if(a[substr($0,i,1)]++){ID=0}}if(ID)print}" 1.txt>2.txt
复制代码

每天几分

回复 7# qixiaobin0715

一个
这个
这是
是的

只要

一个
这是

因为前面出了“一个”所以后面带“一……”、“……一”、“……个”、“个……”的行都删掉。
同样，前面出了“这是”，后面带“这……”“……这”“是……”“……是”的行都删掉。

qixiaobin0715

还是要好好想想，逻辑上好像有点问题，比如：

一个
这个
这是
复制代码

是只要第一行，还是第一行和第三行都要。复杂了！！！
这种呢：

一个
这个
这是
是的
复制代码

pd1

回复 4# 每天几分


    慢是必然的，一行一行去对比的，每一行都把字拆散，效率就不是我能力范围了

qixiaobin0715

如果每行只有2个字，这个应当勉强可用，想要更高效率还是期待大佬吧：

@echo off
setlocal enabledelayedexpansion
(for /f "delims=" %%a in (1.txt) do (
    set str=%%a
    echo,!str:~,1! !str:~-1!
))>temp.log
(for /f "tokens=1*" %%i in (temp.log) do (
    if not defined _%%i if not defined _%%j echo,%%i%%j
    set /a _%%i=_%%j=1
))>out.txt
del temp.log
pause
复制代码

每天几分

效率有点慢，词语一多就慢了，6000个就用了10分钟以上。
有200多万词啊

每天几分

回复 2# pd1


   
算出现过，不好意思，是我打错了，你的第二个批处理可解决。

pd1

”我们“的“我”在上面有个”但我“
这个不算出现过了吗
如果不算出现过了  那么“这不”也应该在结果中吧。

文本保存在1.txt里。上面说的两种情况用以下两种代码。保存为.bat文件
另外现在win10和win11 新建的文本都是utf8格式的，就用了默认的

<# :
@echo off
powershell -NoProfile -ExecutionPolicy bypass "Get-Content -literal '%~f0' |Out-String|Invoke-Expression"
pause
#>
$a=@()
$b=@()
gc -Encoding UTF8 .\1.txt |%{if((Compare-Object $b $_.ToCharArray() -PassThru -IncludeEqual -ExcludeDifferent).length -eq 0){$a+=$_;$_.ToCharArray()|%{$b+=$_}}}
$a
复制代码

<# :
@echo off
powershell -NoProfile -ExecutionPolicy bypass "Get-Content -literal '%~f0' |Out-String|Invoke-Expression"
pause
#>
$a=@()
$b=@()
gc -Encoding UTF8 .\1.txt |%{if((Compare-Object $b $_.ToCharArray() -PassThru -IncludeEqual -ExcludeDifferent).length -eq 0){$a+=$_;$_.ToCharArray()|%{$b+=$_}}else{$_.ToCharArray()|%{$b+=$_}}}
$a
复制代码