批处理如何删除含有特定内容的重复行？【已解决】

每天几分

如：

1. 
   
2. 
   
3. 出        be#固
   
4. 时        ec#固
   
5. 们        bc#固
   
6. 得        si#固
   
7. 上        be#固
   
8. 成        bc#固
   
9. ……
   

复制代码

删除：

1. 
   
2. 上        be#固
   
3. 成        bc#固
   

复制代码

实现：

1. 
   
2. 出        be#固
   
3. 时        ec#固
   
4. 们        bc#固
   
5. 得        si#固
   
6. ……
   

复制代码

即前面所在行出现过“be#固、bc#固……”，就把后面带“be#固、bc#固……”所在行删除。
文本格式都是固定的：字+制表符+2个随机字母+#固，可以通过制表符后面的内容，来判定重复。

hfxiang

将

1. 
   
2. 出        be#固
   
3. 时        ec#固
   
4. 们        bc#固
   
5. 得        si#固
   
6. 上        be#固
   
7. 成        bc#固
   

复制代码

以ANSI编码格式保存为1.txt
下载（ http://bcn.bathome.net/tool/4.1.0/gawk.exe ）
执行：

1. 
   
2. gawk "!a[$2]++" 1.txt>2.txt
   

复制代码

结果（ 2.txt ）

1. 
   
2. 出      be#固
   
3. 时      ec#固
   
4. 们      bc#固
   
5. 得      si#固
   

复制代码

Batcher

回复 1# 每天几分


如果输出的行序没有严格要求：

1. @echo off
   
2. cd /d "%~dp0"
   
3. setlocal
   
4. for /f "tokens=1*" %%i in ('type "1.txt"') do (
   
5.     if not defined _%%j (
   
6.         set "_%%j=%%i        %%j"
   
7.     )
   
8. )
   
9. (for /f "tokens=1* delims==" %%i in ('set _') do (
   
10.     echo,%%j
    
11. ))>"2.txt"
    
12. endlocal

复制代码

WHY

1. @if(0)==(0) echo off
   
2. type 1.txt | cscript //nologo //e:jscript "%~f0" > 2.txt
   
3. pause & exit /b
   
4. @end
   
5. 
   
6. var obj = {};
   
7. while( !WSH.StdIn.AtEndOfStream ){
   
8.     var s = WSH.StdIn.ReadLine();
   
9.     var m = s.match(/^\S+\t(\S+)$/);
   
10.     if( m == null || obj.hasOwnProperty(m[1]) ) continue;
    
11.     obj[m[1]] = true;
    
12.     WSH.Echo(s);
    
13. }

复制代码

WHY

test.ps1

1. $srcFile = '1.txt';      #源文件名
   
2. $dstFile = '2.txt';      #修改后的文件名
   
3. $hash = @{};
   
4. $res  = [Collections.ArrayList]@();
   
5. 
   
6. forEach( $strLine In [IO.File]::ReadAllLines($srcFile, [Text.Encoding]::Default) ){
   
7.     $arr = $strLine.Trim().Split();
   
8.     if( $arr.Count -eq 2 -and !$hash.ContainsKey($arr[1]) ){
   
9.         $hash.Add( $arr[1], $true );
   
10.         [void]$res.Add( $strLine );
    
11.     }
    
12. }
    
13. 
    
14. [IO.File]::WriteAllLines( $dstFile, $res, [Text.Encoding]::Default );

复制代码

qixiaobin0715

1. @echo off
   
2. (for /f "tokens=1* delims=        " %%i in (1.txt) do (
   
3.     if not defined _"%%j" (
   
4.         echo,%%i        %%j
   
5.         set _"%%j"=true
   
6.     )
   
7. ))>2.txt

复制代码