[已解决]批处理怎样清除文本重复行，保留文本中最后一个重复行

nai

怎样清除文本重复行，保留文本中最后一个重复行,其它没有重复的行也保留
如：

123456789
abcdefg
123456789
5566
abcd
cccccccccc
123456789
abcd



结果：

abcdefg
5566
cccccccccc
123456789
abcd

apang

1. @echo off
   
2. (for /f "delims=" %%a in ('sort /+65535 a.txt') do (
   
3.         if not defined _%%a set "_%%a=1" & echo,%%a
   
4. ))>$
   
5. sort /+65535 $ /o b.txt
   
6. pause

复制代码

nai

回复 2# apang
效果是可以了，就是会多一个“$”没有扩展名的文件

nai

回复 2# apang

谢谢

牛虻

回复 3# nai


    在倒数第二行加一行
Del $
你也可以把$ 改为 $.txt 看看里面是什么

牛虻

回复 2# apang


    我想用For循环来做，但是一下午没写出来
帮帮我呗！！！

CrLf

来两个 js+bat

1. @set @bathome=1/*&echo off
   
2. cscript -nologo -e:jscript "%~0" <a.txt
   
3. pause&exit /b */
   
4. 
   
5. var text = WScript.StdIn.ReadAll().split(/[\r\n]+/g)
   
6. var i, j, object = {}, array = []
   
7. 
   
8. for(i=text.length;i--;){
   
9.         var flag=true
   
10.         for(j in array){
    
11.                 if(text[i]===array[j]){
    
12.                         flag=false
    
13.                         break
    
14.                 }
    
15.         }
    
16.         if(flag)array.unshift(text[i])
    
17. }
    
18. 
    
19. WScript.Echo(array.join('\r\n'))

复制代码

1. @set @bathome=1/*&echo off
   
2. cscript -nologo -e:jscript "%~0" <a.txt
   
3. pause&exit /b */
   
4. 
   
5. var text = WScript.StdIn.ReadAll().split(/[\r\n]+/g)
   
6. var i, object = {}, array = []
   
7. 
   
8. for(i in text)object[text[i]]=i
   
9. for(i in object)array.push({index:object[i],string:i})
   
10. array = array.sort(function(a,b){return a.index-b.index})
    
11. 
    
12. for(i in array)WScript.Echo(array[i].string)

复制代码

CrLf

回复 6# 牛虻


    有什么大体思路吗？碰到哪些障碍？

523066680

回复 7# CrLf


    这次处理用纯批有什么不妥吗……

523066680

很久没写了， 见笑

[size=1.1em]@echo off
setlocal enabledelayedexpansion
set /a i=0
for /f %%a in (src.txt) do (
        set /a i+=1
        set Line!i!=%%a
)

for /l %%a in (%i%, -1, 1) do (
        set /a j = i - %%a + 1
        if defined def[!Line%%a!] (
                set Line%%a=
                echo 剔除行 %%a
        ) else (
                set /a def[!Line%%a!] = 1
        )
)
echo,
echo 结果：
for /l %%a in (1, 1, %i%) do (
        if defined Line%%a (
                echo !Line%%a!
        )
)
pause

CrLf

回复 9# 523066680


没什么不妥，要挑剔的话就是不支持含 = 的文本，不过这不是大问题，好吧我承认就是手痒而已...


回复 10# 523066680


是贱笑吧
还有，记得加 [ code]

523066680

回复 11# CrLf


      抓个彩色过来，好像配色有点蛋疼，嚯，早先没有看到apang的代码，好简短。
s/见笑/献丑/;

CrLf

来一枚 php：

1. php -r "echo join(array_reverse(array_unique(array_reverse(file('a.txt')))));">b.txt

复制代码

好像有点杀鸡用牛刀的说
如果缺少 php.exe，可踹到这里下载

CrLf

再来一枚 bat，通用性<2楼<10楼，但运行效率得反过来，娱乐娱乐：

1. @echo off&setlocal enabledelayedexpansion
   
2. set "str=|"
   
3. for /f "delims=" %%a in (a.txt) do (
   
4.         set "str=!str:|%%a|=|!%%a|"
   
5. )
   
6. echo !str:^|=^
   
7. 
   
8. !
   
9. pause

复制代码

牛虻

回复 8# CrLf


    我想用for把读到的第一行和除了第一行的所有行比较，相等就删掉，不等就继续用第二行和除第一、第二行的所有行比较，以此类推