批处理如何删除文本中同一行里以指定字符分隔开来的多余的相同的字段/列

daohe

a.txt有1万行左右,  每一行都包含几个图片地址, 可能是jpg,gif,png, 并且有的会带   问号?  逗号,   大括号{}  连字符-   下划线_   句号.   空格   等特殊符号
需要删除每一行当中重复的图片地址
比如:
http://www.a.com/b/c.jpg|||http://www.a.com/b/d.jpg|||http://www.a.com/b/c.jpg 处理后得到  http://www.a.com/b/c.jpg|||http://www.a.com/b/d.jpg
每一行的图片都用三条竖线符号|||  分割
下面举例

a.txt
http://www.a.com/b/c.jpg|||http://www.a.com/b/d.jpg|||http://www.a.com/b/c.jpg
http://www.a.com/b/e.jpg|||http://www.a.com/b/c.jpg
http://www.a.com/b/f.jpg|||http://www.a.com/b/f.jpg
http://www.a.com/b/c.jpg
http://www.a.com/b/d.jpg
处理后得
b.txt
http://www.a.com/b/c.jpg|||http://www.a.com/b/d.jpg
http://www.a.com/b/e.jpg|||http://www.a.com/b/c.jpg
http://www.a.com/b/f.jpg
http://www.a.com/b/c.jpg
http://www.a.com/b/d.jpg

求VBS,
批处理经常会出现莫名的错误, 比如会删除http: 只留下//后面的文本

apang

1. Set fso = CreateObject("Scripting.FileSystemObject")
   
2. Set file = fso.OpenTextFile("a.txt",1)
   
3. 
   
4. Do Until file.AtEndOfStream
   
5.    strLine = file.ReadLine
   
6.    If strLine <> "" Then
   
7.       strURL = strURL & GetURL(Split(strLine,"|||")) & vbCrLf
   
8.    End If
   
9. Loop
   
10. 
    
11. fso.CreateTextFile("b.txt",True).Write strURL
    
12. MsgBox "OK"
    
13. 
    
14. Function GetURL(ar)
    
15.    For i = 0 to UBound(ar)
    
16.       If InStr(LCase(str),LCase(ar(i)) & "|||") = 0 Then
    
17.          str = str & ar(i) & "|||"
    
18.       End If
    
19.    Next
    
20.    GetURL = Left(str,Len(str)-3)
    
21. End Function

复制代码

CrLf

1. sed "s/|||/\n/g" a.txt|sort|uniq

复制代码

BAT-VBS

批处理经常会出现莫名的错误, 比如会删除http: 只留下//后面的文本

这个不能怪批处理，只能怪写批处理的人水平还不到家。

terse

GAWK 练手

1. gawk -F^| "{for(i=1;i<=NF;i++)if($i>0)if(a[NR$i]<1){v[NR]=v[NR](v[NR]?FS FS FS:"")$i;a[NR$i]++}print v[NR]}" A.txt>b.txt

复制代码

pcl_test

1. rem win7及以上系统运行
   
2. powershell -c "gc '文本.txt'|%%{($_.trim() -split '\|+' |group|%%{$_.Name}) -join '|||'}"
   
3. pause

复制代码