[文本处理] 批处理如何快速去掉大文件重复的行？

nono84223860

两个都大于1G的TXT，如何快速去掉重复的行，我内存只有4G，一些工具去除太慢了，快的又要求大内存，有没有好的办法处理，都是英文和数字组合的行来的，没有中文



不用合并，只去重复就可以了

DAIC

回复 16# elec


另外一种写法是 sort -u
它可以直接去重

elec

回复 15# DAIC


    谢啦~~

sort a.txt | uniq >b.txt
复制代码

DAIC

回复 14# elec


    使用uniq去重有一个前提：文件是排序的。

elec

回复 13# DAIC
    uniq -u a.txt > b.txt

DAIC

回复 12# wjx515

gawk "!a[$0]++" b.txt > a.txt
复制代码

wjx515

使用gawk吧 ，速度很快，源文件b.txt，去重复后文件a.txt
gawk "{a[$0]++;if(a[$0]==1)print $0}" b.txt>>a.txt

nono84223860

回复 6# CrLf

闪退，不知道 是不是没把那个什么7.6装好

我复到 C:\Windows\System32 文件夹下

nono84223860

回复 6# CrLf


Gnu sort-7.6.exe放到哪里。。

nono84223860

回复 5# CrLf


    hash表，容易上手吗

DAIC

是需要对比两个文件获取它们之间不同的行？
比如 1.txt
a
b
c

2.txt
a
c

得到3.txt
b


还是需要分别处理两个文件，删除各自文件里面的重复行？
比如1.txt
a
b
a
c

得到3.txt
abc

terse

楼主的意思是想得到两个文件合并后并去掉重复行的新文件吗？

CrLf

如果顺序无关紧要，可以这样，需要用到 Gnu sort-7.6.exe 与 gawk

@echo off
findstr . a.txt b.txt>临时.txt
sort-7.6.exe -t ':' -k2 -u  临时.txt -o 临时.txt
gawk -F":" "{OUTFILE=$1;sub($1 FS,\"\");print>OUTFILE}" 临时.txt
复制代码

CrLf

文件那么大有什么办法，求快得用 hash 表，那是用空间换时间，非常占内存

nono84223860

回复 3# CrLf


    需要处理多久，已经半个小时没动静。。。。。。。。。。。。。