CrLf

gnu 的第三方还是很爽的：

sort a.txt|uniq
复制代码

gawk "!a[$0]++" a.txt
复制代码

sed用在这里效率应该比较低，就不举例了。
另，

hash.add效率高但是受内存分配限制不能处理G级数据

无语，ms 也太懒了，我所了解的三种 hash 算法都无此限制，因为它们都是逐字节或逐段计算的。不了解  c#，不作过多评论。

CrLf

回复 7# Demon


    不甚明了，求指点