[问题求助] [已解决]PowerShell怎样删除大文件中的多余重复行？

awk

服务器上的数据文件，大概有三千多万行的数据。
对于重复出现的行，只保留第一次出现的就行了，把多余的删掉。

样例数据：
awk PowerShell-3
awk PowerShell-3
awk PowerShell-5
awk PowerShell-3
awk PowerShell-5
awk PowerShell-1
awk PowerShell-2

处理之后得到：
awk PowerShell-3
awk PowerShell-5
awk PowerShell-1
awk PowerShell-2

awk

回复 2# PowerShell


看不懂C#，也不想学，因为我的工作中根本用不到。
文件太大了，十几个GB，不好传啊。
版主能否先给个针对小文件的PowerShell去重代码？我先学习一下。

awk

回复 5# PowerShell


我记得冒泡,二叉遍历之类的好像是用来排序的吧，以前学校里面学过，现在都忘了。
如果说错了请大家指正。
去重之前必须要排序吗？好复杂的说。

awk

回复 12# PowerShell


    我在顶楼放了点数据

awk

回复 12# PowerShell


    版主最近忙什么呢？数据放在顶楼好几天了，求代码啊。

awk

回复 17# luke


    正解。感谢！