CrLf

复制一楼代码的时候因为感觉创建类似的测试文本的可选方案很少，扫一眼没看到有特色的东西，所以就没细看…太懒啊太懒啊

garyng

回复 1# 随风

汗～
100W行的txt有35MB啊～
要开都卡死了～

xudaweb

是啊，几十M，本想打开一看究竟，随手一双击，进程就无响应了。。。

zhsh1128

这个问题有答案么？我非常非常需要。我的工作中常常需要剔除几十万行数据中重复的行。目前的方法是：在excel中用数组+字典，速度也是超快。我想用批处理来处理文本数据，一直不知道怎么入手。

codegay

回复 49# zhsh1128


    学门高级语言吧。入门门槛会高点，但是熟练以后自由度会高很多，很多东西都能自己做。
python ruby powershell之类的语言都可以。

happy886rr

回复 49# zhsh1128
赞同楼上观点，尤其是C语言或者汇编速度快的惊人，可以pcre正则库，或者hash值效验，perl善于文本处理，python易于上手。

codegay

回复 51# happy886rr


    ruby互联网新兴创业公司有在用，
python在数据处理之类的领域也有用处，
powershell在windows平台上做运维自动化有优势，
正则库之类的文本处理库，其它语言都支持了，perl已经没有什么的优势了。

能把程序写出来，才能走到考虑性能的那一步。

happy886rr

回复 52# codegay
go语言也不错，就是不怎么火。py非常简洁，但速度太慢。julia数学功能很全，但是不如纯C快。做计算最好C来完成，C也可以用数组实现大数运算。但是在非数学计算方面，我非常喜欢用py，写的很少很简洁，各种模块很多，就是在搭积木。Bat是无法取代的胶水语言，用来衔接win下的各种程序，就是没找到cmd、find之类的源码，微软不开源吗。

codegay

回复 53# happy886rr


    go 发展得也还很不错，一些新公司也有在用GO的，有GOOGLE在推广。好像编译后只生成一个可执行文件。也是很方便的一优点。
我对GO有也有兴趣。

我来了

回复 4# Batcher

这个简单，用w32dasm 输出汇编代码，一般每个文件 都在几十M以上，大的百M以上不稀奇。
通常大部分编辑器会卡死，但gvim还是很厉害的