qq253040425

回复 57# 依山居

还有种情况，一行多个换行符

源：
"1","1
2","123","","201
5-10-31",
"1","1
2","12
3","","",

输出：
"1","1","123","","201-10-31",
"1","1","12","","",

qq253040425

回复 44# CrLf

44L的代码

源：
"1","12","
123","","201
5-10-31",
"1","1
2","12
3","","",

这种情况也能处理成
"1","12","123","","2015-10-31",
"1","12","123","","",

到底怎么做到的 - -

qq253040425

回复 60# CrLf


     - - 这段代码我完全懵圈了...看不懂，也不知道怎么改  

CrLf

回复 62# qq253040425


    通过计算 " 个数，来判断是否在引号内，只包含奇数个 " 时一直读取下一行直到闭合，然后接为一行输出

依山居

回复 61# qq253040425


    更新了。你拿来测试1.7G的文件看看需要多久。给我贴下时间。我也想知道处理这种极别的数据需要多久。

依山居

回复 64# CrLf


    应该是逗号内吧。

CrLf

回复 66# 依山居


    引号对

qq253040425

回复 65# 依山居


    运行耗时： 140.09601283073425

qq253040425

回复 65# 依山居

效率没原来快是因为对一整个文件进行操作的原因吗？ 原来貌似是逐行的？

不过已知会出现状况的情况也都测试过，好像没啥问题了 ！！

我有百度python的正则，但是那俩带正则的地方还是完全看不懂 ，求讲解 ~~~

依山居

回复 69# qq253040425


    （）包围的是子组，替换为对应的\1\3子组，相当于是换行被替换掉了。
正则略难懂，慢慢看吧。我也是反复调试了很久。

不同语言和工具里的正则基本相同.都是用\来转义一些特殊符号。

qq253040425

回复 60# CrLf


    我是小白！求完整代码~么么哒~1L有更新，要不要看看~

依山居

回复 71# qq253040425


    列表解析的方法处理1.7G的文件有多快？你也贴个时间看看。
你的是固态硬盘？

qq253040425

回复 72# 依山居

我在68L回复过啦

运行耗时： 140
   
果然这个read（）的办法吃内存cpu和硬盘咩

qq253040425

回复 72# 依山居


    我在监控，因为实际上一个文件夹下会有很多很多的del文件，一开始用32位的python读着读着就内存错误了，换64位的，倒是没报错了，但是我在内存并没有释放，一直在增大

依山居

回复 73# qq253040425


    你改成19楼的代码是列表解析方式。

你给是57楼正则版的时间吧？

笨啊，处理大量数据当然也要考虑硬盘的读写速度，固态硬盘当然是比较快的。

程序后面加上txt=0 和newtxt=0 看看内存是不是会释放。
read() readlines()都是一次读取整个文件。
按我自己之前经验。行数多的文件，一次性读入整个文件进内存处理是比较快的。并且针对你的情况是无法直接改成逐读取行，并且整个处理逻辑都要改变。