[已解决]Python处理数据库数据

winbat

图片太大
http://postimg.org/image/mr6mb6ffr/

昨天数据库出了点问题急需解决，学生对Python不太熟所幸有此‘批处理之家’能求助于各路大侠，望请位老师帮助解决，谢谢!
问题如下：
有以下 A,B,C 三个文本，各文本分别指定每一行‘任意’重复行数然后合并输出,效果如 test.txt ;因数据很大多则几佰万少则几十万,所以感觉用Python处理可能会快些,当然别的脚本也行,试过BAT但太慢了。
分开说白了就是: ‘任意’指定文本数据重复行数然后合并3个文本输出,效果如 test.txt

无论能否实现，学生当于En ‘Python 黑帽子.PDF’ 致谢!


附上附件‘数据test文本’，那位大侠能实现么？？

依山居

并不明白你的说什么意思。

python是方便的语言。并不是处理速度快。大量数量使用readline读入，for 逐行迭代处理。
处理大量数据还要打印到输出，还要交互确认？。不慢才见鬼了。

修正一下，经过我在另的帖子中生成的数据来测试，几百M的文件不算大文件。只要内存不会爆掉，应该都一次读入内存处理。
逐行读，处理，逐行写，这样的顺序可能会很慢。

这个问题本质也是个文本格式化。

winbat

回复 2# 依山居

I'm Sorry ，可能是我解释的有点问题。

分开说白了就是: 处理 A,B,C 3个文本数据指定每一行、重复多少行（例 test.txt A文本我指每一行是重复6行;B文本指每一行是重复3行;C文本不处理），然后合并输出 效果如 test.txt

如此链接图片：http://postimg.org/image/mr6mb6ffr/

大侠这样能实现么？

依山居

回复 3# winbat


    想不想写的问题而已。

pcl_test

vbs

1. Dim a(),b(),c(),n
   
2. file1 = "A.txt"
   
3. file2 = "B.txt"
   
4. file3 = "C.txt"
   
5. Set fso = CreateObject("Scripting.FileSystemObject")
   
6. 
   
7. i=0
   
8. n = InputBox("输入"&file1&"每行重复的次数：",,1)
   
9. Set f = fso.OpenTextFile(file1,1)
   
10. Do While f.AtEndOfStream <> True
    
11.     str = f.ReadLine
    
12.     For j=1 to n
    
13.         ReDim Preserve a(i)
    
14.         a(i) = str
    
15.         i = i+1
    
16.     Next
    
17. Loop
    
18. f.Close
    
19. 
    
20. i=0
    
21. n = InputBox("输入"&file2&"每行重复的次数：",,1)
    
22. Set f = fso.OpenTextFile(file2,1)
    
23. Do While f.AtEndOfStream <> True
    
24.     str = f.ReadLine
    
25.     For j=1 to n
    
26.         ReDim Preserve b(i)
    
27.         b(i) = str
    
28.         i = i+1
    
29.     Next
    
30. Loop
    
31. f.Close
    
32. 
    
33. i=0
    
34. n = InputBox("输入"&file3&"每行重复的次数：",,1)
    
35. Set f = fso.OpenTextFile(file3,1)
    
36. Do While f.AtEndOfStream <> True
    
37.     str = f.ReadLine
    
38.     For j=1 to n
    
39.         ReDim Preserve c(i)
    
40.         c(i) = str
    
41.         i = i+1
    
42.     Next
    
43. Loop
    
44. f.Close
    
45. 
    
46. On Error Resume Next
    
47. Set f = fso.CreateTextFile("合并.txt",2)
    
48. For k=0 to UBound(a)
    
49.     f.WriteLine a(k)&","&b(k)&","&c(k)
    
50. Next
    
51. f.Close
    
52. Msgbox "完成"
    

复制代码

winbat

回复 5# pcl_test

非常感谢 @pcl_test 大大的热心帮助，vb 测试成功因没在公司。明天去试试看看处理大数据怎样后才结账， 再次感谢 @pcl_test

En Python 黑帽子.PDF
链接: http://pan.baidu.com/s/1pJpH7cB 密码: c8ps

winbat

回复 4# 依山居

嗯，但还是非常感谢你的回答！

En Python 黑帽子.PDF
链接: http://pan.baidu.com/s/1pJpH7cB 密码: c8ps

依山居

回复 5# pcl_test


    楼主说的数量挺大的吧？版主你的代码都是一次读入处理后再写入文件的吗？

pcl_test

回复 8# 依山居

用的逐行读写

523066680

1. ed2k://|file|Black%20Hat%20Python%20-%20Python%20Programming%20For%20Hackers%20And%20Pentesters%20-%20Justin%20Seitz%20(No%20Starch%20Press,%202015).pdf|10527596|AA5C5E3170948C5E8D69A6452E485BCC|/
   
2. ed2k://|file|Black%20Hat%20Python%20-%20Python%20Programming%20for%20Hackers%20and%20Pentesters%202014-P2P.pdf|10527371|A2E373D2B0DB8B9C69AED7D4B1C57FE8|h=PVEMBL4LSZGMBIYJMLJFKBM2BSMRK3SZ|/
   
3. ed2k://|file|Black%20Hat%20Python,%20Python%20Programming%20for%20Hackers%20_%20Pentesters.pdf|10527370|1EB844B6AFEABBD3E80195880AD905DD|/
   
4. ed2k://|file|[No%20Starch%20Press]%20Black%20Hat%20Python%20-%20Python%20programming%20for%20hackers%20and%20pentesters%20(2015).pdf|7334960|C4839361F53A667C5E02BB9C6F419FA6|/
   
5. ed2k://|file|[No%20Starch%20Press]%20Black%20Hat%20Python%20-%20Python%20programming%20for%20hackers%20and%20pentesters%20(2015).pdf|7226003|4DBDD55D316316E2BD1756E827B6BD53|/
   
6. ed2k://|file|BlackHat%202007%20-%20Reverse%20Engineering%20Automation%20with%20Python.pdf|3701524|DD5F4D61D7C9B086C22E830ADDEA63F1|/
   
7. ed2k://|file|Black%20Hat%20Python,%20Python%20Programming%20for%20Hackers.pdf|3167049|58CEE78C549C4F4AC17DF7BB86E5788E|/

复制代码

ED2K

有实体书，因为最近比较颓，已经垫桌角

依山居

回复 10# 523066680


    我一直有囤有各种资料。但是就是不看。。。十年间几乎没有完整看过一本书，没有任何进步。

依山居

不小心生成了6百万行数据测试了下。这里的代码大约需要1020秒。将近17分钟。

1. 
   
2. #python重复行数合并文件
   
3. #题目来源: http://www.bathome.net/viewthread.php?tid=38017
   
4. #依山居 4:22 2015/11/8
   
5. 
   
6. #相关资料 Python按行读文件：
   
7. #http://www.cnblogs.com/xuxn/archive/2011/07/27/read-a-file-with-python.html
   
8. 
   
9. #相关资料 Python迭代器和生成器：
   
10. #http://python.jobbole.com/81881/
    
11. 
    
12. #python3 生成器
    
13. #http://t.cn/R2GTPBY
    
14. 
    
15. #Python关键字yield的解释
    
16. #http://pyzh.readthedocs.org/en/latest/the-python-yield-keyword-explained.html
    
17. 
    
18. #探寻Python中如何同时迭代多个iterable对象
    
19. #http://blog.csdn.net/kxcfzyk/article/details/41380017
    
20. 
    
21. #以下三个函数逐行读取对应文件,n为默认重复次数。
    
22. def txta(txta="a.txt",n=6):
    
23.     with open(txta) as fa:
    
24.         for la in fa:
    
25.             la=la.rstrip()+","
    
26.             for r in range(n):
    
27.                 yield la
    
28.         
    
29. def txtb(txtb="b.txt",n=3):
    
30.     with open(txtb) as fb:
    
31.         for lb in fb:
    
32.             lb=lb.rstrip()+","
    
33.             for r in range(n):
    
34.                 yield lb
    
35. 
    
36. def txtc(txt="c.txt",n=1):
    
37.     with open(txt) as f:
    
38.         for l in f:
    
39.             l=l.rstrip()+"\n"
    
40.             for r in range(n):
    
41.                 yield l
    
42. 
    
43. def merge(a,b,c,txt="test.txt"):
    
44.     with open(txt,"a+") as f:
    
45.         f.write(a+b+c)
    
46.         #f.flush()
    
47.         
    
48. bt=txtb()
    
49. at=txta()
    
50. for c in txtc():
    
51.     b=next(bt)
    
52.     a=next(at)
    
53.     merge(a,b,c)
    
54. 
    
55. try:
    
56.     input("执行完成,按回车退出")
    
57. except SyntaxError:
    
58.     pass
    

复制代码

依山居

提升处理速度的办法是原文件拆分成多个任务，同时启动多个脚本分别处理。

winbat

回复 13# 依山居


    嗯，类多线程

依山居

回复 14# winbat


    不是。这是这最简单的办法。以及由于python的GIL ，好像写多线程比较麻烦。