python抓取美女图.py

codegay

python抓取美女图.py

由于是只用标准库，装了python3运行本代码就能下载到多多的美女图...
写出代码前面部分的时候，我意识到自己的函数设计错了，强忍继续把代码写完。
测试发现速度一般，200K左右的下载速度，也没有很好的错误处理。不过还是基本上能用。以后继续改进。

写出抓取东西的程序，比写其它程序要开心很多。^_^，大家也来试试写一个？

1. """
   
2. python抓取性感尤物美女图.py
   
3. 2016年5月4日 00:51:00 codegay
   
4. 
   
5. 参考资料: Python3学习笔记（urllib模块的使用）
   
6. http://www.cnblogs.com/Lands-ljk/p/5447127.html
   
7. 
   
8. 以下例子是python2的代码，并且用到lxml,requests 库
   
9. 我用python3标准库和正则写一个下载全站美女图的程序
   
10. 
    
11. 使用python来批量抓取网站图片
    
12. http://www.cnblogs.com/TeyGao/p/5225940.html
    
13. """
    
14. print("程序运行中...")
    
15. import re
    
16. from urllib import request
    
17. import os
    
18. from pprint import pprint
    
19. from time import sleep
    
20. 
    
21. rooturl="http://www.xgyw.cc/"
    
22. 
    
23. def getclass():
    
24.     rec=re.compile('''align=center\>\<a href="(/\w+/)"\>(.+)\</a\>''')
    
25.     try:
    
26.         txt=request.urlopen(rooturl).read().decode("gbk")
    
27.         fl=rec.findall(txt)
    
28.     except:
    
29.         print("错误")
    
30.         sleep(1)
    
31.         
    
32.     print("分类：")
    
33.     pprint(fl)
    
34.     return fl
    
35. fenlei=getclass()#下载所有分类下的图片
    
36. #fenlei=[getclass()[-1]]#只下载推女郎
    
37. 
    
38. def getpagelist():
    
39.     plist=[]
    
40.     for f,n in fenlei:
    
41.         rec=re.compile('''({}page_\d+?\.html)'''.format(f))
    
42.         try:
    
43.             txt=request.urlopen(rooturl+f).read().decode("gbk")
    
44.             t=sorted(set(rec.findall(txt)+[f]))
    
45.             plist+=t
    
46.         except:
    
47.             print("错误",e)
    
48.             sleep(1)
    
49.             
    
50.     #print("page_list:")
    
51.     #pprint(plist)
    
52.     return plist
    
53. pagelist=getpagelist()
    
54. 
    
55. def getalbumlist():
    
56.     albumlist=[]
    
57.     for r in pagelist:
    
58.         print(rooturl+r)
    
59.         try:
    
60.             txt=request.urlopen(rooturl+r).read().decode("gbk")
    
61.             for x in re.findall(r'''href=(/(\w+)/(\2)\d+.html)''',txt):
    
62.                 albumlist+=[x[0]]
    
63.         except:
    
64.             print("getalbumlist错误")
    
65.             sleep(1)
    
66.     return albumlist
    
67. albumlist=getalbumlist()
    
68. 
    
69. def getfphoto():
    
70. 
    
71.     for r in albumlist:
    
72.         try:
    
73.             txt=request.urlopen(rooturl+r).read().decode("gbk")
    
74.             result=re.findall(r'''(/(\w+)/(\2)\d+_?\d*.html)''',txt)
    
75.             print(t)
    
76.         except:
    
77.             sleep(1)
    
78.             
    
79.             pass
    
80.         for x in result:
    
81.             try:
    
82.                 html=request.urlopen(rooturl+x[0]).read().decode("gbk")
    
83.                 jpgresult=re.findall('''src="(/uploadfile.*?\d+/\w+\.jpg)"''',html)
    
84.                 print(jpgresult)
    
85.             except:
    
86.                 sleep(1)
    
87.             for h in jpgresult:
    
88.                 try:
    
89.                     request.urlretrieve(rooturl+h,os.path.basename(h))
    
90.                 except:
    
91.                     print(3)
    
92.                     sleep(1)
    
93. 
    
94. getfphoto()
    

复制代码

happy886rr

回复 2# codegay
不错，这个py太实用了，代码很长啊。

codegay

回复 3# happy886rr


技巧欠缺加上之前没有写过。

broly

老司机

codegay

回复 5# broly


    带带我

zz100001

虽然没玩过py，但还是觉得第21行代码写的太精彩了，看了一遍又一遍

bailong360

第94行开头多了一个空格...

codegay

改了。
丑陋的代码简直是不让能向人提起的黑历史。

yu2n

不会用Python，查了挺久，乱凑出来…

1. import re
   
2. from urllib import request
   
3. import os
   
4. from pprint import pprint
   
5. from time import sleep
   
6. 
   
7. url_imgs = 'http://img.xgyw.cc/'
   
8. url_root = 'http://www.xgyw.cc'
   
9. url_find = url_root + '/neiyiyouwu/neiyiyouwu2035.html'
   
10. path_save = '.'
    
11. 
    
12. try:
    
13.         txt=request.urlopen(url_find).read().decode("gbk")
    
14.         rs_page=re.findall(r'''(/(\w+)/(\2)\d+_?\d*.html)''',txt)
    
15.         print('\n### rs_page::\n', rs_page)
    
16. except:
    
17.         sleep(1)
    
18.         pass
    
19.        
    
20. nPage = 0
    
21. for x in rs_page:
    
22.         nPage += 1
    
23.         url_page = url_root + x[0]
    
24.         try:
    
25.                 html=request.urlopen(url_page).read().decode("gbk")
    
26.                 rs_img=re.findall('''src="(/uploadfile.*?\d+/\w+\.jpg)"''',html)
    
27.                 print('\n### Page:' + str(nPage) + '/' + str(len(rs_page)))
    
28.                 print('\t### ' + url_page)
    
29.         except:
    
30.                 sleep(1)
    
31.                
    
32.         nImgs = 0
    
33.         for h in rs_img:
    
34.        
    
35.                 nImgs += 1
    
36.                
    
37.                 fn = os.path.basename(h)
    
38.                 dp = os.path.basename(url_find)
    
39.                 #dp = url_find[url_find.rfind('/')+1:]
    
40.                 dp = path_save + '/' + dp[:dp.rfind('.')]
    
41.                 if (os.path.exists(dp) == False) : os.makedirs(dp)        #建立文件夹
    
42.                
    
43.                 ff = (dp + '/' + fn).replace('/', '\\')
    
44.                 url_img = url_imgs + h
    
45.                
    
46.                 print('\n### Page:' + str(nPage) + '/' + str(len(rs_page)), '\tImgs:' + str(nImgs) + '/' + str(len(rs_img)))
    
47.                 print('\t### ' + url_page)
    
48.                 print('\t###   ', url_img)
    
49.                 print('\t### ->', ff)
    
50.                
    
51.                 try:
    
52.                         if (os.path.exists(ff) == False):
    
53.                                 print('\t### Download ...')
    
54.                                 request.urlretrieve(url_img, ff)
    
55.                                 print('\t\t### [OK]')
    
56.                         else:
    
57.                                 print('\t### [EXIST]')
    
58.                        
    
59.                 except:
    
60.                         print('\t\t### Error:0x3')
    
61.                         sleep(1)
    
62.                
    
63. print('\n### Done.')

复制代码

codegay

不错，进步很比我的都快。