批处理如何实现采集/提取网站/网页上的指定链接/网址？

wh1234567

例如，我想利用批处理bat或vbs批量获取http://www.55188.com/forum-111-1.html这个网页里的全部帖子的链接网址和标题并输出到文本里（每个链接需是完整的网址包含http://），请问能不能实现呢？希望老师帮助。
下面该咋写呢？希望老师帮我下好吗？

codegay

混了十年论坛，不要一贴多发都不知道。

codegay

1. """
   
2. python采集55188.com论坛URL.py
   
3. http://bbs.bathome.net/thread-40289-1-1.html
   
4. 
   
5. 2016年5月2日 17:28:47 codegay
   
6. 
   
7. 参考资料: Python3学习笔记（urllib模块的使用）
   
8. http://www.cnblogs.com/Lands-ljk/p/5447127.html
   
9. """
   
10. 
    
11. print("程序运行中...")
    
12. from urllib import request
    
13. from time import sleep
    
14. import re
    
15. 
    
16. rooturl="http://www.55188.com/"
    
17. forumurl="http://www.55188.com/forum-111-{}.html"
    
18. tidurl="http://www.55188.com/viewthread.php?tid={}\n"
    
19. 
    
20. with open("result.txt","w+") as f:
    
21.     for r in range(1,210):
    
22.         r=request.urlopen(forumurl.format(r))
    
23.         txt=r.read().decode("gbk")
    
24.         rec=re.compile('''viewthread.php\?tid=(\d+).+#anchorlink''')
    
25.         tid=set(rec.findall(txt))#去重复
    
26.         for id in tid:
    
27.             f.write(tidurl.format(id))
    
28.         #sleep(1)
    
29.             
    
30. input("运行结束，回车退出")
    

复制代码

pcl_test

举个栗子

1. //&cls&mshta "%~f0">"结果.txt"&pause&exit
   
2. 
   
3. <script src=http://www.bathome.net/lib/diy/Function.js></script>
   
4. <script>
   
5. var fso = new ActiveXObject('Scripting.Filesystemobject');
   
6. var StdOut = fso.GetStandardStream(1);
   
7. var url = 'http://www.55188.com/';
   
8. //1到10页
   
9. for(var i=1;i<=10;i++){
   
10.     var txt = '', u = url+ 'forum-111-'+ i +'.html';
    
11.     var links = web(u).match(/<span\sid="thread_\d+"[^>]+?>[\s\S]+?<\/span>/g);
    
12.     for(var j=0;j<links.length;j++){
    
13.         var link = links[j].match(/<a href="([^"]+)/)[1];
    
14.         var title = links[j].replace(/<[^>]*>/g, '');
    
15.         txt +=url + link + ' '+ title +'\r\n';
    
16.     }
    
17.     StdOut.Write('page '+i+'\r\n'+txt+'\r\n');
    
18. }
    
19. close();
    
20. </script>

复制代码

codegay

这SB提问完老是把原贴编辑掉。