[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程批处理在线视频分享
返回列表 发帖

【已解决】30元扒网站数据

本帖最后由 lxh623 于 2018-9-25 19:50 编辑

http://www.chinapoesy.com/XianDaiAuthorList_1.html
有十个栏目,别的栏目左上,点击“XX诗人”可以到类似上面的网页。只有全唐诗好像没有。
想得到标题,如里面的链接文字。http://www.chinapoesy.com/XianDa ... A-3F3847ED3F05.html
点开这个得到诗歌名字、作者名字,和正文。作者前面,最好加个“作者:”。
正文最好就是那部分的html代码。
四个字段一行。用制表符或者别的规则符号隔开。

想做一个MDX字典。
不太懂电脑。有个最简单的例子。下面的文本可以做成字典。(说实话,我自己希望,下载了再来自己编辑标题字段,按照人气数据排序。再打包。)

05-第五课
第五课<br>系<br>我系屋企<br>餐厅系一楼<br>车站系对面<br>厕所系左手边<br>说说看,看图来记忆:<br>我住系附近<br>公园<br>图书馆<br>百货公司<br>医院<br>超级市场<br>邮局<br> 会话一<br>厕所系边度呀?<br>系前面转左。<br>唔该。<br>会话二<br>系边度等你呀?<br>系火车站出口。<br>好呀。<br> 小词库<br>厕所、<br>边度、<br>前面、<br>转左、<br>火车站、<br>出口
</>
06-第六课
第六课<br>系边度呀?<br>海关系边度呀?<br>差馆系边度呀?<br>医院系边度呀?<br>课室系边度呀?<br>说说看,看图来记忆:<br>系边度呀?<br>邮局<br>车站<br>学校<br>银行<br>差馆<br>餐厅<br>会话一:<br>唔该地铁站系边度呀?<br>系前面转右。<br>好呀,唔该。<br>会话二:<br>边度有快餐店呀?<br>系车站隔离。<br>唔该晒。<br> 小词库:<br>地铁站、<br>前面、<br>转右、<br>快餐店、<br>隔离、<br>唔该晒
</>

谢谢诸位!!!

本帖最后由 flashercs 于 2018-9-21 09:51 编辑
  1. var xhr = (function () {
  2.     var aXMLHttpVers = ['MSXML2.XMLHTTP.6.0', 'MSXML2.XMLHTTP.3.0', 'MSXML2.XMLHTTP', 'Microsoft.XMLHTTP'];
  3.     for (var i = 0; i < aXMLHttpVers.length; i++) {
  4.         try {
  5.             return new ActiveXObject(aXMLHttpVers[i]);
  6.         } catch (error) { }
  7.     }
  8.     showError('Can\'t build XMLHTTP automation object.');
  9.     WScript.Quit(1);
  10. })();
  11. var fso = new ActiveXObject('Scripting.FileSystemObject'),
  12.     shell = new ActiveXObject('WScript.Shell'),
  13.     curDir,
  14.     url = 'http://www.chinapoesy.com/',
  15.     aTSIndex = ['TangShiAllIndex2.html', 'TangShiAllIndex1.html', 'TangShiAllIndex.html'],
  16.     aTSUrl = [],
  17.     arr,
  18.     outFile = 'tangshi.txt',//唐诗文本
  19.     reTSIndex = /<a[^>]+href=(['"])(.+?)\1[^>]*>\s*第\d+卷\s*<\/a>/gi,
  20.     rePoem = /<li[^>]+class="LiTitle"[^>]*>\s*<a[^>]+class="Green"[^>]*>\s*(.+?)\s*<\/a>[\S\s]+?<\/li>\s*<li[^>]+class="LiContent[^"]*"[^>]*>\s*<b>(.+?)<\/b>([\S\s]+?)<\/li>/gi,
  21.     rePB = /<[^>]*>|\r|\n/g,
  22.     reNextPage = /<a[^>]+href="\/([^"]+)"[^>]*>\s*<img\s+src="\/Images\/Pager\/nextn.gif"\s+border="0"[^>]*>\s*<\/a>/i,
  23.     aFields = ['作者', '标题', '正文'],
  24.     sSplit = '\t',
  25.     ts,
  26.     sHtml,
  27.     i,
  28.     l,
  29.     timer;
  30. timer = new Date();
  31. curDir = shell.CurrentDirectory = fso.GetParentFolderName(WScript.ScriptFullName);
  32. try {
  33.     ts = fso.OpenTextFile(outFile, 2, true);
  34. } catch (err) {
  35.     showError(err, 'Writing to ' + outFile);
  36.     WScript.Quit(2);
  37. }
  38. for (i = aTSIndex.length; i >= 0; i--) {
  39.     sHtml = getHtml(url + aTSIndex[i]);
  40.     while (arr = reTSIndex.exec(sHtml)) {
  41.         aTSUrl.push(arr[2]);
  42.     }
  43. }
  44. ts.WriteLine(aFields.join(sSplit));
  45. for (i = 0, l = aTSUrl.length; i < l; i++) {
  46.     writePoem(url + aTSUrl[i]);
  47.     //next page
  48.     while (arr = reNextPage.exec(sHtml)) {
  49.         writePoem(url + arr[1]);
  50.     }
  51. }
  52. ts.Close();
  53. WScript.Echo('Mission complete.\nTime elapsed: ' + (new Date() - timer) / 1000 + 's');
  54. WScript.Quit();
  55. function getHtml(URL) {
  56.     xhr.open('GET', URL, false);
  57.     xhr.send();
  58.     if (200 === xhr.status) {
  59.         return xhr.responseText;
  60.     }
  61.     showError('fetch URI "' + URL + '" failed.\nstatus: ' + xhr.status);
  62.     return '';
  63. }
  64. function writePoem(URL) {
  65.     sHtml = getHtml(URL);
  66.     while (arr = rePoem.exec(sHtml)) {
  67.         ts.WriteLine([arr[1], arr[2], arr[3].replace(rePB, '')].join(sSplit));
  68.     }
  69. }
  70. function showError(err, source) {
  71.     WScript.Echo('[object Error]' === Object.prototype.toString.call(err) ?
  72.         [
  73.             err.name,
  74.             'source: ' + (undefined === source ? '' : source),
  75.             'number: ' + (err.number >>> 0).toString(16),
  76.             'equipment: ' + (err.number >> 16 & 0x1FFF),
  77.             'code: ' + (err.number & 0xFFFF),
  78.             'Information: ' + err.message
  79.         ].join('\n')
  80.         :
  81.         err);
  82. }
复制代码
2

评分人数

TOP

回复 2# flashercs
想获得更多的栏目,不只是唐诗。
另外,想得到带有人气数据那一个作为标题。
谢谢!!

TOP

回复 3# lxh623


不明白楼主的意思,语言表达不清晰。
想要什么说不明白。
你不会发个截图吗?

TOP

回复 4# flashercs

    发截图是不可能发的,也就是只言片语才能解决问题这样子。
综合型编程论坛
Writing Code That Nobody Else Can Read.

TOP

本帖最后由 WHY 于 2018-9-24 23:03 编辑

js 脚本,依照第4行的样子修改第5行
或者:把第4行前面的注释删掉,再删掉第5行,可以下载7个栏目
  1. var fso = new ActiveXObject('Scripting.FileSystemObject');
  2. var http = new ActiveXObject('Microsoft.XMLHTTP');
  3. //var map = {'元曲':'YuanQu','诗经':'ShiJing','楚辞':'ChuCi','乐府诗集':'YueFu','其它古代':'Other','近现代诗':'XianDai','外国诗词':'ForeignPoesy'};
  4. var map = {'诗经':'ShiJing','楚辞':'ChuCi', '近现代诗':'XianDai'};
  5. var home = 'http://www.chinapoesy.com/';
  6. for (var key in map) {
  7.     var n = 0;
  8.     var url = home + map[key] + 'Index' + (key == '外国诗词' ? '.aspx' : '.html');
  9.     var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;
  10.     while(url != '') {
  11.         var txt = getText(url);
  12.         if(!n++) {
  13.             var m1 = txt.match(/\(按照人气排名\).*?href='(.*?\.html)'/);  //按照人气排名有 "更多..." ?
  14.             txt = m1 ? getText(home + m1[1]) : txt.match(/\(按照人气排名\)[\s\S]+?<\/table>/)[0];
  15.         }
  16.         var m2 = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ?
  17.         url = m2 ? home + m2[1] : '';
  18.         txt = m2 ? txt.match(/>查询中 请稍后…[\s\S]+?<\/table>/)[0] : txt;
  19.         while(arr=reg.exec(txt)) getPoesy(home + arr[1]);
  20.     }
  21. }
  22. //获取网页内容
  23. function getText(url) {
  24.     http.open('GET', url, false);
  25.     http.send();
  26.     with(new ActiveXObject('ADODB.Stream')){
  27.         Mode = 3; Type = 1;
  28.         Open();
  29.         Write(http.responseBody);
  30.         Position = 0;
  31.         Type = 2;
  32.         Charset = 'UTF-8';
  33.         var s = ReadText(-1);
  34.     }
  35.     return s;
  36. }
  37. //获取诗词
  38. function getPoesy(url) {
  39.     var reg = /href='(.+?\.html)'\s*target\s*=\s*"_blank"([\s\S]+?\(\d+\))/g;
  40.     while(url != '') {
  41.         var txt = getText(url);
  42.         var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);  //有 "下一页" ?
  43.         url = m ? home + m[1] : '';
  44.         txt = txt.match(/>编辑它<\/a>[\s\S]+?>关于我们<\/a>/);
  45.         while(arr=reg.exec(txt)) {
  46.             var s = getText(home + arr[1]);                                  //歌词内容
  47.             s = s.split('("#loading").css("display","none");')[1];
  48.             if(!s) return 0;        //某些特定诗词网址打不开,遇到这种情况继续
  49.             s = s.split('<script type="text/javascript">')[0];
  50.             //中文及标点字符后面加 <br />
  51.             s = s.replace(/([\u4E00-\u9FFF。?!,、:”)》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');
  52.             //删除所有标签,保留换行标签,删除空格和html转义空格
  53.             s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[  ]+/g, '');
  54.             s = s.replace(/<\/?br>|<br\/>/g, '<br />');   //<br>、</br>、<br/> 替换为 <br />
  55.             s = s.replace(/\r?\n/g, '');
  56.             s = s.replace(/^(?:<br \/>)+/, '');           //删除开头多余的标签
  57.             s = s.replace(/(<br \/>)+$/, '$1');           //删除结尾多余的标签
  58.             s = s.replace(/&middot;/g, '·').replace(/&ldquo;/g, '“').replace(/&rdquo;/g, '”');
  59.             s = s.replace(/&mdash;/g, '—').replace(/&quot;/g, '"');
  60.             s = s.replace(/(?:<br \/>)+/, '\t');          //第一次连续多个换行标签替换为 Tab
  61.             s = s.replace(/(<br \/>)+/, '$1');            //第二次连续多个换行标签替换为一个
  62.             var s1 = arr[2].replace(/[  \r\n]+/g, '').replace(/.*>/, '');  //标题+人气指数
  63.             writeToFile(s1 + '\t' + s);
  64.         }
  65.     }
  66. }
  67. //写入文本
  68. function writeToFile(str) {
  69.     var objFile = fso.OpenTextFile(key + '.Log', 8, true);
  70.     objFile.WriteLine(str);
  71.     objFile.Close();
  72. }
  73. WSH.Echo('Done')
复制代码
1

评分人数

TOP

本帖最后由 lxh623 于 2018-9-22 15:38 编辑

回复 6# WHY
各位大侠,想得到第二个链接的人气数字。
文本格式,用制表符分隔。
最后一个字段——正文的转行用html原有的,或者容易替换到“<br>”的。
谢谢!!

TOP

回复 7# lxh623


    以北岛的第一首诗 爱情故事 (136569)   为例,你想得到的结果是什么?
如果不容易描述,把你希望的文本格式用附件上传。

TOP

本帖最后由 lxh623 于 2018-9-22 15:48 编辑

回复 8# WHY
爱情故事 (136569)        爱情故事        北岛        毕竟,只有一个世界<br>为我们准备了成熟的夏天<br>我们却按成年人的规则<br>继续着孩子的游戏<br>不在乎倒在路旁的人<br>也不在乎搁浅的船<br><br>然而,造福于恋人的阳光<br>也在劳动者的脊背上<br>铺下漆黑而疲倦的夜晚<br>即使在约会的小路上<br>也会有仇人的目光相遇时<br>降落的冰霜<br><br>这不再是一个简单的故事<br>在这个故事了<br>有你和我,还有很多人<br>

网页不是<br>,可以用网页的 <br />等等。

另外一个朋友的代码,没有第一个字段,也没有转行代码。

谢谢!!!

TOP

本帖最后由 WHY 于 2018-9-22 18:12 编辑

回复 9# lxh623


    已修改,
如果需要合并成一个大的文本,替换第 76 行的 key 为指定的文件名,如:把 key 替换成 'E:/a.txt'

TOP

回复 10# WHY
http://www.chinapoesy.com/TangShi1166.html
这个结果没有转行代码。唐诗多半吧,宋词好得多。
下载了唐诗宋词,就停了。
再麻烦一下。

另外,可以不下载宋词那个栏目。希望是全宋词,http://www.chinapoesy.com/SongCiAllIndex_1.html
追加二十元,全唐诗。既然,做得到。这个要麻烦一些。需要单独一个脚本。
打开http://www.chinapoesy.com/TangShiAllIndex.html
每一卷打开,得到诗人的链接,写入文本。900卷。最后删除重复的,大约二千多诗人。然后每一个链接去获取。而且,每一个诗人可能多页,李白有18页。
做得到的话,也就不用下载唐诗。
祝你开心!

TOP

回复 11# lxh623


    唐诗网址中 html 换行标签不统一,把 6# 第63行改成这样子:
  1. s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[  ]+/g, '').replace(/<\/?br>|<br\/>/g, '<br />');
复制代码
宋词网址中又用段落标签代替换行标签,总之就是混乱。

6# 已经提示你,参考4行修改5行。

TOP

本帖最后由 WHY 于 2018-9-24 23:05 编辑

全唐诗.JS
  1. var fso  = new ActiveXObject('Scripting.FileSystemObject');
  2. var http = new ActiveXObject('Microsoft.XMLHTTP');
  3. var home = 'http://www.chinapoesy.com/';
  4. for (var i=0; i<=2; i++) {
  5.     var map = [], map_ = [];
  6.     var url = home + 'TangshiAllindex' + i + '.html';
  7.     var txt = getText(url);
  8.     txt = txt.split('class="Normal">下卷</a>')[1];
  9.     var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;
  10.     while(arr = reg.exec(txt)) {
  11.         url = home + arr[1];
  12.         while(url != '') {
  13.             var s = getText(url);           //歌词页面
  14.             var m = s.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);//有 "下一页" ?
  15.             url = m ? home + m[1] : '';
  16.             s = s.split('<!-- AspNetPager V6.0.0 for VS2005 End -->')[1];
  17.             if(!s) continue;
  18.             var a = s.split(/<\/li>\r?\n\s*<\/ul>\r?\n\s*\<\/div>/);
  19.             for(var j=0; j<a.length-1; j++) {
  20.                 var ti = a[j].match(/<b>(.*?)<\/b>/)[1];                         //诗词标题
  21.                 var au = a[j].match(/class="Green">\r?\n\s*([^\r\n]*)/)[1];      //作者名
  22.                 var li = a[j].match(/class="LiTitle"><a href='(.*?\.html)'/)[1]; //标题连接
  23.                 if(!map_[au]) {
  24.                     getPopularity(home + li);
  25.                     map_[au] = 1;
  26.                 }
  27.                 writeToFile(getPoesy(a[j]));
  28.             }
  29.         }
  30.     }
  31. }
  32. //获取网页内容
  33. function getText(url) {
  34.     http.open('GET', url, false);
  35.     http.send();
  36.     with(new ActiveXObject('ADODB.Stream')){
  37.         Mode = 3; Type = 1;
  38.         Open();
  39.         Write(http.responseBody);
  40.         Position = 0;
  41.         Type = 2;
  42.         Charset = 'UTF-8';
  43.         var s = ReadText(-1);
  44.     }
  45.     return s;
  46. }
  47. //获取人气指数
  48. function getPopularity(url) {
  49.     while(url != '') {
  50.         var s= getText(url);
  51.         var m = s.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ?
  52.         url = m ? home + m[1] : '';
  53.         s = s.split('<!-- AspNetPager V6.0.0 for VS2005 End -->')[1];
  54.         if(!s) return 0;
  55.         var reg = /title="([^"]*)\)">[\s\S]+?(\(\d*\))/g;
  56.         while(arr = reg.exec(s)) map[au + arr[1]] = arr[2];
  57.     }
  58. }
  59. //获取诗词
  60. function getPoesy(str) {
  61.     var s = str.replace(/>评论<\/a>/, '>');
  62.     s = s.replace(/([\u4E00-\u9FFF。?!,、:”)》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');
  63.     s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[  ]+/g, '');
  64.     s = s.replace(/<\/?br>|<br\/>/g, '<br />');
  65.     s = s.replace(/\r?\n/g, '');
  66.     s = s.replace(/^(?:<br \/>)+/, '');
  67.     s = s.replace(/(<br \/>)+$/, '$1');
  68.     s = s.replace(/(?:<br \/>)+/, '\t');
  69.     s = s.replace(/(<br \/>)+/, '$1');
  70.     return ti + map[au+ti] + '\t' + s;
  71. }
  72. //写入文本
  73. function writeToFile(str) {
  74.     var objFile = fso.OpenTextFile('全唐诗.Log', 8, true);
  75.     objFile.WriteLine(str);
  76.     objFile.Close();
  77. }
  78. WSH.Echo('Done')
复制代码
1

评分人数

TOP

本帖最后由 WHY 于 2018-9-24 23:07 编辑

全宋词.js
  1. var fso = new ActiveXObject('Scripting.FileSystemObject');
  2. var http = new ActiveXObject('Microsoft.XMLHTTP');
  3. var home = 'http://www.chinapoesy.com/';
  4. var url = home + 'SongCiAllIndex_1.html';
  5. var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;
  6. while(url != '') {
  7.     var txt = getText(url);
  8.     var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ?
  9.     url = m ? home + m[1] : '';
  10.     txt = txt.match(/>查询中 请稍后…[\s\S]+?<\/table>/)[0];
  11.     while(arr = reg.exec(txt)) getPoesy(home + arr[1]);
  12. }
  13. //获取网页内容
  14. function getText(url) {
  15.     http.open('GET', url, false);
  16.     http.send();
  17.     with(new ActiveXObject('ADODB.Stream')){
  18.         Mode = 3; Type = 1;
  19.         Open();
  20.         Write(http.responseBody);
  21.         Position = 0;
  22.         Type = 2;
  23.         Charset = 'UTF-8';
  24.         var s = ReadText(-1);
  25.     }
  26.     return s;
  27. }
  28. //获取诗词
  29. function getPoesy(url) {
  30.     var reg = /href='(.+?\.html)'\s*target\s*=\s*"_blank"([\s\S]+?)(\(\d+\))/g;
  31.     while(url != '') {
  32.         var txt = getText(url);
  33.         var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);  //有 "下一页" ?
  34.         url = m ? home + m[1] : '';
  35.         txt = txt.match(/>编辑它<\/a>[\s\S]+?>关于我们<\/a>/);
  36.         while(arr = reg.exec(txt)) {
  37.             var s = getText(home + arr[1]);                         //歌词内容
  38.             s = s.split('("#loading").css("display","none");')[1];
  39.             if(!s) return 0;
  40.             s = s.split('<script type="text/javascript">')[0];
  41.             s = s.replace(/([\u4E00-\u9FFF。?!,、:”)》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');
  42.             s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[  ]+/g, '');
  43.             s = s.replace(/<\/?br>|<br\/>/g, '<br />');
  44.             s = s.replace(/\r?\n/g, '');
  45.             s = s.replace(/^(?:<br \/>)+/, '');
  46.             s = s.replace(/(<br \/>)+$/, '$1');
  47.             s = s.replace(/(?:<br \/>)+/, '\t');
  48.             s = s.replace(/(<br \/>)+/, '$1');
  49.             var s1 = arr[2].match(/title\s*=\s*"([^"]*?)\)"/)[1];  //标题
  50.             var s2 = arr[3];                                       //人气指数
  51.             writeToFile(s1 + s2 + '\t' + s);
  52.         }
  53.     }
  54. }
  55. //写入文本
  56. function writeToFile(str) {
  57.     var objFile = fso.OpenTextFile('全宋词.Log', 8, true);
  58.     objFile.WriteLine(str);
  59.     objFile.Close();
  60. }
  61. WSH.Echo('Done')
复制代码
1

评分人数

TOP

本帖最后由 lxh623 于 2018-9-23 09:50 编辑

回复 14# WHY
总是一些转行,一些没有,因为网页有不同格式。
比如,http://www.chinapoesy.com/Foreig ... 2-F65E55B14201.html
可能网页没有任何转行代码。

请问,可以获得前三个字段为一行。(有两个制表符,可能用不着加A)
然后,诗歌正文用网页看得见的样子。会不会更好??
例如:
爱情故事 (136569)        爱情故事        北岛        
毕竟,只有一个世界
为我们准备了成熟的夏天
我们却按成年人的规则
继续着孩子的游戏
不在乎倒在路旁的人
也不在乎搁浅的船

然而,造福于恋人的阳光
也在劳动者的脊背上
……………

麻烦了!

TOP

返回列表