[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
WHY

Rank: 6Rank: 6

帖子
1440 
积分
3185 
技术
554  
捐助
0  
注册时间
2015-7-19 
1楼 跳转到 »
发表于 2018-9-22 04:37 | 显示全部帖子
本帖最后由 WHY 于 2018-9-24 23:03 编辑

js 脚本，依照第4行的样子修改第5行
或者：把第4行前面的注释删掉，再删掉第5行，可以下载7个栏目
  1. var fso = new ActiveXObject('Scripting.FileSystemObject');

  2. var http = new ActiveXObject('Microsoft.XMLHTTP');

  3. 

  4. //var map = {'元曲':'YuanQu','诗经':'ShiJing','楚辞':'ChuCi','乐府诗集':'YueFu','其它古代':'Other','近现代诗':'XianDai','外国诗词':'ForeignPoesy'};

  5. var map = {'诗经':'ShiJing','楚辞':'ChuCi', '近现代诗':'XianDai'};

  6. var home = 'http://www.chinapoesy.com/';

  7. 

  8. for (var key in map) {

  9.     var n = 0;

  10.     var url = home + map[key] + 'Index' + (key == '外国诗词' ? '.aspx' : '.html');

  11.     var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;

  12.     while(url != '') {

  13.         var txt = getText(url);

  14.         if(!n++) {

  15.             var m1 = txt.match(/\(按照人气排名\).*?href='(.*?\.html)'/);  //按照人气排名有 "更多..." ？

  16.             txt = m1 ? getText(home + m1[1]) : txt.match(/\(按照人气排名\)[\s\S]+?<\/table>/)[0];

  17.         }

  18.         var m2 = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ？

  19.         url = m2 ? home + m2[1] : '';

  20.         txt = m2 ? txt.match(/>查询中 请稍后…[\s\S]+?<\/table>/)[0] : txt;

  21.         while(arr=reg.exec(txt)) getPoesy(home + arr[1]);

  22.     }

  23. }

  24. 

  25. //获取网页内容

  26. function getText(url) {

  27.     http.open('GET', url, false);

  28.     http.send();

  29.     with(new ActiveXObject('ADODB.Stream')){

  30.         Mode = 3; Type = 1;

  31.         Open();

  32.         Write(http.responseBody);

  33.         Position = 0;

  34.         Type = 2;

  35.         Charset = 'UTF-8';

  36.         var s = ReadText(-1);

  37.     }

  38.     return s;

  39. }

  40. 

  41. //获取诗词

  42. function getPoesy(url) {

  43.     var reg = /href='(.+?\.html)'\s*target\s*=\s*"_blank"([\s\S]+?\(\d+\))/g;

  44.     while(url != '') {

  45.         var txt = getText(url);

  46.         var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);  //有 "下一页" ？

  47.         url = m ? home + m[1] : '';

  48.         txt = txt.match(/>编辑它<\/a>[\s\S]+?>关于我们<\/a>/);

  49.         while(arr=reg.exec(txt)) {

  50.             var s = getText(home + arr[1]);                                  //歌词内容

  51.             s = s.split('("#loading").css("display","none");')[1];

  52.             if(!s) return 0;        //某些特定诗词网址打不开，遇到这种情况继续

  53.             s = s.split('<script type="text/javascript">')[0];

  54.             //中文及标点字符后面加 <br />

  55.             s = s.replace(/([\u4E00-\u9FFF。？！，、：”）》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');

  56.             //删除所有标签，保留换行标签，删除空格和html转义空格

  57.             s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[ 	　]+/g, '');

  58.             s = s.replace(/<\/?br>|<br\/>/g, '<br />');   //<br>、</br>、<br/> 替换为 <br />

  59.             s = s.replace(/\r?\n/g, '');

  60.             s = s.replace(/^(?:<br \/>)+/, '');           //删除开头多余的标签

  61.             s = s.replace(/(<br \/>)+$/, '$1');           //删除结尾多余的标签

  62.             s = s.replace(/&middot;/g, '·').replace(/&ldquo;/g, '“').replace(/&rdquo;/g, '”');

  63.             s = s.replace(/&mdash;/g, '—').replace(/&quot;/g, '"');

  64.             s = s.replace(/(?:<br \/>)+/, '\t');          //第一次连续多个换行标签替换为 Tab

  65.             s = s.replace(/(<br \/>)+/, '$1');            //第二次连续多个换行标签替换为一个

  66.             var s1 = arr[2].replace(/[ 	　\r\n]+/g, '').replace(/.*>/, '');  //标题+人气指数

  67.             writeToFile(s1 + '\t' + s);

  68.         }

  69.     }

  70. }

  71. 

  72. //写入文本

  73. function writeToFile(str) {

  74.     var objFile = fso.OpenTextFile(key + '.Log', 8, true);

  75.     objFile.WriteLine(str);

  76.     objFile.Close();

  77. }

  78. 

  79. WSH.Echo('Done')
复制代码
1

评分人数

TOP

WHY

Rank: 6Rank: 6

帖子
1440 
积分
3185 
技术
554  
捐助
0  
注册时间
2015-7-19 
2楼
发表于 2018-9-22 15:30 | 显示全部帖子
回复 7# lxh623


    以北岛的第一首诗 爱情故事 (136569)   为例，你想得到的结果是什么？
如果不容易描述，把你希望的文本格式用附件上传。

TOP

WHY

Rank: 6Rank: 6

帖子
1440 
积分
3185 
技术
554  
捐助
0  
注册时间
2015-7-19 
3楼
发表于 2018-9-22 18:07 | 显示全部帖子
本帖最后由 WHY 于 2018-9-22 18:12 编辑

回复 9# lxh623


    已修改，
如果需要合并成一个大的文本，替换第 76 行的 key 为指定的文件名，如：把 key 替换成 'E:/a.txt'

TOP

WHY

Rank: 6Rank: 6

帖子
1440 
积分
3185 
技术
554  
捐助
0  
注册时间
2015-7-19 
4楼
发表于 2018-9-23 02:44 | 显示全部帖子
回复 11# lxh623


    唐诗网址中 html 换行标签不统一，把 6# 第63行改成这样子：
  1. s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[ 	　]+/g, '').replace(/<\/?br>|<br\/>/g, '<br />');
复制代码
宋词网址中又用段落标签代替换行标签，总之就是混乱。

6# 已经提示你，参考4行修改5行。

TOP

WHY

Rank: 6Rank: 6

帖子
1440 
积分
3185 
技术
554  
捐助
0  
注册时间
2015-7-19 
5楼
发表于 2018-9-23 02:54 | 显示全部帖子
本帖最后由 WHY 于 2018-9-24 23:05 编辑

全唐诗.JS
  1. var fso  = new ActiveXObject('Scripting.FileSystemObject');

  2. var http = new ActiveXObject('Microsoft.XMLHTTP');

  3. var home = 'http://www.chinapoesy.com/';

  4. 

  5. for (var i=0; i<=2; i++) {

  6.     var map = [], map_ = [];

  7.     var url = home + 'TangshiAllindex' + i + '.html';

  8.     var txt = getText(url);

  9.     txt = txt.split('class="Normal">下卷</a>')[1];

  10.     var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;

  11. 

  12.     while(arr = reg.exec(txt)) {

  13.         url = home + arr[1];

  14.         while(url != '') {

  15.             var s = getText(url);           //歌词页面

  16.             var m = s.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);//有 "下一页" ？

  17.             url = m ? home + m[1] : '';

  18.             s = s.split('<!-- AspNetPager V6.0.0 for VS2005 End -->')[1];

  19.             if(!s) continue;

  20.             var a = s.split(/<\/li>\r?\n\s*<\/ul>\r?\n\s*\<\/div>/);

  21.             for(var j=0; j<a.length-1; j++) {

  22.                 var ti = a[j].match(/<b>(.*?)<\/b>/)[1];                         //诗词标题

  23.                 var au = a[j].match(/class="Green">\r?\n\s*([^\r\n]*)/)[1];      //作者名

  24.                 var li = a[j].match(/class="LiTitle"><a href='(.*?\.html)'/)[1]; //标题连接

  25.                 if(!map_[au]) {

  26.                     getPopularity(home + li);

  27.                     map_[au] = 1;

  28.                 }

  29.                 writeToFile(getPoesy(a[j]));

  30.             }

  31.         }

  32.     }

  33. }

  34. 

  35. //获取网页内容

  36. function getText(url) {

  37.     http.open('GET', url, false);

  38.     http.send();

  39.     with(new ActiveXObject('ADODB.Stream')){

  40.         Mode = 3; Type = 1;

  41.         Open();

  42.         Write(http.responseBody);

  43.         Position = 0;

  44.         Type = 2;

  45.         Charset = 'UTF-8';

  46.         var s = ReadText(-1);

  47.     }

  48.     return s;

  49. }

  50. 

  51. //获取人气指数

  52. function getPopularity(url) {

  53.     while(url != '') {

  54.         var s= getText(url);

  55.         var m = s.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ？

  56.         url = m ? home + m[1] : '';

  57.         s = s.split('<!-- AspNetPager V6.0.0 for VS2005 End -->')[1];

  58.         if(!s) return 0;

  59.         var reg = /title="([^"]*)\)">[\s\S]+?(\(\d*\))/g;

  60.         while(arr = reg.exec(s)) map[au + arr[1]] = arr[2];

  61.     }

  62. }

  63. 

  64. //获取诗词

  65. function getPoesy(str) {

  66.     var s = str.replace(/>评论<\/a>/, '>');

  67.     s = s.replace(/([\u4E00-\u9FFF。？！，、：”）》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');

  68.     s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[ 	　]+/g, '');

  69.     s = s.replace(/<\/?br>|<br\/>/g, '<br />');

  70.     s = s.replace(/\r?\n/g, '');

  71.     s = s.replace(/^(?:<br \/>)+/, '');

  72.     s = s.replace(/(<br \/>)+$/, '$1');

  73.     s = s.replace(/(?:<br \/>)+/, '\t');

  74.     s = s.replace(/(<br \/>)+/, '$1');

  75.     return ti + map[au+ti] + '\t' + s;

  76. }

  77. 

  78. //写入文本

  79. function writeToFile(str) {

  80.     var objFile = fso.OpenTextFile('全唐诗.Log', 8, true);

  81.     objFile.WriteLine(str);

  82.     objFile.Close();

  83. }

  84. 

  85. WSH.Echo('Done')
复制代码
1

评分人数

TOP

WHY

Rank: 6Rank: 6

帖子
1440 
积分
3185 
技术
554  
捐助
0  
注册时间
2015-7-19 
6楼
发表于 2018-9-23 03:02 | 显示全部帖子
本帖最后由 WHY 于 2018-9-24 23:07 编辑

全宋词.js
  1. var fso = new ActiveXObject('Scripting.FileSystemObject');

  2. var http = new ActiveXObject('Microsoft.XMLHTTP');

  3. 

  4. var home = 'http://www.chinapoesy.com/';

  5. var url = home + 'SongCiAllIndex_1.html';

  6. var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;

  7. 

  8. while(url != '') {

  9.     var txt = getText(url);

  10.     var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ？

  11.     url = m ? home + m[1] : '';

  12.     txt = txt.match(/>查询中 请稍后…[\s\S]+?<\/table>/)[0];

  13.     while(arr = reg.exec(txt)) getPoesy(home + arr[1]);

  14. }

  15. 

  16. //获取网页内容

  17. function getText(url) {

  18.     http.open('GET', url, false);

  19.     http.send();

  20.     with(new ActiveXObject('ADODB.Stream')){

  21.         Mode = 3; Type = 1;

  22.         Open();

  23.         Write(http.responseBody);

  24.         Position = 0;

  25.         Type = 2;

  26.         Charset = 'UTF-8';

  27.         var s = ReadText(-1);

  28.     }

  29.     return s;

  30. }

  31. 

  32. //获取诗词

  33. function getPoesy(url) {

  34.     var reg = /href='(.+?\.html)'\s*target\s*=\s*"_blank"([\s\S]+?)(\(\d+\))/g;

  35.     while(url != '') {

  36.         var txt = getText(url);

  37.         var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);  //有 "下一页" ？

  38.         url = m ? home + m[1] : '';

  39.         txt = txt.match(/>编辑它<\/a>[\s\S]+?>关于我们<\/a>/);

  40.         while(arr = reg.exec(txt)) {

  41.             var s = getText(home + arr[1]);                         //歌词内容

  42.             s = s.split('("#loading").css("display","none");')[1];

  43.             if(!s) return 0;

  44.             s = s.split('<script type="text/javascript">')[0];

  45.             s = s.replace(/([\u4E00-\u9FFF。？！，、：”）》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');

  46.             s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[ 	　]+/g, '');

  47.             s = s.replace(/<\/?br>|<br\/>/g, '<br />');

  48.             s = s.replace(/\r?\n/g, '');

  49.             s = s.replace(/^(?:<br \/>)+/, '');

  50.             s = s.replace(/(<br \/>)+$/, '$1');

  51.             s = s.replace(/(?:<br \/>)+/, '\t');

  52.             s = s.replace(/(<br \/>)+/, '$1'); 

  53.             var s1 = arr[2].match(/title\s*=\s*"([^"]*?)\)"/)[1];  //标题

  54.             var s2 = arr[3];                                       //人气指数

  55.             writeToFile(s1 + s2 + '\t' + s);

  56.         }

  57.     }

  58. }

  59. 

  60. //写入文本

  61. function writeToFile(str) {

  62.     var objFile = fso.OpenTextFile('全宋词.Log', 8, true);

  63.     objFile.WriteLine(str);

  64.     objFile.Close();

  65. }

  66. 

  67. WSH.Echo('Done')
复制代码
1

评分人数

TOP

WHY

Rank: 6Rank: 6

帖子
1440 
积分
3185 
技术
554  
捐助
0  
注册时间
2015-7-19 
7楼
发表于 2018-9-24 23:13 | 显示全部帖子
6、14、15 楼脚本更新，换行标签及人气指数问题已经解决
全唐诗、全宋词脚本分开写，实在不想再多花时间了。

TOP

返回列表