[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖

【已解决】30元扒网站数据

本帖最后由 lxh623 于 2018-9-25 19:50 编辑

http://www.chinapoesy.com/XianDaiAuthorList_1.html
有十个栏目,别的栏目左上,点击“XX诗人”可以到类似上面的网页。只有全唐诗好像没有。
想得到标题,如里面的链接文字。http://www.chinapoesy.com/XianDa ... A-3F3847ED3F05.html
点开这个得到诗歌名字、作者名字,和正文。作者前面,最好加个“作者:”。
正文最好就是那部分的html代码。
四个字段一行。用制表符或者别的规则符号隔开。

想做一个MDX字典。
不太懂电脑。有个最简单的例子。下面的文本可以做成字典。(说实话,我自己希望,下载了再来自己编辑标题字段,按照人气数据排序。再打包。)

05-第五课
第五课<br>系<br>我系屋企<br>餐厅系一楼<br>车站系对面<br>厕所系左手边<br>说说看,看图来记忆:<br>我住系附近<br>公园<br>图书馆<br>百货公司<br>医院<br>超级市场<br>邮局<br> 会话一<br>厕所系边度呀?<br>系前面转左。<br>唔该。<br>会话二<br>系边度等你呀?<br>系火车站出口。<br>好呀。<br> 小词库<br>厕所、<br>边度、<br>前面、<br>转左、<br>火车站、<br>出口
</>
06-第六课
第六课<br>系边度呀?<br>海关系边度呀?<br>差馆系边度呀?<br>医院系边度呀?<br>课室系边度呀?<br>说说看,看图来记忆:<br>系边度呀?<br>邮局<br>车站<br>学校<br>银行<br>差馆<br>餐厅<br>会话一:<br>唔该地铁站系边度呀?<br>系前面转右。<br>好呀,唔该。<br>会话二:<br>边度有快餐店呀?<br>系车站隔离。<br>唔该晒。<br> 小词库:<br>地铁站、<br>前面、<br>转右、<br>快餐店、<br>隔离、<br>唔该晒
</>

谢谢诸位!!!

回复 26# WHY

谢谢了!不好意思让您辛苦了!祝您节日快乐!

TOP

6、14、15 楼脚本更新,换行标签及人气指数问题已经解决
全唐诗、全宋词脚本分开写,实在不想再多花时间了。

TOP

回复 22# 523066680


    至少是个30W的项目
我帮忙写的代码不需要付钱。如果一定要给,请在微信群或QQ群发给大家吧。
【微信公众号、微信群、QQ群】http://bbs.bathome.net/thread-3473-1-1.html
【支持批处理之家,加入VIP会员!】http://bbs.bathome.net/thread-67716-1-1.html

TOP

回复 23# lxh623

TOP

回复 16# flashercs
下载了全唐诗,哪里修改代码,不再下载。谢谢!!

TOP

30元做了300元的工,业界良心,点赞。

TOP

回复 20# lxh623


    修改了下可以下载完整外国诗人了。

TOP

回复 19# flashercs
外国诗歌是我复制到文本,http://www.chinapoesy.com/ForeignAuthorList_1.html,处理得到数字,excel汇总的。您的是报错退出的?
再来一次,还是1923 。

全唐诗明天我再看看,数字字段,我知道,也是最后要处理到的样式。

TOP

本帖最后由 flashercs 于 2018-9-23 18:07 编辑

回复 18# lxh623


    四个字段分别是:作品名 人气热度 作者:作者名 正文

第二个数字是人气

47行 blQT=false;改为blQT=true;就是下载全唐诗
  1. blQT = true;
复制代码
这网站有很多已经删除的页面 站长没有统计 结果就出现404访问资源错误
于是全唐诗四万三千多怕是假数据。
外国诗歌哪有那么多?你看下下载的外国诗歌的最后一条是哪个诗人的什么诗歌,然后去网站最后一页去看看是否一致再说吧。
注:下载完了记得修改下载的文件名,如 “全唐诗.txt" 改名,否则再次下载会重新下载的,会浪费时间。
个人认为 作品名跟热度是两个字段,要分割开的好。
1

评分人数

TOP

本帖最后由 lxh623 于 2018-9-23 14:59 编辑

回复 13# WHY

全唐诗怎么没有第一个字段,数字那个。
得到42328,网站说43000多。不知道哪里少了?
谢谢!!

TOP

本帖最后由 lxh623 于 2018-9-23 15:01 编辑

回复 16# flashercs
外国诗歌下载1923就停了,大约3245个。
全唐诗怎么下载?
主要这两个。

谢谢!!

TOP

本帖最后由 flashercs 于 2018-9-24 01:37 编辑
  1. (function(e,t){function i(e,t,i,r,n){this.level=e,this.reChild=t,this.a2=r,this.next=n,this.tableText="",this.tableID=i}function r(e,t,i){var n,a,h,u=s(e);if(null===t.next)return n=t.getContent(u),void o.WriteLine([n[0],i[2],i[1],n[1]].join(f));for("author"===t.level&&(d[i[0]]&&(n=RegExp("<a[^>]+href=[\"']([^\"']+)[\"'][^>]*>\\s*"+l(d[i[0]])+"\\s*</a>","i").exec(u))&&(u=s(x+n[1])),a=T[i[0]]);;){for(;n=t.getChildren(u,a);){if(i.push("author"===t.level?"作者:"+n[1]:n[1]),"title"===t.level){h=n[1]+".txt";try{o=p.OpenTextFile(h,2,!0)}catch(e){c(e,"Opening file "+h);continue}}r(x+n[0],t.next,i),i.pop(),"title"===t.level&&o.Close()}if(!(n=b.exec(u)))break;u=s(x+n[1])}}function n(e){var t,i,n,l,a=["TangShiAllIndex2.html","TangShiAllIndex1.html","TangShiAllIndex.html"],h=/<a[^>]+href=(['"])(.+?)\1[^>]*>\s*第\d+卷\s*<\/a>/gi,u=/<li[^>]+class="LiTitle"[^>]*>\s*<a[^>]+href=["']([^"']+)["'][^>]+?class="Green"[^>]*>\s*(.+?)\s*<\/a>[\S\s]+?<\/li>/gi,g={};try{o=p.OpenTextFile(e,2,!0)}catch(t){return c(t,"Writing to "+e),!1}for(l=a.length-1;l>=0;l--)for(t=s(x+a[l]);n=h.exec(t);)for(i=s(x+n[2]);;){for(;n=u.exec(i);)g[n[1]]||(r(x+n[1],oArc.next.next,["全唐诗","作者:"+n[2]]),g[n[1]]=!0);if(!(n=b.exec(i)))break;i=s(x+n[1])}o.Close()}function l(e){return e.replace(/[()]/g,"\\$&")}function a(e){return e.replace(/^\s+|\s+$|/g,"")}function s(e){return u.open("GET",e,!1),u.send(),200===u.status?u.responseText:(c('fetch URI "'+e+'" failed.\nstatus: '+u.status),"")}function c(e,t){WScript.Echo("[object Error]"===Object.prototype.toString.call(e)?[e.name,"source: "+(void 0===t?"":t),"number: "+(e.number>>>0).toString(16),"equipment: "+(e.number>>16&8191),"code: "+(65535&e.number),"Information: "+e.message].join("\n"):e)}var o,h,u=function(){for(var e=["MSXML2.XMLHTTP.6.0","MSXML2.XMLHTTP.3.0","MSXML2.XMLHTTP","Microsoft.XMLHTTP"],t=0;t<e.length;t++)try{return new ActiveXObject(e[t])}catch(e){}c("Can't build XMLHTTP automation object."),WScript.Quit(1)}(),p=new ActiveXObject("Scripting.FileSystemObject"),g=new ActiveXObject("WScript.Shell"),x="http://www.chinapoesy.com/",b=/<a[^>]+href="\/([^"]+)"[^>]*>\s*<img\s+src="\/Images\/Pager\/nextn.gif"\s+border="0"[^>]*>\s*<\/a>/i,f="\t",d={"近现代诗":"近现代诗人全集","唐诗":"更多唐诗诗人","宋词":"更多宋词词人","元曲":"更多元曲名家","外国诗歌":"更多外国诗人"},T={"宋词":'id="DDlSongCi"',"元曲":'id="DDlSongCi"',"唐诗":'id="DDlTang"'};i.prototype.getChildren=function(e){var t;return""===this.tableText&&(this.tableText=RegExp("<table[^>]+"+l(this.tableID)+"[^>]*>[\\S\\s]+?</table>","i").exec(e)),(t=this.reChild.exec(this.tableText))?[t[this.a2[0]],t[this.a2[1]]]:(this.tableText="",null)},oArc=new i("content",null,"",null,null),oArc.getContent=function(e,t,i){var r;r=e.split(/<script\s+type="text\/javascript"[^>]*>\s*\$\("#loading"\)\.css\("display","none"\);\s*<\/script>|<(\w+)[^>]+id="Author\d*"[^>]*>[\S\s]*?<\/\1>|<script\s+type="text\/javascript">\s*<!--\s*google_ad_client[^<>]+?google_ad_slot[^<>]+?-->\s*<\/script>/gi);try{return[a(r[1].replace(/(?:<[^<>]*>|&nbsp;)+/g,"")).replace(/[\r\n]/g," "),r[2].replace(/(?:<[^<>]*>|&nbsp;)+/g,function(e){return/(?:<br\s*\/?>|<\/br>)+/i.test(e)?"<br />":""}).replace(/(?:<br \/>|\s)+/gi,"<br />")]}catch(e){return[]}},oArc=new i("article",/<a[^>]+href=["']([^"']+)["'][^>]*>([^<>]+)<\/a>/gi,'id="DLFeelingChina"',[1,2],oArc),oArc.getChildren=function(e,t){var i;return""===this.tableText&&(this.tableText=RegExp("<table[^>]+"+l(t||this.tableID)+"[^>]*>[\\S\\s]+?</table>","i").exec(e)),(i=this.reChild.exec(this.tableText))?[i[this.a2[0]],/\((\d+)\)/.exec(i[this.a2[1]])[1]]:(this.tableText="",null)},oArc=new i("author",/<a[^>]+href=["']([^"']+)["'][^>]*>([^<>]+)<\/a>/gi,'id="DLAtuhor"',[1,2],oArc),oArc.getChildren=function(e,t){var i;return""===this.tableText&&(this.tableText=RegExp("<table[^>]+"+l(t||this.tableID)+"[^>]*>[\\S\\s]+?</table>","i").exec(e)),(i=this.reChild.exec(this.tableText))?[i[this.a2[0]],i[this.a2[1]].replace(/\s+|\(\d*\)/g,"")]:(this.tableText="",null)},oArc=new i("title",RegExp("<a[^>]+href=[\"']/([^\"']+)[\"'][^>]*>("+t.join("|")+")</a>","gi"),'class="top"',[1,2],oArc),h=new Date,g.CurrentDirectory=p.GetParentFolderName(WScript.ScriptFullName),e&&n("全唐诗.txt"),r(x,oArc,[]),WScript.Echo("Mission complete.\nTime elapsed: "+(new Date-h)/1e3+"s"),WScript.Quit()})(!0,["唐诗","宋词","全宋词","元曲","诗经","楚辞","乐府诗集","近现代诗","外国诗歌"]);
  2. //第一个参数是否下载全唐诗,1=是,0=否;
  3. //第二个参数是除全唐诗以外的其他栏目列表。
复制代码
1

评分人数

TOP

本帖最后由 lxh623 于 2018-9-23 09:50 编辑

回复 14# WHY
总是一些转行,一些没有,因为网页有不同格式。
比如,http://www.chinapoesy.com/Foreig ... 2-F65E55B14201.html
可能网页没有任何转行代码。

请问,可以获得前三个字段为一行。(有两个制表符,可能用不着加A)
然后,诗歌正文用网页看得见的样子。会不会更好??
例如:
爱情故事 (136569)        爱情故事        北岛        
毕竟,只有一个世界
为我们准备了成熟的夏天
我们却按成年人的规则
继续着孩子的游戏
不在乎倒在路旁的人
也不在乎搁浅的船

然而,造福于恋人的阳光
也在劳动者的脊背上
……………

麻烦了!

TOP

本帖最后由 WHY 于 2018-9-24 23:07 编辑

全宋词.js
  1. var fso = new ActiveXObject('Scripting.FileSystemObject');
  2. var http = new ActiveXObject('Microsoft.XMLHTTP');
  3. var home = 'http://www.chinapoesy.com/';
  4. var url = home + 'SongCiAllIndex_1.html';
  5. var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;
  6. while(url != '') {
  7.     var txt = getText(url);
  8.     var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ?
  9.     url = m ? home + m[1] : '';
  10.     txt = txt.match(/>查询中 请稍后…[\s\S]+?<\/table>/)[0];
  11.     while(arr = reg.exec(txt)) getPoesy(home + arr[1]);
  12. }
  13. //获取网页内容
  14. function getText(url) {
  15.     http.open('GET', url, false);
  16.     http.send();
  17.     with(new ActiveXObject('ADODB.Stream')){
  18.         Mode = 3; Type = 1;
  19.         Open();
  20.         Write(http.responseBody);
  21.         Position = 0;
  22.         Type = 2;
  23.         Charset = 'UTF-8';
  24.         var s = ReadText(-1);
  25.     }
  26.     return s;
  27. }
  28. //获取诗词
  29. function getPoesy(url) {
  30.     var reg = /href='(.+?\.html)'\s*target\s*=\s*"_blank"([\s\S]+?)(\(\d+\))/g;
  31.     while(url != '') {
  32.         var txt = getText(url);
  33.         var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);  //有 "下一页" ?
  34.         url = m ? home + m[1] : '';
  35.         txt = txt.match(/>编辑它<\/a>[\s\S]+?>关于我们<\/a>/);
  36.         while(arr = reg.exec(txt)) {
  37.             var s = getText(home + arr[1]);                         //歌词内容
  38.             s = s.split('("#loading").css("display","none");')[1];
  39.             if(!s) return 0;
  40.             s = s.split('<script type="text/javascript">')[0];
  41.             s = s.replace(/([\u4E00-\u9FFF。?!,、:”)》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');
  42.             s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[  ]+/g, '');
  43.             s = s.replace(/<\/?br>|<br\/>/g, '<br />');
  44.             s = s.replace(/\r?\n/g, '');
  45.             s = s.replace(/^(?:<br \/>)+/, '');
  46.             s = s.replace(/(<br \/>)+$/, '$1');
  47.             s = s.replace(/(?:<br \/>)+/, '\t');
  48.             s = s.replace(/(<br \/>)+/, '$1');
  49.             var s1 = arr[2].match(/title\s*=\s*"([^"]*?)\)"/)[1];  //标题
  50.             var s2 = arr[3];                                       //人气指数
  51.             writeToFile(s1 + s2 + '\t' + s);
  52.         }
  53.     }
  54. }
  55. //写入文本
  56. function writeToFile(str) {
  57.     var objFile = fso.OpenTextFile('全宋词.Log', 8, true);
  58.     objFile.WriteLine(str);
  59.     objFile.Close();
  60. }
  61. WSH.Echo('Done')
复制代码
1

评分人数

TOP

返回列表