[已解决]批处理如何批量下载百度搜索结果中的每条链接指向的网页？

apang

回复 15# lxh623


    有几个文件没有下载可能与网络有关，也可能代码有缺陷，具体不清楚。

如果仅仅是html转换成txt，可以这样：
PS: HtoX32c 对文件名长度有限制，如果文件名过长直接退出。刚开始转换一直不成功，找好久才发现这个问题。

1. @set @n=0;/* & echo off
   
2. pushd HTML\
   
3. dir /b *.html *.aspx|cscript -nologo -e:jscript "%~0"
   
4. "%~dp0HtoX32c" /IP /O0 *.$
   
5. del *.$
   
6. pause & exit/b & rem */
   
7. 
   
8. var fso = new ActiveXObject("Scripting.FileSystemObject");
   
9. while(!WScript.StdIn.AtEndOfStream){SaveFile(WScript.StdIn.ReadLine())}
   
10. 
    
11. function SaveFile(file){
    
12.         var i = 0;
    
13.         with(new ActiveXObject("ADODB.Stream")){
    
14.                 Mode = 3;
    
15.                 Type = 2;
    
16.                 CharSet = "UTF-8";
    
17.                 Open();
    
18.                 LoadFromFile(file);
    
19.                 var txt =  ReadText().replace(/[\s\S]+>正文内容<.*\n/, "").split(">标签：<")[0];
    
20.                 txt = txt.replace(/&[a-z]+;/g, "");
    
21.                 var name = txt.match(/<h1>(.+?)<\/h1>/i)[1];
    
22.                 name = name.replace(/[\/\|\\:"<>\?\*]/g, "").replace(/(.{128}).*/, "$1");
    
23.                 var newname = name;
    
24.                 while(fso.FileExists(newname + ".$")){
    
25.                         i++;
    
26.                         newname = name + "[" + i + "]";
    
27.                 }
    
28.                 Position = 0;
    
29.                 CharSet = "GBK";
    
30.                 WriteText(txt);
    
31.                 SetEOS;
    
32.                 SaveToFile(newname + ".$");
    
33.         }
    
34. }

复制代码