[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
123456
返回列表 发帖
lxh623

Rank: 5Rank: 5

帖子
418 
积分
811 
技术
2  
捐助
0  
注册时间
2008-11-24 
18楼 跳转到 »
发表于 2018-11-24 15:25 | 只看该作者
文本提取还有几天，之后，再来了结。谢谢！

TOP

lxh623

Rank: 5Rank: 5

帖子
418 
积分
811 
技术
2  
捐助
0  
注册时间
2008-11-24 
17楼
发表于 2018-11-23 15:00 | 只看该作者
本帖最后由 lxh623 于 2018-11-23 15:28 编辑

两位都在。新的问题是怎样下载百度搜索结果页面。这是以前我没有下载到的一个。
我想把文本a的每一行打开，搜索，结果数量从1-99，具体不知道。怎样全部下载百度结果的html，也不知道会不会重名。
类似网址：https://www.baidu.com/s?q1=《目送》&q2=&q3=&q4=&gpc=stf&ft=&q5=&q6=www.juzimi.com&tn=baiduadv

以后，我准备提取含有writer或者article的链接的缓存。再去下载。当然，直接提取这样的网址或者下载这样的快照页面更好了。
还是20 。谢谢！

TOP

lxh623

Rank: 5Rank: 5

帖子
418 
积分
811 
技术
2  
捐助
0  
注册时间
2008-11-24 
16楼
发表于 2018-11-23 14:52 | 只看该作者
看不大懂说的意思. 假装看懂了....我语文从来不及格的...
假设当前目录是E:\abc ,分类子目录有 0 ,1 ,2 ,3 ...
flashercs 发表于 2018-11-23 12:54

分别合成一个文本。谢谢！
还没有下载完。

TOP

WHY

Rank: 6Rank: 6

帖子
1482 
积分
3266 
技术
567  
捐助
0  
注册时间
2015-7-19 
15楼
发表于 2018-11-23 14:44 | 只看该作者
本帖最后由 WHY 于 2018-12-4 23:45 编辑

假设从 http://www.52shici.com 下载的 html 存放在 E:\52shici 目录下。
也是分两个脚本，52shici.bat 和 52shici.PS1，两个脚本存放在同一文件夹下，双击 bat 文件运行。

52shici.bat
  1. @echo off

  2. set "htmlPath=E:\52shici"

  3. dir /b /s "%htmlPath%\*.html" > List.txt

  4. PowerShell -exec ByPass -f "52shici.PS1" List.txt

  5. del List.txt

  6. pause
复制代码
52shici.PS1
  1. param([String]$ListFile);

  2. $stream = New-Object IO.StreamWriter('52shici.Log', $True, [Text.Encoding]::UTF8);

  3. $reg1 = [regex]'<em>([^<>]*)</em>\s*<span class="author">([^<>]*)</span>';

  4. $reg2 = [regex]'<div class="works-content"[\s\S]*被阅读过\s*\d+\s*次';

  5. 

  6. forEach ($file In (type $ListFile -ReadCount 0)) {

  7.     $str = [IO.File]::ReadAllText($file, [Text.Encoding]::UTF8);

  8.     $m1  = $reg1.Match($str);

  9.     $m2  = $reg2.Match($str);

  10.     If ($m1.Success -and $m2.Success) {

  11.         $s = 'TTT' + $m1.Groups[1].Value + $m1.Groups[2].Value + "`r`n";

  12.         $s += $m2.Groups[0].Value;;

  13.         $s = $s -replace '(?<!\r)\n', '\r\n';

  14.         $s = $s -replace '&nbsp;|<(?!br)[^>]*>';

  15.         $s = $s -replace '(?m)^\s+';

  16.         $stream.WriteLine($s + "`r`n");

  17.         If (++$n % 6000 -eq 0) { $stream.Flush(); }

  18.     }

  19. }

  20. $stream.Close();
复制代码

TOP

WHY

Rank: 6Rank: 6

帖子
1482 
积分
3266 
技术
567  
捐助
0  
注册时间
2015-7-19 
14楼
发表于 2018-11-23 14:39 | 只看该作者
本帖最后由 WHY 于 2018-11-26 21:09 编辑

回复 11# lxh623


    假设从 http://www.zgshige.com 下载的 html 存放在 E:\zgshige 目录下。
分两个脚本，zgshige.bat 和 zgshige.PS1，两个脚本存放在同一目录下，双击 bat 文件运行。

zgshige.bat
  1. @echo off

  2. set "htmlPath=E:\zgshige"

  3. dir /b /s "%htmlPath%\*.html" > List.txt

  4. PowerShell -exec ByPass -f "zgshige.PS1" List.txt

  5. del List.txt

  6. pause
复制代码
zgshige.PS1
  1. param([String]$ListFile);

  2. $stream = New-Object IO.StreamWriter('zgshige.Log', $True, [Text.Encoding]::UTF8);

  3. 

  4. forEach ($file In (type $ListFile -ReadCount 0)) {

  5.     $str = [IO.File]::ReadAllText($file, [Text.Encoding]::UTF8);

  6.     $arr = $str -split '<!--\s*诗歌正文(?:开始|结束)\s*-->';

  7.     If ($arr.Count -eq 3) {

  8.         $s = $arr[1] -replace '<h3>(?!TTT)', '$&TTT';

  9.         $s = $s -replace '(?<!\r)\n', "`r`n";

  10.         $s = $s -replace '&nbsp;|<(?!br)[^>]*>';

  11.         $s = $s -replace '(?m)^\s+';

  12.         $stream.WriteLine($s + "`r`n");

  13.         If (++$n % 6000 -eq 0) { $stream.Flush(); }

  14.     }

  15. }

  16. $stream.Close();
复制代码

TOP

flashercs

Rank: 6Rank: 6

帖子
1250 
积分
2216 
技术
279  
捐助
0  
注册时间
2017-3-20 
13楼
发表于 2018-11-23 13:42 | 只看该作者
本帖最后由 flashercs 于 2018-12-6 22:28 编辑

提取zgshige.bat
  1. @echo off

  2. REM 设置htmlRoot = zgshige的html文件根目录

  3. set "htmlRoot=E:\PowerShell\WebHttpRequest\zgshige\htmlsrc"

  4. REM 设置txtFilePath = 提取的文本文件名

  5. set "txtFilePath=提取zgshige.txt"

  6. for /f "tokens=1 delims=:" %%A in ('findstr /n "#######*" %0') do more +%%A %0 >"%~dpn0.ps1"

  7. powershell.exe -ExecutionPolicy Bypass -File "%~dpn0.ps1" "%htmlRoot%" "%~dp0%txtFilePath%" 

  8. pause

  9. exit /b

  10. ################################################################

  11. param([string]$htmlRoot, [string]$txtFilePath)

  12. $sw = [System.IO.StreamWriter]::new($txtFilePath, $true, [System.Text.Encoding]::Unicode)

  13. $sw.AutoFlush = $true

  14. # [string]$scriptPath = [System.IO.Path]::GetDirectoryName($MyInvocation.MyCommand.Defination)

  15. $htmldoc = New-Object -ComObject htmlfile

  16. $null = $htmldoc.IHTMLDocument2_open()

  17. $htmldoc.IHTMLDocument2_write('<!DOCTYPE html><html><head><meta charset="utf-8" /><meta http-equiv="X-UA-Compatible" content="IE=edge"><title>Page Title</title><meta name="viewport" content="width=device-width, initial-scale=1"></head><body></body></html>')

  18. $htmldoc.IHTMLDocument2_close()

  19. [System.IO.Directory]::GetFiles($htmlRoot, '*.html', [System.IO.SearchOption]::AllDirectories)|ForEach-Object {

  20.     $m = [System.IO.File]::ReadAllText($_, [System.Text.Encoding]::UTF8) -match '(?<=<!-- 诗歌正文开始 -->)[\s\S]+(?=<!-- 诗歌正文结束 -->)'

  21.     if ($m) {

  22.         Write-Host "提取$_" -ForegroundColor Green

  23.         try {

  24.             $htmldoc.body.innerHTML = $Matches[0]

  25.             $title = 'TTT ' + $htmldoc.body.getElementsByTagName('h3')[0].innerText

  26.             $author = $htmldoc.body.children[1].children[0].children[0].innerText

  27.             $content = $htmldoc.body.getElementsByClassName('m-lg font14')[0].innerText

  28.             $sw.WriteLine((($title + "`r`n" + $author + "`r`n" + $content + "`r`n") -replace "\r?\n\s*", "<br/>`r`n"))

  29.         }

  30.         catch {

  31.                 

  32.         }

  33.     }

  34. }

  35. Remove-Variable -Name htmldoc

  36. $sw.Close()
复制代码

TOP

flashercs

Rank: 6Rank: 6

帖子
1250 
积分
2216 
技术
279  
捐助
0  
注册时间
2017-3-20 
12楼
发表于 2018-11-23 12:54 | 只看该作者
本帖最后由 flashercs 于 2018-12-6 22:27 编辑

先设置52shici.html的根目录路径;
保存 提取52shici_Works.bat
  1. @echo off

  2. REM 设置htmlRoot = 52shici的html文件根目录

  3. set "htmlRoot=E:\PowerShell\WebHttpRequest\52shici\html"

  4. REM 设置txtFilePath = 提取的文本文件名,放在脚本同目录下

  5. set "txtFilePath=提取52shici.txt"

  6. for /f "tokens=1 delims=:" %%A in ('findstr /n "#######*" %0') do more +%%A %0 >"%~dpn0.ps1"

  7. powershell.exe -ExecutionPolicy Bypass -File "%~dpn0.ps1" "%htmlRoot%" "%~dp0%txtFilePath%" 

  8. pause

  9. exit /b

  10. ################################################################

  11. param([string]$htmlRoot, [string]$txtFilePath)

  12. $sw = [System.IO.StreamWriter]::new($txtFilePath, $true, [System.Text.Encoding]::Unicode)

  13. $sw.AutoFlush = $true

  14. # [string]$scriptPath = [System.IO.Path]::GetDirectoryName($MyInvocation.MyCommand.Defination)

  15. $htmldoc = New-Object -ComObject htmlfile

  16. $null = $htmldoc.IHTMLDocument2_open()

  17. $htmldoc.IHTMLDocument2_write('<!DOCTYPE html><html><head><meta charset="utf-8" /><meta http-equiv="X-UA-Compatible" content="IE=edge"><title>Page Title</title><meta name="viewport" content="width=device-width, initial-scale=1"></head><body></body></html>')

  18. $htmldoc.IHTMLDocument2_close()

  19. [System.IO.Directory]::GetFiles($htmlRoot, '*.html', [System.IO.SearchOption]::AllDirectories)|ForEach-Object {

  20.     $m = [System.IO.File]::ReadAllText($_, [System.Text.Encoding]::UTF8) -match '<div class="main"[\s\S]+(?=<!--main end -->)'

  21.     if ($m) {

  22.         Write-Host "提取$_" -ForegroundColor Green

  23.         try {

  24.             $htmldoc.body.innerHTML = $Matches[0]

  25.             $div = $htmldoc.body.firstChild

  26.             $nodeh1 = $div.getElementsByClassName('works-h1')[0]

  27.             $title = 'TTT ' + $nodeh1.children[0].innerText

  28.             $author = $nodeh1.children[1].innerText

  29.             $content = $div.getElementsByClassName('works-content')[0].innerText

  30.             $sw.WriteLine((($title + "`r`n" + $author + "`r`n" + $content + "`r`n") -replace "`r?`n\s*", "<br/>`r`n"))

  31.         }

  32.         catch {

  33.                 

  34.         }

  35.     }

  36. }

  37. Remove-Variable -Name htmldoc

  38. $sw.Close()
复制代码

TOP

lxh623

Rank: 5Rank: 5

帖子
418 
积分
811 
技术
2  
捐助
0  
注册时间
2008-11-24 
11楼
发表于 2018-11-23 07:49 | 只看该作者
另一个问题是，怎样从本地以日子或类别命名的文件夹，一次性提取一个txt。要求还是标题加TTT 。
下载到本地的html，可以检查是否缺页。
一个15元。谢谢！

TOP

lxh623

Rank: 5Rank: 5

帖子
418 
积分
811 
技术
2  
捐助
0  
注册时间
2008-11-24 
10楼
发表于 2018-11-20 11:03 | 只看该作者
楼主是win7吗?powershell 是2.0 版本?
下载第一个网站的
保存为zgshige.bat
flashercs 发表于 2018-11-19 14:40

这个第10行的数字不像以前一个可以修改吧？谢谢！

TOP

flashercs

Rank: 6Rank: 6

帖子
1250 
积分
2216 
技术
279  
捐助
0  
注册时间
2017-3-20 
9楼
发表于 2018-11-20 09:03 | 只看该作者
52shici还有两个内容 works 和 posts 开始搞错了都......也不知要哪个?都弄上吧.
52shiciWorks.bat
  1. 0<1/*,:

  2. @echo off

  3. CScript.exe -nologo -e:jscript %0

  4. pause

  5. exit /b

  6. */;

  7. (function () {

  8.     var xhr = (function () {

  9.         var aXMLHttpVers = ['MSXML2.XMLHTTP.6.0', 'MSXML2.XMLHTTP.3.0', 'MSXML2.XMLHTTP', 'Microsoft.XMLHTTP'];

  10.         for (var i = 0; i < aXMLHttpVers.length; i++) {

  11.             try {

  12.                 return new ActiveXObject(aXMLHttpVers[i]);

  13.             } catch (error) { }

  14.         }

  15.         showError('Can\'t build XMLHTTP automation object.');

  16.         WScript.Quit(1);

  17.     })(),

  18.         fso = new ActiveXObject('Scripting.FileSystemObject'),

  19.         htmldoc = new ActiveXObject('htmlfile'),

  20.         domain = "http://www.52shici.com",

  21.         outFile = "52shici_works.txt",

  22.         cacheFile = "cache_52shici_works.txt",

  23.         tsOut,

  24.         tsCache,

  25.         oCache = {},

  26.         url,

  27.         reCrLfS = /\r?\n */g,

  28.         i,

  29.         l,

  30.         aIndex = [];

  31.     new ActiveXObject('WScript.Shell').CurrentDirectory = fso.GetParentFolderName(WScript.ScriptFullName);

  32.     try {

  33.         tsCache = fso.OpenTextFile(cacheFile, 1, true);

  34.     } catch (e) {

  35.         showError('can not read cache file ' + cacheFile);

  36.         WScript.Quit(1);

  37.     }

  38.     while (!tsCache.AtEndOfStream) {

  39.         oCache[tsCache.ReadLine()] = true;

  40.     }

  41.     tsCache.Close();

  42.     try {

  43.         tsCache = fso.OpenTextFile(cacheFile, 8, true);

  44.     } catch (e) {

  45.         showError(e, 'can not write cache file ' + cacheFile);

  46.         WScript.Quit(2);

  47.     }

  48.     try {

  49.         tsOut = fso.OpenTextFile(outFile, 8, true, -1);//unicode encoding

  50.     } catch (e) {

  51.         showError(e, 'can not write file ' + outFile);

  52.         WScript.Quit(3);

  53.     }

  54.     // main

  55.     for (var type = 0; type <= 19; ++type) {

  56.         var url = 'http://www.52shici.com/original.php?type=' + type + '&page=';

  57.         var totalPages;

  58.         if (!getHTMLindex(url + 1, true)) continue;

  59.         var body = htmldoc.body;

  60.         totalPgs = body.lastChild.innerText.match(/当前\d+\/(\d+)页/)[1];

  61.         WSH.Echo('totalpages=' + totalPgs);

  62.         for (var m = 1; m <= totalPgs; ++m) {

  63.             if (oCache[url + m] || !getHTMLindex(url + m)) continue;

  64.             body = htmldoc.body;

  65.             var aList = body.getElementsByTagName('a');

  66.             aIndex.length = 0;

  67.             for (i = 0, l = aList.length; i < l; ++i) {

  68.                 aIndex.push(parseURL(aList[i].getAttribute('href'), url));

  69.             }

  70.             for (i = 0, l = aIndex.length; i < l; ++i) {

  71.                 getContent(aIndex[i]);

  72.             }

  73.             tsCache.WriteLine(url + m);

  74.         }

  75. 

  76.     }

  77.     tsOut.close();

  78.     tsCache.close();

  79.     WScript.Quit();

  80.     function getContent(url) {

  81.         if (oCache[url] || !getHTML(url)) return;

  82.         var main = htmldoc.body.children[0];

  83.         var nodes = main.children;

  84.         try {

  85.             for (var i = 0, l = nodes.length; i < l; ++i) {

  86.                 var item = nodes[i];

  87.                 switch (item.className) {

  88.                     case 'works-h1':

  89.                         var title = 'TTT ' + item.children[0].innerText;

  90.                         // WSH.Echo( 'title: '+title);

  91.                         var author = item.children[1].innerText.replace('文/', '作者：');

  92.                         // WSH.Echo( 'author: '+author);

  93.                         break;

  94.                     case 'works-content':

  95.                         var content = item.innerText;

  96.                         i = l;

  97.                         break;

  98.                     default:

  99.                         break;

  100.                 }

  101.             }

  102.             tsOut.WriteLine((title + '\r\n' + author + '\r\n' + content).replace(reCrLfS, '<br/>\r\n'));

  103.             tsCache.WriteLine(url);

  104.         } catch (e) {

  105.             showError(e);

  106.         }

  107. 

  108.     }

  109. 

  110.     function showError(err, source) {

  111.         WScript.StdOut.WriteLine('[object Error]' === Object.prototype.toString.call(err) ?

  112.             [

  113.                 err.name,

  114.                 'source: ' + (undefined === source ? '' : source),

  115.                 'number: ' + (err.number >>> 0).toString(16),

  116.                 'Information: ' + err.message

  117.             ].join('\r\n')

  118.             :

  119.             err);

  120.     }

  121.     function getHTMLindex(url, boltotalPages) {

  122.         WScript.StdOut.Write('fetching ' + url + '...')

  123.         xhr.open('GET', url, false);

  124.         xhr.setRequestHeader('Accept', 'text/html, application/xhtml+xml, application/xml; q=0.9, */*; q=0.8');

  125.         xhr.setRequestHeader('Accept-Language', 'en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3');

  126.         xhr.setRequestHeader('host', 'www.52shici.com/');

  127.         xhr.setRequestHeader('Connection', 'close');

  128.         xhr.setRequestHeader('Cache-Control', 'no-cache');

  129.         xhr.setRequestHeader('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134');

  130.         try {

  131.             xhr.send();

  132.             // WSH.Echo(xhr.responseText.match(/<span[^>]*class=['"]mt['"][^>]*>[^<]*<\/span>/i)[0]);

  133.             // WSH.Quit();

  134.             if (200 === xhr.status) {

  135.                 htmldoc.open();

  136.                 htmldoc.write('<!DOCTYPE html><html><head></head><body>' + xhr.responseText.match(/<ul[^>]*id="listWorks"[^>]*>[\s\S]*?<\/ul>/i)[0] + (boltotalPages ? xhr.responseText.match(/<span[^>]*class=['"]mt['"][^>]*>[^<]*<\/span>/i)[0] : '') + '</body></html>');

  137.             } else {

  138.                 WScript.StdOut.WriteLine('failed. status:' + xhr.status);

  139.                 return false

  140.             }

  141.         } catch (e) {

  142.             WScript.StdOut.WriteLine('failed');

  143.             return false;

  144.         } finally {

  145.             htmldoc.close();

  146.         }

  147.         WScript.StdOut.WriteLine('success');

  148.         return true;

  149.     }

  150.     function getHTML(url) {

  151.         WScript.StdOut.Write('fetching ' + url + '...')

  152.         xhr.open('GET', url, false);

  153.         xhr.setRequestHeader('Accept', 'text/html, application/xhtml+xml, application/xml; q=0.9, */*; q=0.8');

  154.         xhr.setRequestHeader('Accept-Language', 'en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3');

  155.         xhr.setRequestHeader('host', 'www.52shici.com/');

  156.         xhr.setRequestHeader('Connection', 'close');

  157.         xhr.setRequestHeader('Cache-Control', 'no-cache');

  158.         xhr.setRequestHeader('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134');

  159.         try {

  160.             xhr.send();

  161.             if (200 === xhr.status) {

  162.                 htmldoc.open();

  163.                 var aTxt = xhr.responseText.match(/<div class="main"[\s\S]+(?=<!--main end -->)/i);

  164.                 htmldoc.write('<!DOCTYPE html><html><head></head><body>' + aTxt[0] + '</body></html>');

  165.             } else {

  166.                 WScript.StdOut.WriteLine('failed. status:' + xhr.status);

  167.                 return false

  168.             }

  169.         } catch (e) {

  170.             WScript.StdOut.WriteLine('failed');

  171.             return false;

  172.         } finally {

  173.             htmldoc.close();

  174.         }

  175.         WScript.StdOut.WriteLine('success');

  176.         return true;

  177.     }

  178.     function parseURL(href, url) {

  179.         var $path = href.replace(/^[^:]*:/, '');

  180.         if (/^\/\/.*/.test($path)) {

  181.             return href;

  182.         } else if (/^\/.*/.test($path)) {

  183.             return domain + $path;

  184.         } else {

  185.             return url.replace(/[^\/]+$/, '') + $path;

  186.         }

  187.     }

  188. })();
复制代码
52shiciPosts.bat
  1. 0<1/*,:

  2. @echo off

  3. CScript.exe -nologo -e:jscript %0

  4. pause

  5. exit /b

  6. */;

  7. (function () {

  8.     var xhr = (function () {

  9.         var aXMLHttpVers = ['MSXML2.XMLHTTP.6.0', 'MSXML2.XMLHTTP.3.0', 'MSXML2.XMLHTTP', 'Microsoft.XMLHTTP'];

  10.         for (var i = 0; i < aXMLHttpVers.length; i++) {

  11.             try {

  12.                 return new ActiveXObject(aXMLHttpVers[i]);

  13.             } catch (error) { }

  14.         }

  15.         showError('Can\'t build XMLHTTP automation object.');

  16.         WScript.Quit(1);

  17.     })(),

  18.         fso = new ActiveXObject('Scripting.FileSystemObject'),

  19.         htmldoc = new ActiveXObject('htmlfile'),

  20.         domain = "http://www.52shici.com",

  21.         outFile = "52shici_posts.txt",

  22.         cacheFile = "cache_52shici_posts.txt",

  23.         tsOut,

  24.         tsCache,

  25.         oCache = {},

  26.         url,

  27.         reCrLfS = /\r?\n */g,

  28.         i,

  29.         l = 300000,

  30.         strOut,

  31.         nodeContent,

  32.         sTitle,

  33.         sAuthor,

  34.         sContent;

  35.     new ActiveXObject('WScript.Shell').CurrentDirectory = fso.GetParentFolderName(WScript.ScriptFullName);

  36.     try {

  37.         tsCache = fso.OpenTextFile(cacheFile, 1, true);

  38.     } catch (e) {

  39.         showError('can not read cache file ' + cacheFile);

  40.         WScript.Quit(1);

  41.     }

  42.     while (!tsCache.AtEndOfStream) {

  43.         oCache[tsCache.ReadLine()] = true;

  44.     }

  45.     tsCache.Close();

  46.     try {

  47.         tsCache = fso.OpenTextFile(cacheFile, 8, true);

  48.     } catch (e) {

  49.         showError(e, 'can not write cache file ' + cacheFile);

  50.         WScript.Quit(2);

  51.     }

  52.     try {

  53.         tsOut = fso.OpenTextFile(outFile, 8, true, -1);//unicode encoding

  54.     } catch (e) {

  55.         showError(e, 'can not write file ' + outFile);

  56.         WScript.Quit(3);

  57.     }

  58.     // main

  59.     for (i = 1; i < l; ++i) {

  60.         if (oCache['' + i]) continue;

  61.         url = 'http://www.52shici.com/posts.php?id=' + i;

  62.         if (!getHTML(url)) continue;

  63.         var node = htmldoc.documentElement.childNodes[1].childNodes[0];

  64.         try {

  65.             for (var m = 0, n = node.childNodes.length; m < n; ++m) {

  66.                 var item = node.childNodes[m];

  67.                 switch (item.className) {

  68.                     case 'posts-h1':

  69.                         sTitle = 'TTT ' + item.innerText;

  70.                         break;

  71.                     case 'posts-h2':

  72.                         sAuthor = '作者：' + item.firstChild.innerText;

  73.                         break;

  74.                     case 'posts-content':

  75.                         item.removeChild(item.lastChild);

  76.                         sContent = item.innerText;

  77.                         break;

  78.                     default:

  79.                         break;

  80.                 }

  81.             }

  82.             strOut = sTitle + '\r\n' + sAuthor + '\r\n' + sContent;

  83.             tsOut.WriteLine(strOut.replace(reCrLfS, '<br/>\r\n'));

  84.             tsCache.WriteLine(i);

  85.         } catch (e) {

  86.             continue;

  87.         }

  88.     }

  89.     tsOut.close();

  90.     tsCache.close();

  91.     WScript.Quit();

  92. 

  93.     function showError(err, source) {

  94.         WScript.StdOut.WriteLine('[object Error]' === Object.prototype.toString.call(err) ?

  95.             [

  96.                 err.name,

  97.                 'source: ' + (undefined === source ? '' : source),

  98.                 'number: ' + (err.number >>> 0).toString(16),

  99.                 'Information: ' + err.message

  100.             ].join('\r\n')

  101.             :

  102.             err);

  103.     }

  104.     function getHTML(url) {

  105.         WScript.StdOut.Write('fetching ' + url + '...')

  106.         xhr.open('GET', url, false);

  107.         xhr.setRequestHeader('Accept', 'text/html, application/xhtml+xml, application/xml; q=0.9, */*; q=0.8');

  108.         xhr.setRequestHeader('Accept-Language', 'en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3');

  109.         xhr.setRequestHeader('host', 'www.52shici.com/');

  110.         xhr.setRequestHeader('Connection', 'close');

  111.         xhr.setRequestHeader('Cache-Control', 'no-cache');

  112.         xhr.setRequestHeader('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134');

  113.         try {

  114.             xhr.send();

  115.             if (200 === xhr.status) {

  116.                 htmldoc.open();

  117.                 var aTxt = xhr.responseText.match(/<div class="sidebar"[\s\S]+(?=<div class="posts-do")/i);

  118.                 if (!aTxt) throw false;

  119.                 htmldoc.write('<!DOCTYPE html><html><head><meta http-equiv="Content-Type" content="text/html; charset=GB2312" /></head><body>' + aTxt[0] + '</div></body></html>');

  120.             } else {

  121.                 WScript.StdOut.WriteLine('failed. status:' + xhr.status);

  122.                 return false

  123.             }

  124.         } catch (e) {

  125.             WScript.StdOut.WriteLine('failed');

  126.             return false;

  127.         } finally {

  128.             htmldoc.close();

  129.         }

  130.         WScript.StdOut.WriteLine('success');

  131.         return true;

  132.     }

  133. })();
复制代码
1

评分人数

TOP

lxh623

Rank: 5Rank: 5

帖子
418 
积分
811 
技术
2  
捐助
0  
注册时间
2008-11-24 
8楼
发表于 2018-11-19 21:59 | 只看该作者
windows8，下周windows10 。谢谢！

TOP

WHY

Rank: 6Rank: 6

帖子
1482 
积分
3266 
技术
567  
捐助
0  
注册时间
2015-7-19 
7楼
发表于 2018-11-19 15:45 | 只看该作者
本帖最后由 WHY 于 2018-11-20 19:29 编辑

下载 http://www.zgshige.com 网页，与楼上一样，也分三个脚本，第1个脚本 startScript.bat 和第2个脚本 startScript.ps1 内容与楼上相同，三个脚本存放在同一目录下。
第 3 个脚本 DownLoadURL.PS1 如下，双击 startScript.bat 运行。
  1. param([int]$StartIndex, [int]$EndIndex);

  2. $path = 'E:\zgshige\';      #html文件保存路径

  3. $web = New-Object System.Net.WebClient;

  4. $web.Encoding = [Text.Encoding]::UTF8;

  5. 

  6. for ($i=$StartIndex; $i -le $EndIndex; $i++) {

  7.     $url = 'http://www.zgshige.com/zcms/catalog/15112/pc/index_' + $i + '.shtml';

  8.     $str = $web.DownloadString($url);

  9.     forEach ($m In [regex]::Matches($str, '(?i)<a class="fc-green text-uppercase" href="(http[^"]*)"')) {

  10.         $var = $m.Groups[1].Value;

  11.         $fd  = $path + ($var -replace '.*/([^/]+)/[^/]+$', '$1');

  12.         If (!(Test-Path $fd)) { $null = md $fd; }

  13.         $name = $var -replace '.*/([^/]+)\.s?html$', '$1';

  14.         $s = $web.DownloadString($var);

  15.         $s = $s -replace '<h3>(?!TTT)', '$&TTT';

  16.         sc -Path ($fd + '\' + $name + '.html') -Value $s -Enc UTF8;

  17.     }

  18. }
复制代码
改一下正则，提高点速度。
1

评分人数

TOP

WHY

Rank: 6Rank: 6

帖子
1482 
积分
3266 
技术
567  
捐助
0  
注册时间
2015-7-19 
6楼
发表于 2018-11-19 15:35 | 只看该作者
本帖最后由 WHY 于 2018-11-19 20:19 编辑

分三个脚本，第1个脚本 startScript.bat，第 2 个脚本 startScript.ps1，第 3 个脚本 DownLoadURL.PS1，三个脚本存放在同一目录。
双击 startScript.bat 运行。

startScript.bat
  1. @echo off

  2. echo;Wait ...

  3. PowerShell -exec ByPass -f "startScript.ps1"

  4. echo;Done

  5. pause 
复制代码
startScript.ps1
修改  startScript.ps1 第11行变量 $i 的取值范围，这里是从第一页到第100页
  1. $SessionState = [System.Management.Automation.Runspaces.InitialSessionState]::CreateDefault();

  2. $Pool = [RunspaceFactory]::CreateRunspacePool(1, 5, $SessionState, $Host);

  3. $Pool.Open();

  4. 

  5. $ScriptBlock = {

  6.     param([int]$StartIndex, [int]$EndIndex)

  7.     PowerShell -exec ByPass -f "DownLoadURL.ps1" -StartIndex $StartIndex -EndIndex $EndIndex;

  8. }

  9. 

  10. $Jobs = @(); $Step = 4;

  11. for ($i = 1; $i -le 100; $i+=$Step) {

  12.     $Start = $i;

  13.     $End = $i + $step - 1;

  14.     $PowerShell = [PowerShell]::Create().AddScript($ScriptBlock).AddArgument($Start).AddArgument($End);

  15.     $PowerShell.RunspacePool = $Pool;

  16.     $Jobs += $PowerShell.BeginInvoke();

  17. }

  18. 

  19. while (!$ok) {

  20.     $ok = $True;

  21.     ForEach ($Job In $Jobs) { If (!$Job.IsCompleted) {$ok = $False} }

  22.     sleep -Milliseconds 200

  23. }
复制代码
DownLoadURL.PS1
修改 DownLoadURL.PS1 第 6 行 $type 的值，可以取值从 1～19
  1. param([int]$StartIndex, [int]$EndIndex);

  2. $path = 'E:\52shici\';      #html文件保存路径

  3. $web = New-Object System.Net.WebClient;

  4. $web.Encoding = [Text.Encoding]::UTF8;

  5. 

  6. $type = 1;

  7. $fd  = $path + $type;

  8. If (!(Test-Path $fd)) { $null = md $fd; }

  9. 

  10. for ($i=$StartIndex; $i -le $EndIndex; $i++) {

  11.     $url = 'http://www.52shici.com/original.php?type=' + $type + '&page=' + $i;

  12.     $str = $web.DownloadString($url);

  13.     forEach ($m In [regex]::Matches($str, '<li><span class="l"><a\s+target="_blank" href="([^"]*)"')) {

  14.         $var = 'http://www.52shici.com/' + $m.Groups[1].Value;

  15.         $name = ($var -replace '.*\?');

  16.         $s = $web.DownloadString($var);

  17.         $s = $s -replace '(?<=<span class="author">)(.*?)文/', '$1作者 ';

  18.         sc -Path ($fd + '\' + $name + '.html') -Value $s -Enc UTF8;

  19.     }

  20. }
复制代码
1

评分人数

TOP

flashercs

Rank: 6Rank: 6

帖子
1250 
积分
2216 
技术
279  
捐助
0  
注册时间
2017-3-20 
5楼
发表于 2018-11-19 14:40 | 只看该作者
本帖最后由 flashercs 于 2018-11-26 18:53 编辑

楼主是win7吗?powershell 是2.0 版本?
下载第一个网站的
保存为zgshige.bat
  1. 0<1/*,:

  2. @echo off

  3. %windir%\system32\CScript.exe -nologo -e:jscript %0

  4. pause

  5. exit /b

  6. */;

  7. (function () {

  8.     var xhr = (function () {

  9.         var aXMLHttpVers = ['MSXML2.XMLHTTP.6.0', 'MSXML2.XMLHTTP.3.0', 'MSXML2.XMLHTTP', 'Microsoft.XMLHTTP'];

  10.         for (var i = 0; i < aXMLHttpVers.length; i++) {

  11.             try {

  12.                 return new ActiveXObject(aXMLHttpVers[i]);

  13.             } catch (error) { }

  14.         }

  15.         showError('Can\'t build XMLHTTP automation object.');

  16.         WScript.Quit(1);

  17.     })(),

  18.         fso = new ActiveXObject('Scripting.FileSystemObject'),

  19.         htmldoc = new ActiveXObject('htmlfile'),

  20.         oADO = new ActiveXObject('ADODB.Stream'),

  21.         domain = "http://www.zgshige.com",

  22.         outFile = "shige.txt",

  23.         cacheFile = "cache.txt",

  24.         tsOut,

  25.         tsCache,

  26.         oCache = {},

  27.         url,

  28.         aIndex = [],

  29.         nextPage,

  30.         nodes,

  31.         reScriptNode = /<script[^>]*>[\s\S]*?<\/script>(?!['"'])/g,

  32.         i,

  33.         l;

  34.     oADO.Mode = 3;

  35.     new ActiveXObject('WScript.Shell').CurrentDirectory = fso.GetParentFolderName(WScript.ScriptFullName);

  36.     try {

  37.         tsCache = fso.OpenTextFile(cacheFile, 1, true);

  38.     } catch (e) {

  39.         WScript.Echo('can not read cache file ' + cacheFile);

  40.         WScript.Quit(1);

  41.     }

  42.     while (!tsCache.AtEndOfStream) {

  43.         oCache[tsCache.ReadLine()] = true;

  44.     }

  45.     tsCache.Close();

  46.     try {

  47.         tsCache = fso.OpenTextFile(cacheFile, 8, true);

  48.     } catch (e) {

  49.         showError(e, 'can not write cache file ' + cacheFile);

  50.         WScript.Quit(2);

  51.     }

  52.     try {

  53.         tsOut = fso.OpenTextFile(outFile, 8, true, -1);//unicode encoding

  54.     } catch (e) {

  55.         showError(e, 'can not write file ' + outFile);

  56.         WScript.Quit(3);

  57.     }

  58.     // url可以自己设置起始下载位置;例如 url = 'http://www.zgshige.com/zcms/catalog/15112/pc/index_29937.shtml';

  59.     url = 'http://www.zgshige.com/sg/index.shtml';

  60.     while (url) {

  61.         if (!getHTML(url)) break;

  62.         aIndex.length = 0;

  63.         nodes = htmldoc.documentElement.getElementsByClassName('fc-green text-uppercase');

  64.         for (i = 0, l = nodes.length; i < l; ++i) {

  65.             aIndex.push(parseURL(nodes[i].getAttribute('href'), url));

  66.         }

  67.         nodes = htmldoc.documentElement.getElementsByClassName('fc_ch1');

  68.         for (nextPage = null, i = 0, l = nodes.length; i < l; ++i) {

  69.             if (nodes[i].firstChild.nodeValue === '下一页') {

  70.                 nextPage = parseURL(nodes[i].parentNode.getAttribute('href'), url);

  71.                 break;

  72.             }

  73.         }

  74.         // WScript.StdOut.WriteLine('aIndex.length=' + aIndex.length);

  75.         // WScript.StdOut.WriteLine('innerHTML=' + htmldoc.documentElement.childNodes[0].innerHTML);

  76.         for (i = 0, l = aIndex.length; i < l; ++i) {

  77.             url = aIndex[i];

  78.             if (oCache[url] || !getHTML(url)) continue;

  79.             try {

  80.                 tsOut.WriteLine(('TTT' + htmldoc.documentElement.getElementsByTagName('h3')[0].innerText + '\r\n' + htmldoc.documentElement.getElementsByClassName('m-lg font14')[0].innerText).replace(/\r?\n */g, '<br/>\r\n'));

  81.                 tsCache.WriteLine(url);

  82.             } catch (e) {

  83. 

  84.             }

  85.         }

  86.         url = nextPage;

  87.     }

  88.     tsOut.close();

  89.     tsCache.close();

  90.     WScript.Quit();

  91. 

  92.     function parseURL(href, url) {

  93.         var $path = href.replace(/^[^:]*:/, '');

  94.         if (/^\/\/.*/.test($path)) {

  95.             return href;

  96.         } else if (/^\/.*/.test($path)) {

  97.             return domain + $path;

  98.         } else {

  99.             return url.replace(/[^\/]+$/, '') + $path;

  100.         }

  101.     }

  102.     function showError(err, source) {

  103.         WScript.StdOut.WriteLine('[object Error]' === Object.prototype.toString.call(err) ?

  104.             [

  105.                 err.name,

  106.                 'source: ' + (undefined === source ? '' : source),

  107.                 'number: ' + (err.number >>> 0).toString(16),

  108.                 'Information: ' + err.message

  109.             ].join('\r\n')

  110.             :

  111.             err);

  112.     }

  113.     function getHTML(url) {

  114.         WScript.StdOut.Write('fetching ' + url + '...')

  115.         xhr.open('GET', url, false);

  116.         xhr.setRequestHeader('Accept', 'text/html, application/xhtml+xml, application/xml; q=0.9, */*; q=0.8');

  117.         xhr.setRequestHeader('Accept-Language', 'en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3');

  118.         xhr.setRequestHeader('Accept-Encoding', 'gzip, deflate');

  119.         xhr.setRequestHeader('TE', 'gzip, deflate');

  120.         xhr.setRequestHeader('Cache-Control', 'no-cache');

  121.         xhr.setRequestHeader('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134');

  122.         try {

  123.             xhr.send();

  124.             if (200 === xhr.status) {

  125.                 oADO.Type = 1;

  126.                 oADO.Open();

  127.                 oADO.Write(xhr.responseBody);

  128.                 oADO.Position = 0;

  129.                 oADO.Type = 2;

  130.                 oADO.Charset = 'utf-8';

  131.                 htmldoc.open();

  132.                 htmldoc.write(oADO.ReadText(-1).replace(reScriptNode, ''));

  133.             } else {

  134.                 WScript.StdOut.WriteLine('failed')

  135.                 return false

  136.             }

  137.         } catch (e) {

  138.             WScript.StdOut.WriteLine('failed')

  139.             return false;

  140.         } finally {

  141.             htmldoc.close();

  142.             oADO.Close();

  143.         }

  144.         WScript.StdOut.WriteLine('success')

  145.         return true;

  146.     }

  147. })();
复制代码
1

评分人数

    • lxh623: 真诚感谢！技术 + 1

TOP

happy886rr

帖子
961 
积分
2350 
技术
334  
捐助
0  
注册时间
2016-3-7 
4楼
发表于 2018-11-18 20:15 | 只看该作者
你08年就注册了，难道这种简单问题自己都写不出代码吗？

TOP

123456
返回列表