powershell 网页爬虫获取时光网电影数据库续（并行处理）

gflrlm

前一篇讲到采用并行处理提高速度， 这个时候需要给前面的脚本传递参数， 而且要在前面的那个脚本《000___mtime_抓取电影网页-选数据-逗号分列.ps1》的第一行加入以下代码：

1. param([int]$start_id_txt_param=$(throw "Parameter missing: -start_id_txt_param 3042"),   [int]$end_id_txt_param=$(throw "Parameter missing: -end_id_txt_param 3242"),     [int]$call_cnt=$(throw "Parameter missing: -call_cnt 132")      )
   
2. $USING_PARAM_ENABLE=1

复制代码

将下面的代码保存为 《并行.ps1 》， 然后同样需要设置如下参数：
$start_index = 12500  # MAX mtime id now is 239000. 开始处理的文件 id
$step        = 5000                                                      并行处理的文件个数
$repeat_cnt  = 5                                                        需要启动多少个任务，这里是5 个
$end_index   = 240000 # MAX mtime id now is 239000.

1. 
   
2. $throttleLimit = 5
   
3. $iss = [system.management.automation.runspaces.initialsessionstate]::CreateDefault()
   
4. $Pool = [runspacefactory]::CreateRunspacePool(1, $throttleLimit, $iss, $Host)
   
5. $Pool.Open()
   
6. 
   
7. 
   
8. $log_file="D:\迅雷下载\fork.log"
   
9. 
   
10. 
    
11.   if((Test-Path $log_file))  {
    
12.     Remove-Item $log_file
    
13.   }
    
14. 
    
15. 
    
16. $ScriptBlock = {
    
17.     param($s,$e,$x)
    
18.     #Start-Sleep -Seconds 2
    
19.         #[System.Console]::WriteLine("Processing XXX.ps1 -start_id_txt_param $s -end_id_txt_param $e -call_cnt $x")
    
20.    
    
21.         D:\迅雷下载\000___mtime_抓取电影网页-选数据-逗号分列.ps1 -start_id_txt_param $s -end_id_txt_param $e -call_cnt $x
    
22.    
    
23. }
    
24. 
    
25. 
    
26. $start_index = 12500  # MAX mtime id now is 239000.
    
27. $step        = 5000
    
28. $repeat_cnt  = 5
    
29. $end_index   = 240000 # MAX mtime id now is 239000.
    
30. if($start_index+$step *$repeat_cnt  -gt $end_index){
    
31.   write-host "Error:" -ForegroundColor Red
    
32.   write-host "Max mtime for now is 24000, you are using a number greater than 24000!!!" -ForegroundColor Red
    
33.   cmd /c "pause"
    
34.   exit
    
35. }
    
36. for ($x = 1; $x -le $repeat_cnt; $x++) {
    
37.     $start=$start_index+($x-1)*$step
    
38.         $end=$start+$step
    
39.         write-host "Processing XXX.ps1 -start_id_txt_param $start -end_id_txt_param $end -call_cnt $x"  
    
40.          "Processing XXX.ps1 -start_id_txt_param $start -end_id_txt_param $end -call_cnt $x" |Out-File -Append $log_file
    
41.     $powershell = [powershell]::Create().AddScript($ScriptBlock).AddArgument($start).AddArgument($end).AddArgument($x)
    
42.     $powershell.RunspacePool = $Pool
    
43.     $handle = $powershell.BeginInvoke()
    
44.         #cmd /c "pause"
    
45. }
    
46. $handle.IsCompleted
    
47. cmd /c "pause"

复制代码