[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖

[其他] [已解决]如何提取海词在线词典中的“海词释义常用度分布图”

本帖最后由 qixiaobin0715 于 2019-8-28 14:07 编辑

给出一个单词列表文本文件,如何提取对应的海词释义常用度分布图。
http://dict.cn/

图是HTML+JS的

数据可以很直接的抓出来
  1. use utf8;
  2. use Encode;
  3. use File::Slurp;
  4. use Mojo::UserAgent;
  5. use URI::Escape;
  6. use JSON qw/from_json to_json/;
  7. STDOUT->autoflush(1);
  8. my $word = "command";
  9. my $url = "http://dict.cn/${word}";
  10. my $ua = Mojo::UserAgent->new();
  11. my $res = $ua->get($url)->result;
  12. my $json = $res->dom->at(".dict-chart")->attr("data");
  13. my $data = from_json(uri_unescape($json));
  14. if ( scalar keys %$data == 1 )
  15. {
  16.     printf "%2s%% %s\n", $data->{1}{percent}, gbk($data->{1}{pos});
  17. }
  18. else
  19. {
  20.     for my $k ( sort keys %$data )
  21.     {
  22.         printf "%2s%% %s\n", $data->{$k}{percent}, gbk($data->{$k}{sense});
  23.     }
  24. }
  25. sub gbk { encode('gbk', $_[0]) }
复制代码
  1. 74% 命令
  2. 21% 指挥
  3. 4% 掌握
  4. 1% 博得
复制代码

TOP

谢谢版主!我对批处理还不是太熟悉,上面脚本文件是否还需要安装第三方工具包?并且我的意思是按照单词列表文本文件同时提取若干个单词信息。希望再做指点。

TOP

Strawberry Perl
http://strawberryperl.com/releases.html
需要门槛,不推荐使用。纯粹路过……

TOP

回复 4# 523066680
还是要谢谢!

TOP

本帖最后由 zaqmlp 于 2019-8-22 14:15 编辑
  1. <# :
  2. cls
  3. @echo off
  4. mode con lines=3000
  5. cd /d "%~dp0"
  6. powershell -NoProfile -ExecutionPolicy bypass "&{[ScriptBlock]::Create([IO.File]::ReadAllText('%~f0',[Text.Encoding]::Default)).Invoke()}"
  7. pause
  8. exit
  9. #>
  10. function gethtml($w){
  11.     $html='';
  12.     $url='http://dict.cn/'+$w;
  13.     $web=New-Object System.Net.WebClient;
  14.     $web.Encoding=[System.Text.Encoding]::UTF8;
  15.     for($i=1;$i -le 4;$i++){
  16.         try{
  17.             $html=$web.DownloadString($url);
  18.             break;
  19.         }catch{write-host ('获取网页内容第'+$i.toString()+'次失败')};
  20.     };
  21.     return $html;
  22. };
  23. function gethz($s){
  24.     $str='';
  25.     $str=[regex]::replace($s,'\\u([\da-z]{4})',{param($a);[char][Convert]::ToInt32($a.groups[1].value, 16)});
  26.     return $str;
  27. };
  28. $inputfile='单词列表.txt';
  29. $outfile='结果.txt';
  30. $min=5;
  31. [void][Reflection.Assembly]::LoadWithPartialName('System.Web');
  32. [System.Collections.ArrayList]$s=@();
  33. $text=[IO.File]::ReadAllLines($inputfile,[Text.Encoding]::Default);
  34. for($i=0;$i -lt $text.count;$i++){
  35.     write-host ('------------'+$text[$i]+'------------');
  36.     $content=gethtml $text[$i];
  37.     $m=[regex]::match($content,'<div .*?id="dict-chart-basic" data="([^"]+?)"');
  38.     if($m.success){
  39.         $js=[Web.HttpUtility]::UrlDecode($m.groups[1].value);
  40.         $tmp=(gethz $js) -replace '^\{|\}$','';
  41.         $mm=[regex]::matches($tmp,'\{([^\}]+?)\}');
  42.         [System.Collections.ArrayList]$t=@();
  43.         if($mm.count -ge 1){
  44.             foreach($it in $mm){
  45.                 $arr=$it.groups[1].value.split(':,', 4);
  46.                 if((1*$arr[1]) -ge $min){[void]$t.add($arr[3].Trim('"')+':'+$arr[1])};
  47.             };
  48.         };
  49.         [void]$s.add($text[$i]+"`t"+($t -join ','));
  50.     }else{
  51.         [void]$s.add($text[$i]+"`t无");
  52.     };
  53. };
  54. [IO.File]::WriteAllLines($outfile, $s, [Text.Encoding]::Default);
复制代码
提供bat代写,为你省时省力省事,支付宝扫码头像支付
微信: unique2random

TOP

回复 6# zaqmlp
效果很好,谢谢!能否再修改一下脚本,满足以下要求:
1.把提取结果写入文本文件“提取结果.txt”。
2.格式为“单词+分隔符(比如制表符)+提取结果”。
3.过滤掉percent值小于5的条目。
第3条若不易实现保留也行。
单词列表数目有否限制?

TOP

回复 7# qixiaobin0715


    没赞助没动力
提供bat代写,为你省时省力省事,支付宝扫码头像支付
微信: unique2random

TOP

回复 8# zaqmlp
尊重别人的劳动,都是在圈里混的,不会吃霸王餐的。

TOP

回复 9# qixiaobin0715

那就扫码吧
提供bat代写,为你省时省力省事,支付宝扫码头像支付
微信: unique2random

TOP

回复 10# zaqmlp

方便的话把前面的简明释义也加上吧。理解理解,现在社会的诚信有问题。已扫码。

TOP

回复 7# qixiaobin0715


    已修改
提供bat代写,为你省时省力省事,支付宝扫码头像支付
微信: unique2random

TOP

回复 12# zaqmlp

基本达到要求,我是说如果结果是这样就完美了:
  1. good adj. 好的;上等的;优秀的 ; n. 好处;善行 ;(复)goods:商品;货物. 好的:78,好处:11,优秀的:7
复制代码

TOP

回复 6# zaqmlp
有空的话,还能给完善完善吗。这里先再次感谢了。

TOP

本帖最后由 flashercs 于 2019-9-3 19:46 编辑
  1. <#*,:&cls
  2. @echo off
  3. pushd "%~dp0"
  4. Powershell -NoProfile -ExecutionPolicy RemoteSigned -Command ". ([ScriptBlock]::Create((Get-Content -LiteralPath \"%~0\" -ReadCount 0 | Out-String ))) "
  5. popd
  6. pause
  7. exit /b
  8. #>
  9. $VerbosePreference = "Continue"
  10. $inputFile = "单词列表.txt"
  11. $outputFile = "结果.txt"
  12. Get-Content -LiteralPath $inputFile -OutBuffer 10 | ForEach-Object -Begin {
  13.   $sw = New-Object -TypeName System.IO.StreamWriter -ArgumentList ("$pwd\$outputFile"), $false, ([System.Text.Encoding]::Default)
  14.   # webclient settings
  15.   $webclient = New-Object -TypeName System.Net.WebClient
  16.   $webclient.BaseAddress = 'http://dict.cn/'
  17.   $webclient.Encoding = [System.Text.Encoding]::UTF8
  18.   $webclient.Headers.Add("Accept", "text/html, application/xhtml+xml, application/xml; q=0.9, */*; q=0.8")
  19.   $webclient.Headers.Add("Accept-Encoding", "gzip")
  20.   $webclient.Headers.Add("Accept-Language", "en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3")
  21.   # xml parser
  22.   $xmldoc = New-Object -TypeName System.Xml.XmlDocument
  23.   # re
  24.   $recontent = [regex]'(?si)<div\s+class="word"[^>]*>.*?(?=<div\s+class="section[^"]*"[^>]*>)'
  25.   $rejs = [regex]'(?si)<script[^>]*>.*?</script>'
  26.   # stringbuilder
  27.   $strbuilder = New-Object -TypeName System.Text.StringBuilder
  28.   Add-Type -AssemblyName Microsoft.Jscript
  29.   $vsaengine = [Microsoft.JScript.Vsa.VsaEngine]::CreateEngine()
  30.   Add-Type -AssemblyName System.Web
  31. } -Process {
  32.   Write-Verbose "Fetching $_ ..."
  33.   for ($i = 2; $i -ge 0; $i--) {
  34.     try {
  35.       $readstream = $webclient.OpenRead($_)
  36.       Write-Verbose "Fetch $_ success"
  37.       break
  38.     }
  39.     catch {
  40.       $_ | Out-String | Write-Host -ForegroundColor Red
  41.     }
  42.   }
  43.   if ($readstream) {
  44.     try {
  45.       $gzipstream = New-Object -TypeName System.IO.Compression.GZipStream -ArgumentList $readstream, ([System.IO.Compression.CompressionMode]::Decompress)
  46.       $sr = New-Object -TypeName System.IO.StreamReader -ArgumentList $gzipstream, ([System.Text.Encoding]::UTF8)
  47.    
  48.       $match = $recontent.Match($sr.ReadToEnd())
  49.       if ($match.Success) {
  50.         Write-Verbose "Match $_ success"
  51.         $xmldoc.LoadXml(($rejs.Replace($match.Value, '') -replace '<([^\x00-\x7e]+)>', '&lt;$1&gt;'))
  52.         $strbuilder.Length = 0
  53.         # word-cont
  54.         [void]$strbuilder.Append($xmldoc.SelectSingleNode('//h1[@class="keyword"]/text()').Value).Append("`t")
  55.         # dict-translation
  56.         [void]$strbuilder.Append( ($xmldoc.SelectNodes('//ul/li[position()<last()]') | ForEach-Object { $_.innerText }) -join " " ).Append("`t")
  57.         try {
  58.           # dict-chart
  59.           $strjson = [System.Web.HttpUtility]::UrlDecode($xmldoc.SelectSingleNode('//div[@id="dict-chart-basic"]/@data').Value)
  60.           $jsobj = [Microsoft.JScript.Eval]::JScriptEvaluate("($strjson)", $vsaengine )
  61.           foreach ($field in $jsobj) {
  62.             [void]$strbuilder.Append($jsobj.Item($field).Item('sense')).Append(':').Append($jsobj.Item($field).Item('percent')).Append(',')
  63.           }
  64.           [void]$strbuilder.Remove($strbuilder.Length - 1, 1)
  65.         }
  66.         catch {
  67.           # $_ | Out-String | Write-Host -ForegroundColor Red
  68.         }
  69.         # output result string
  70.         $sw.WriteLine(($strbuilder.ToString() -replace "[\r\n]"))
  71.         # $strbuilder.ToString()|Out-Host
  72.       }
  73.       else {
  74.         Write-Verbose "Match $_ failed"
  75.       }
  76.     }
  77.     catch {
  78.       $_ | Out-String | Write-Host -ForegroundColor Red  
  79.     }
  80.     finally {
  81.       $readstream.Close()
  82.       Remove-Variable readstream
  83.       if ($gzipstream) {
  84.         $gzipstream.Dispose()
  85.       }
  86.       if ($sr) {
  87.         $sr.Dispose()
  88.       }
  89.     }
  90.   }
  91.   else {
  92.     $sw.WriteLine($_)
  93.   }
  94. } -End {
  95.   $sw.Dispose()
  96.   $webclient.Dispose()
  97. }
复制代码
微信:flashercs
QQ:49908356

TOP

返回列表