[其他] [已解决]如何提取海词在线词典中的“海词释义常用度分布图”

qixiaobin0715

给出一个单词列表文本文件，如何提取对应的海词释义常用度分布图。
http://dict.cn/

523066680

图是HTML+JS的

数据可以很直接的抓出来

use utf8;
use Encode;
use File::Slurp;
use Mojo::UserAgent;
use URI::Escape;
use JSON qw/from_json to_json/;
STDOUT->autoflush(1);

my $word = "command";
my $url = "http://dict.cn/${word}";
my $ua = Mojo::UserAgent->new();
my $res = $ua->get($url)->result;
my $json = $res->dom->at(".dict-chart")->attr("data");
my $data = from_json(uri_unescape($json));

if ( scalar keys %$data == 1 )
{
    printf "%2s%% %s\n", $data->{1}{percent}, gbk($data->{1}{pos});
} 
else
{
    for my $k ( sort keys %$data )
    {
        printf "%2s%% %s\n", $data->{$k}{percent}, gbk($data->{$k}{sense});
    }
}

sub gbk { encode('gbk', $_[0]) }
复制代码

74% 命令
21% 指挥
 4% 掌握
 1% 博得
复制代码

qixiaobin0715

谢谢版主！我对批处理还不是太熟悉，上面脚本文件是否还需要安装第三方工具包？并且我的意思是按照单词列表文本文件同时提取若干个单词信息。希望再做指点。

523066680

Strawberry Perl
http://strawberryperl.com/releases.html
需要门槛，不推荐使用。纯粹路过……

qixiaobin0715

回复 4# 523066680
还是要谢谢！

zaqmlp

<# :
cls
@echo off
mode con lines=3000
cd /d "%~dp0"
powershell -NoProfile -ExecutionPolicy bypass "&{[ScriptBlock]::Create([IO.File]::ReadAllText('%~f0',[Text.Encoding]::Default)).Invoke()}"
pause
exit
#>
function gethtml($w){
    $html='';
    $url='http://dict.cn/'+$w;
    $web=New-Object System.Net.WebClient;
    $web.Encoding=[System.Text.Encoding]::UTF8;
    for($i=1;$i -le 4;$i++){
        try{
            $html=$web.DownloadString($url);
            break;
        }catch{write-host ('获取网页内容第'+$i.toString()+'次失败')};
    };
    return $html;
};
function gethz($s){
    $str='';
    $str=[regex]::replace($s,'\\u([\da-z]{4})',{param($a);[char][Convert]::ToInt32($a.groups[1].value, 16)});
    return $str;
};
$inputfile='单词列表.txt';
$outfile='结果.txt';
$min=5;
[void][Reflection.Assembly]::LoadWithPartialName('System.Web');
[System.Collections.ArrayList]$s=@();
$text=[IO.File]::ReadAllLines($inputfile,[Text.Encoding]::Default);
for($i=0;$i -lt $text.count;$i++){
    write-host ('------------'+$text[$i]+'------------');
    $content=gethtml $text[$i];
    $m=[regex]::match($content,'<div .*?id="dict-chart-basic" data="([^"]+?)"');
    if($m.success){
        $js=[Web.HttpUtility]::UrlDecode($m.groups[1].value);
        $tmp=(gethz $js) -replace '^\{|\}$','';
        $mm=[regex]::matches($tmp,'\{([^\}]+?)\}');
        [System.Collections.ArrayList]$t=@();
        if($mm.count -ge 1){
            foreach($it in $mm){
                $arr=$it.groups[1].value.split(':,', 4);
                if((1*$arr[1]) -ge $min){[void]$t.add($arr[3].Trim('"')+':'+$arr[1])};
            };
        };
        [void]$s.add($text[$i]+"`t"+($t -join ','));
    }else{
        [void]$s.add($text[$i]+"`t无");
    };
};
[IO.File]::WriteAllLines($outfile, $s, [Text.Encoding]::Default);
复制代码

qixiaobin0715

回复 6# zaqmlp
效果很好，谢谢！能否再修改一下脚本，满足以下要求：
1.把提取结果写入文本文件“提取结果.txt”。
2.格式为“单词+分隔符（比如制表符）+提取结果”。
3.过滤掉percent值小于5的条目。
第3条若不易实现保留也行。
单词列表数目有否限制？

zaqmlp

回复 7# qixiaobin0715


    没赞助没动力

qixiaobin0715

回复 8# zaqmlp
尊重别人的劳动，都是在圈里混的，不会吃霸王餐的。

zaqmlp

回复 9# qixiaobin0715

那就扫码吧

qixiaobin0715

回复 10# zaqmlp

方便的话把前面的简明释义也加上吧。理解理解，现在社会的诚信有问题。已扫码。

zaqmlp

回复 7# qixiaobin0715


    已修改

qixiaobin0715

回复 12# zaqmlp

基本达到要求，我是说如果结果是这样就完美了：

good	adj. 好的；上等的；优秀的 ; n. 好处；善行 ;(复)goods：商品；货物. 	好的:78,好处:11,优秀的:7
复制代码

qixiaobin0715

回复 6# zaqmlp
有空的话，还能给完善完善吗。这里先再次感谢了。

flashercs

<#*,:&cls
@echo off
pushd "%~dp0"
Powershell -NoProfile -ExecutionPolicy RemoteSigned -Command ". ([ScriptBlock]::Create((Get-Content -LiteralPath \"%~0\" -ReadCount 0 | Out-String ))) "
popd
pause
exit /b
#>
$VerbosePreference = "Continue"
$inputFile = "单词列表.txt"
$outputFile = "结果.txt"
Get-Content -LiteralPath $inputFile -OutBuffer 10 | ForEach-Object -Begin {
  $sw = New-Object -TypeName System.IO.StreamWriter -ArgumentList ("$pwd\$outputFile"), $false, ([System.Text.Encoding]::Default)
  # webclient settings
  $webclient = New-Object -TypeName System.Net.WebClient
  $webclient.BaseAddress = 'http://dict.cn/'
  $webclient.Encoding = [System.Text.Encoding]::UTF8
  $webclient.Headers.Add("Accept", "text/html, application/xhtml+xml, application/xml; q=0.9, */*; q=0.8")
  $webclient.Headers.Add("Accept-Encoding", "gzip")
  $webclient.Headers.Add("Accept-Language", "en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3")
  # xml parser
  $xmldoc = New-Object -TypeName System.Xml.XmlDocument
  # re
  $recontent = [regex]'(?si)<div\s+class="word"[^>]*>.*?(?=<div\s+class="section[^"]*"[^>]*>)'
  $rejs = [regex]'(?si)<script[^>]*>.*?</script>'
  # stringbuilder
  $strbuilder = New-Object -TypeName System.Text.StringBuilder
  Add-Type -AssemblyName Microsoft.Jscript
  $vsaengine = [Microsoft.JScript.Vsa.VsaEngine]::CreateEngine()
  Add-Type -AssemblyName System.Web
} -Process {
  Write-Verbose "Fetching $_ ..."
  for ($i = 2; $i -ge 0; $i--) {
    try {
      $readstream = $webclient.OpenRead($_)
      Write-Verbose "Fetch $_ success"
      break
    }
    catch {
      $_ | Out-String | Write-Host -ForegroundColor Red
    }
  }
  if ($readstream) {
    try {
      $gzipstream = New-Object -TypeName System.IO.Compression.GZipStream -ArgumentList $readstream, ([System.IO.Compression.CompressionMode]::Decompress)
      $sr = New-Object -TypeName System.IO.StreamReader -ArgumentList $gzipstream, ([System.Text.Encoding]::UTF8)
    
      $match = $recontent.Match($sr.ReadToEnd())
      if ($match.Success) {
        Write-Verbose "Match $_ success"
        $xmldoc.LoadXml(($rejs.Replace($match.Value, '') -replace '<([^\x00-\x7e]+)>', '&lt;$1&gt;'))
        $strbuilder.Length = 0
        # word-cont
        [void]$strbuilder.Append($xmldoc.SelectSingleNode('//h1[@class="keyword"]/text()').Value).Append("`t")
        # dict-translation
        [void]$strbuilder.Append( ($xmldoc.SelectNodes('//ul/li[position()<last()]') | ForEach-Object { $_.innerText }) -join " " ).Append("`t")
        try {
          # dict-chart
          $strjson = [System.Web.HttpUtility]::UrlDecode($xmldoc.SelectSingleNode('//div[@id="dict-chart-basic"]/@data').Value)
          $jsobj = [Microsoft.JScript.Eval]::JScriptEvaluate("($strjson)", $vsaengine )
          foreach ($field in $jsobj) {
            [void]$strbuilder.Append($jsobj.Item($field).Item('sense')).Append(':').Append($jsobj.Item($field).Item('percent')).Append(',')
          }
          [void]$strbuilder.Remove($strbuilder.Length - 1, 1)
        }
        catch {
          # $_ | Out-String | Write-Host -ForegroundColor Red
        }
        # output result string
        $sw.WriteLine(($strbuilder.ToString() -replace "[\r\n]"))
        # $strbuilder.ToString()|Out-Host
      }
      else {
        Write-Verbose "Match $_ failed"
      }
    }
    catch {
      $_ | Out-String | Write-Host -ForegroundColor Red  
    }
    finally {
      $readstream.Close()
      Remove-Variable readstream
      if ($gzipstream) {
        $gzipstream.Dispose()
      }
      if ($sr) {
        $sr.Dispose()
      }
    }
  }
  else {
    $sw.WriteLine($_)
  } 
} -End {
  $sw.Dispose()
  $webclient.Dispose()
}
复制代码