Board logo

标题: 【完结】50元求批处理——汉字信息提取 [打印本页]
作者: lxh623    时间: 2020-11-17 11:04     标题: 【完结】50元求批处理——汉字信息提取

本帖最后由 lxh623 于 2020-11-20 07:42 编辑

文本a是如下：
CB30597        [灬亠口├〡兀木]
方括号里面有些解析部件。有些可能有unicode码，有些没有。
文本IDS,如下：
U+24410        𤐐        ⿰火詹
文本dump，如下：
u6b0b   | 99:0:0:2:0:160:200:u6728-01$99:0:0:59:0:197:200:dkw-23747@1
我的想法是：
把方括号里面的解析部件，从文本IDS提取unicode码，在文本dump搜索，同时含有所有的话，（没有unicode码的，忽略）把文本a那一行写入文本b，后面加上制表符+文本dump中制表符前面的内容。多个可能，就写几行。
文本IDS中的unicode码，我也可以处理到与文本dump一样。

所有文本编码是UTF8。

谢谢！
作者: zaqmlp    时间: 2020-11-17 11:22

举例说明下处理前后的效果并打包文件发网盘
作者: lxh623    时间: 2020-11-17 15:33

回复 2# zaqmlp
大致处理之后，上传了。dump想存UTF8，怎么也保存不了。
链接：https://pan.baidu.com/s/1pc2as9CPfpTwejYLwd1Vcw
提取码：q35z

谢谢！
作者: zaqmlp    时间: 2020-11-17 17:20

以这几个为例，最后结果是什么
CB17093        [、、]
CB32631        [亠二]
CB33987        [彡同]
CB29324        [忄日一]
作者: ivor    时间: 2020-11-17 20:11

我的想法是：
把方括号里面的解析部件，从文本IDS提取unicode码，在文本dump搜索，同时含有所有的话，（没有unicode码的，忽略）把文本a那一行写入文本b，后面加上制表符+文本dump中制表符前面的内容。多个可能，就写几行。

dump制表符前面存在重复，如果全部检索不能使用字典效率会很低。
作者: WHY    时间: 2020-11-17 20:18

本帖最后由 WHY 于 2020-11-17 20:25 编辑

PowerShell 脚本，保存为 E:\Test\大藏经解析\Test.ps1
运行方法：
1. 在cmd命令提示符下，输入 PowerShell -exec Bypass -file "E:\Test\大藏经解析\Test.ps1"
2.或者，右键单击脚本，选择"使用 PowerShell 运行"
试试吧。
  1. $file1 = 'E:\Test\大藏经解析\IDS.txt';

  2. $file2 = 'E:\Test\大藏经解析\dump.txt';

  3. $file3 = 'E:\Test\大藏经解析\a.txt';

  4. $file4 = 'E:\Test\大藏经解析\b.txt';

  5. 

  6. $hash1 = @{};

  7. $arr  = [IO.File]::ReadAllLines($file1) -match '^u';

  8. $count = $arr.Count;

  9. for( $i=0; $i -lt $count; $i++ ){

  10.     $m = $arr[$i].Trim() -split '\s+';

  11.     if( !$hash1.ContainsKey($m[1]) ){ $hash1[$m[1]] = $m[0]; }

  12. }

  13. 

  14. $hash2 = @{};

  15. $arr  = [IO.File]::ReadAllLines($file2) -match '^u';

  16. $count = $arr.Count;

  17. for( $i=0; $i -lt $count; $i++ ){

  18.     $m = $arr[$i].Trim() -split '\s+';

  19.     if( !$hash2.ContainsKey($m[0]) ){ $hash2[$m[0]] = 1; }

  20. }

  21. 

  22. $arr  = [IO.File]::ReadAllLines($file3) -match '^CB';

  23. $count = $arr.Count;

  24. $out = for( $i=0; $i -lt $count; $i++ ){

  25.     [char[]]$chs = ($arr[$i] -split '[\[\]]')[1];   #匹配中文字符

  26.     [Collections.ArrayList]$a = @();

  27.     for($j=0; $j -lt $chs.Count; $j++) {

  28.         $s = '' + $chs[$j];                 #char转string

  29.         if( !$hash1.ContainsKey($s) ){ continue; }

  30.         $key = $hash1[$s];

  31.         if( $hash2.ContainsKey($key) ){ [void]$a.Add($key); }

  32.     }

  33.     if( $a.Count -eq $chs.Count ){

  34.         $arr[$i] + "`t" + ($a -join "`t");

  35.     }

  36. }

  37. 

  38. [IO.File]::WriteAllLines($file4, $out);

  39. echo 'Done';

  40. [Console]::ReadKey();
复制代码
作者: lxh623    时间: 2020-11-18 08:22

本帖最后由 lxh623 于 2020-11-18 10:10 编辑

回复 6# WHY
CB33973        [十后]        u5341        u540e
我的意思是在dump找到同时含有这两个或者几个Unicode码的行，把前面写到]+制表符后面。【这个例子好像没有】

发现一个问题，原件u3013开头的行，可以删除。

CB13270        [刂耳]        u5202        u8033
这个有结果。但是，出来几个u205dc、u5235、u3013、u265ff、u350c、u8069。去掉u3013，还有五个。
所以，要是用以搜索的有n个unicode码，dump行里面就最好限定n+1个unicode码，可能更好。
或者，出来十个，都写上。自己再来删除重复。

结果样式：（这个都可以，都需要自己调整。）
CB13270        [刂耳]        u5235
CB13270        [刂耳]        刵

谢谢！
作者: WHY    时间: 2020-11-18 20:21

本帖最后由 WHY 于 2020-11-19 10:38 编辑

回复 7# lxh623


    这样的话，a.txt的每一行都要和dump.txt的每一行进行比较，行数太多，效率肯定不会高，你试试吧。
  1. $file1 = 'E:\Test\大藏经解析\IDS.txt';

  2. $file2 = 'E:\Test\大藏经解析\dump.txt';

  3. $file3 = 'E:\Test\大藏经解析\a.txt';

  4. $file4 = 'E:\Test\大藏经解析\b.txt';

  5. 

  6. #遍历 IDS.txt 每一行，加入字典

  7. $Dic1 = New-Object 'Collections.Generic.Dictionary[string, string]';

  8. $Dic3 = New-Object 'Collections.Generic.Dictionary[string, string]';

  9. $arr  = [IO.File]::ReadAllLines($file1) -match '^u';

  10. $count = $arr.Count;

  11. for( $i=0; $i -lt $count; $i++ ){

  12.     $a = $arr[$i].Trim().Split("`t ", 2, 'RemoveEmptyEntries');   #分割成2列

  13.     if( !$Dic1.ContainsKey($a[1]) ){

  14.         $Dic1.Add($a[1], $a[0]);      #Dic1：key=第2列中文字符，value=第1列unicode码

  15.     }

  16.     if( !$Dic3.ContainsKey($a[0]) ){

  17.         $Dic3.Add($a[0], $a[1]);      #Dic3：key=第1列unicode码，value=第2列中文字符

  18.     }

  19. }

  20. 

  21. #遍历 dump.txt 每一行，加入字典

  22. $Dic2 = New-Object 'Collections.Generic.Dictionary[string, string]';

  23. $arr  = [IO.File]::ReadAllLines($file2) -match '^u[0-9a-f]+\s+.*u[0-9a-f]+' -notMatch '^u3013\s';  #去掉u3013开头的行

  24. $count = $arr.Count;

  25. for( $i=0; $i -lt $count; $i++ ){

  26.     $a = $arr[$i].Trim().Split("`t ", 2, 'RemoveEmptyEntries');   #分割成2列

  27.     $k = forEach( $m In [regex]::Matches($a[1], '(?i)u[0-9a-f]+') ){

  28.         $m.Groups[0].Value;

  29.     }

  30.     $key = $k -join ' ';

  31.     if( !$Dic2.ContainsKey($key) ){

  32.         $Dic2.Add($key, $a[0]);       #Dic2：key=第2列的多个unicode码，value=第1列的unicode码

  33.     }

  34. }

  35. 

  36. #遍历 a.txt 每一行，如果在一行中同时匹配多个unicode码，写入b.txt

  37. $fsw = New-Object System.IO.StreamWriter($file4, $false, [Text.Encoding]::UTF8);

  38. $arr = [IO.File]::ReadAllLines($file3) -match '^CB';

  39. $count = $arr.Count;

  40. for( $i=0; $i -lt $count; $i++ ){

  41.     [char[]]$chs = $arr[$i].Split('[]')[1];   #a.txt每一行的中文字符

  42.     [Collections.ArrayList]$a = @();

  43.     for( $j=0; $j -lt $chs.Count; $j++ ){

  44.         $s = '' + $chs[$j];                   #char转string

  45.         if( $Dic1.ContainsKey($s) ){

  46.             [void]$a.Add( '(?=.*' + $Dic1[$s] + '\b)' );

  47.         } else { break; }

  48.     }

  49.     if( $a.Count -ne $chs.Count ){ continue; }

  50.     $h = @{};

  51.     $reg = $a -join '';    #正则，同时匹配多个字符串

  52.     forEach( $key In ($Dic2.Keys -match $reg) ){

  53.         if( !$h.ContainsKey($Dic2[$key]) ){

  54.             $h[$Dic2[$key]] = 1;              #哈希表赋值，用来去重复，key=Dump.txt的第一列

  55.         }

  56.     }

  57.     if( $h.Count -eq 0 ){ continue; }

  58.     $s = $h.Keys -join "`t";

  59.     $s = [regex]::Replace($s, '\S+', {param($m); $m.Value + '-' + $Dic3[$m.Value]});

  60.     echo( $arr[$i] + "`t" + $s );

  61.     $fsw.WriteLine( $arr[$i] + "`t" + $s );

  62.     $fsw.Flush();

  63. }

  64. 

  65. $fsw.Dispose();

  66. echo 'Done';

  67. [Console]::ReadKey();
复制代码
作者: zaqmlp    时间: 2020-11-18 20:58

本帖最后由 zaqmlp 于 2020-11-19 13:52 编辑

bat
  1. <# :

  2. cls

  3. @echo off

  4. cd /d "%~dp0"

  5. powershell -NoProfile -ExecutionPolicy bypass "Invoke-Command -ScriptBlock ([ScriptBlock]::Create([IO.File]::ReadAllText('%~f0',[Text.Encoding]::GetEncoding('GB2312')))) -Args '%~f0'"

  6. pause

  7. exit

  8. #>

  9. $file1=".\a.txt";

  10. $file2=".\IDS.txt";

  11. $file3=".\dump.txt";

  12. $file4=".\结果.txt";

  13. 

  14. $self=get-item -liter $args[0];

  15. $path=$self.Directory.FullName;

  16. $file1=$file1 -replace '^\.',$path;

  17. $file2=$file2 -replace '^\.',$path;

  18. $file3=$file3 -replace '^\.',$path;

  19. $file4=$file4 -replace '^\.',$path;

  20. if(-not (test-path -liter $file1)){write-host ('"'+$file1+'" not found');exit;};

  21. if(-not (test-path -liter $file2)){write-host ('"'+$file2+'" not found');exit;};

  22. if(-not (test-path -liter $file3)){write-host ('"'+$file3+'" not found');exit;};

  23. 

  24. $enc=[Text.Encoding]::UTF8;

  25. $text1=[IO.File]::ReadAllLines($file1, $enc);

  26. $text2=[IO.File]::ReadAllLines($file2, $enc);

  27. $text3=[IO.File]::ReadAllLines($file3, $enc);

  28. 

  29. write-host 'Laoding……';

  30. 

  31. $dic1=New-Object 'System.Collections.Generic.Dictionary[string,string]';

  32. $dic2=New-Object 'System.Collections.Generic.Dictionary[string,string]';

  33. for($i=0;$i -lt $text2.count;$i++){

  34.     $line=$text2[$i].trim() -split '\s',2;

  35.     if(-not $dic1.ContainsKey($line[1])){$dic1.add($line[1], $line[0])};

  36.     if(-not $dic2.ContainsKey($line[0])){$dic2.add($line[0], $line[1])};

  37. };

  38. 

  39. $dic3=New-Object 'System.Collections.Generic.Dictionary[string,object]';

  40. for($i=0;$i -lt $text3.count;$i++){

  41.     $line=$text3[$i].trimstart() -split '\s',2;

  42.     $m=[regex]::matches($line[1], '(?i)u[\da-f]+');

  43.     if($m.count -ge 1){

  44.         [System.Collections.ArrayList]$crr=@();

  45.         foreach($k in $m){

  46.             [void]$crr.add($k.groups[0].value);

  47.         };

  48.         $drr=@($crr|sort);

  49.         $tmpline=$drr -join ':';

  50.         if(-not $dic3.ContainsKey($tmpline)){

  51.             [System.Collections.ArrayList]$key=@();

  52.             $dic3.add($tmpline, $key);

  53.         };

  54.         if($dic3[$tmpline] -notcontains $line[0]){

  55.             [void]$dic3[$tmpline].add($line[0]);

  56.         };

  57.     };

  58. };

  59. 

  60. write-host 'Searching……';

  61. 

  62. $fs=New-Object System.IO.FileStream($file4, [System.IO.FileMode]::Create);

  63. $sw=New-Object System.IO.StreamWriter($fs, $enc);

  64. for($i=0;$i -lt $text1.count;$i++){

  65.     $line=$text1[$i].trim() -split '\s',2;

  66.     $m=[regex]::matches($line[1].trim('[]'),'[\ud800-\udbff][\udc00-\udfff]|[\u0000-\uffff]');

  67.     [System.Collections.ArrayList]$arr=@();

  68.     if($m.count -ge 1){

  69.         foreach($k in $m){

  70.             if($dic1.ContainsKey($k.groups[0].value)){

  71.                 [void]$arr.add($dic1[$k.groups[0].value]);

  72.             };

  73.         };

  74.     };

  75.     $line=$text1[$i];

  76.     if($arr.count -ge 1){

  77.         $err=@($arr|sort);

  78.         $tmpline=$err -join ':';$tmpline

  79.         if($dic3.ContainsKey($tmpline)){

  80.             for($j=0;$j -lt $dic3[$tmpline].count;$j++){

  81.                 if($dic2.ContainsKey($dic3[$tmpline][$j])){

  82.                     $line+=(' '+$dic3[$tmpline][$j]+'('+$dic2[$dic3[$tmpline][$j]]+')')

  83.                 };

  84.             };

  85.         };

  86.     };

  87.     write-host $line;

  88.     $sw.WriteLine($line);

  89.     $sw.Flush();

  90. };

  91. $sw.Close();

  92. $fs.Close();
复制代码
作者: lxh623    时间: 2020-11-19 10:24

很奇怪，有一个字，两位都没有找到。我手动筛选，找到了。
CB33086        [宀乙] 察
作者: lxh623    时间: 2020-11-19 10:24

帐结了，感谢两位。
作者: zaqmlp    时间: 2020-11-19 13:51

回复 10# lxh623
已修改
CB33086 [宀乙] u5be7(寧) u5bdf(察)
作者: WHY    时间: 2020-11-19 20:55

200多万行数的数据，经过筛选后117万多行，win10实测，正则匹配同时包含多个字符串的行没有for循环来的快。
思路同8楼，改成for循环。
  1. $file1 = 'E:\Test\大藏经解析\IDS.txt';

  2. $file2 = 'E:\Test\大藏经解析\dump.txt';

  3. $file3 = 'E:\Test\大藏经解析\a.txt';

  4. $file4 = 'E:\Test\大藏经解析\b.txt';

  5. 

  6. #遍历 IDS.txt 每一行，加入字典

  7. $Dic1 = New-Object 'Collections.Generic.Dictionary[string, string]';

  8. $Dic3 = New-Object 'Collections.Generic.Dictionary[string, string]';

  9. $arr  = [IO.File]::ReadAllLines($file1) -match '^u';

  10. $count = $arr.Count;

  11. for( $i=0; $i -lt $count; $i++ ){

  12.     $a = $arr[$i].Trim().Split("`t ", 2, 'RemoveEmptyEntries');   #分割成2列

  13.     if( !$Dic1.ContainsKey($a[1]) ){

  14.         $Dic1.Add($a[1], $a[0]);      #Dic1：key=第2列中文字符，value=第1列unicode码

  15.     }

  16.     if( !$Dic3.ContainsKey($a[0]) ){

  17.         $Dic3.Add($a[0], $a[1]);      #Dic3：key=第1列unicode码，value=第2列中文字符

  18.     }

  19. }

  20. 

  21. #遍历 dump.txt 每一行，加入字典

  22. $Dic2 = New-Object 'Collections.Generic.Dictionary[string, string]';

  23. $arr  = [IO.File]::ReadAllLines($file2) -match '^u[0-9a-f]+\s+.*u[0-9a-f]+' -notMatch '^u3013\s';  #去掉u3013开头的行

  24. $count = $arr.Count;

  25. for( $i=0; $i -lt $count; $i++ ){

  26.     $a = $arr[$i].Trim().Split("`t ", 2, 'RemoveEmptyEntries');   #分割成2列

  27.     $k = forEach( $m In [regex]::Matches($a[1], '(?i)u[0-9a-f]+') ){

  28.         $m.Groups[0].Value;

  29.     }

  30.     $key = $k -join ' ';

  31.     if( !$Dic2.ContainsKey($key) ){

  32.         $Dic2.Add($key, $a[0]);       #Dic2：key=第2列的多个unicode码，value=第1列的unicode码

  33.     }

  34. }

  35. 

  36. #遍历 a.txt 每一行，如果在一行中同时匹配多个unicode码，写入b.txt

  37. $fsw = New-Object System.IO.StreamWriter($file4, $false, [Text.Encoding]::UTF8);

  38. $arr = [IO.File]::ReadAllLines($file3) -match '^CB';

  39. $count = $arr.Count;

  40. for( $i=0; $i -lt $count; $i++ ){

  41.     [char[]]$chs = $arr[$i].Split('[]')[1];   #a.txt每一行的中文字符

  42.     [Collections.ArrayList]$a = @();          #数组a，存放中文字符对应的unicode码

  43.     for( $j=0; $j -lt $chs.Count; $j++ ){

  44.         $s = '' + $chs[$j];                   #char转string

  45.         if( $Dic1.ContainsKey($s) ){

  46.             [void]$a.Add( $Dic1[$s] );

  47.         } else { break; }

  48.     }

  49.     if( $a.Count -ne $chs.Count ){ continue; }

  50.     $h = @{};                                 #哈希表，存放Dump.txt的第一列unicode码

  51.     forEach( $key In $Dic2.Keys ){

  52.         if( $h.ContainsKey($Dic2[$key]) ){ continue; }

  53.         $flag = $true;

  54.         for( $j=0; $j -lt $a.Count; $j++ ){

  55.             if( $key.indexOf($a[$j]) -lt 0 ){

  56.                 $flag = $false;

  57.                 break;

  58.             }

  59.         }

  60.         if( $flag ){ $h[$Dic2[$key]] = $true; }

  61.     }

  62.     if( $h.Count -eq 0 ){ continue; }

  63.     $s = $h.Keys -join "`t";

  64.     $s = [regex]::Replace($s, '\S+', {param($m); $m.Value + '-' + $Dic3[$m.Value]});

  65.     echo( $arr[$i] + "`t" + $s );

  66.     $fsw.WriteLine( $arr[$i] + "`t" + $s );

  67.     $fsw.Flush();

  68. }

  69. 

  70. $fsw.Dispose();

  71. echo 'Done';

  72. [Console]::ReadKey();
复制代码
作者: WHY    时间: 2020-11-21 15:44

仔细想想好像不对，8楼正则为啥比for循环还慢？
因为漏掉了一个限定符^，造成过度回溯。
46行改成：
  1. [void]$a.Add( '(?=^.*' + $Dic1[$s] + '\b)' );
复制代码
终于正常了。MARK备查。



欢迎光临 批处理之家 (http://bbs.bathome.net/) Powered by Discuz! 7.2