如何用批处理BAT统计txt文档相似度？

hkldd

文档容量太大，已切割成1000000行n个txt文档，为了把相似度述说清楚，附件中用数字来代替需求，就像附件a.txt

文档中的数字，任意5个数字相同的行就提取进行统计，把结果写入b.txt文档中。谢谢大家！
a.txt

1. 
   
2. 05 06 07 08 09 25
   
3. 05 06 07 08 09 26
   
4. 05 06 07 08 09 27
   
5. 05 06 07 08 09 28
   
6. 05 06 07 08 09 29
   
7. 05 06 07 08 09 30
   
8. 05 06 07 08 09 31
   
9. 05 06 07 08 09 32
   
10. 05 06 07 08 09 33
    
11. 05 06 07 08 10 11
    
12. 05 06 07 08 10 12
    
13. 05 06 07 08 10 13
    
14. 05 06 07 08 10 14
    
15. 05 06 07 08 10 15
    
16. 05 06 07 08 10 16
    
17. 05 06 07 08 10 17
    
18. 05 06 07 08 09 25
    
19. 05 06 07 08 09 26
    
20. 01 02 03 04 05 06
    
21. 01 02 03 04 05 07
    
22. 01 02 03 04 05 08
    
23. 01 02 03 04 05 09
    
24. 01 02 03 04 05 10
    
25. 01 02 03 04 05 11
    
26. 01 02 03 04 05 12
    
27. 01 02 03 04 05 13
    
28. 01 02 03 04 05 14
    
29. 01 02 03 04 05 15
    
30. 01 02 03 04 05 16
    
31. 01 02 03 04 05 17
    
32. 01 02 03 04 05 18
    
33. 01 02 03 04 05 19
    
34. 01 02 03 04 05 20
    
35. 01 02 03 04 05 21
    
36. 01 02 03 04 05 22
    
37. 01 02 03 04 05 23
    

复制代码

b.txt

1. 
   
2. 01 02 03 04 05  18
   
3. 05 06 07 08 09  11
   
4. 05 06 07 08 10  7
   
5. 06 07 08 09 25  2
   
6. 06 07 08 09 26  2

复制代码

b.txt中第6列数是统计次数

apang

以顶楼a.txt为例，生成的b.txt应该是这样吧？
06 07 08 09 25 2
05 07 08 09 25 2
05 06 08 09 25 2
05 06 07 09 25 2
05 06 07 08 25 2
05 06 07 08 09 11
06 07 08 09 26 2
05 07 08 09 26 2
05 06 08 09 26 2
05 06 07 09 26 2
05 06 07 08 26 2
05 06 07 08 10 7
01 02 03 04 05 18

PowerShell

统计文本的相似度，这是高端大气上档次的玩意，就好像搞原子蛋一样，而bat貌似茶叶蛋吧，呵呵。

搞原子蛋，是极难的！
文本是有单词，行，段落，等组成的，这就要分词功能，还要有字典，字典大小还要不能太小，其中的智能化，谁又会写这块功能？

不可否认的是 统计文本的相似度，是压缩文本文件的必要课题。
1 你应研究半年winrar源码，搞懂其中的智能话原理。
旁白：我有一个1g的纯数字文本文档，用winrar5压缩完了是1.4m，用7-zip lzma2 +最大字典压缩完了是15.8m
2或许【智能化代码】+powershell+盘古分词。net 是一个靠谱的决定。

Tuberose

字符串相似度算法 Levenshtein Distance 大全
http://rosettacode.org/wiki/Levenshtein_distance

统计文本的相似度没有找到

cjiabing

也可以做，只是很罗嗦而已！~
最好能看到原始样本，如果不方便，你可以找个人私聊帮忙解决。

web

任意5个数字相同的行就提取进行统计
不好意思没看清题意  可以试试  findstr /c:

1. 
   
2. 
   
3. 
   
4. for /f " delims="  %%s in (b.txt) do (
   
5. findstr /c:"%%s" a.txt >>次数.txt
   
6. )
   

复制代码

如何统计b里边每行数在a里边每行包含出现的次数        给出代码




如果全部相同以下代码可以


参考这里吧http://bbs.bathome.net/thread-24860-1-1.html

1. 
   
2. @echo off&setlocal enabledelayedexpansion
   
3. sort 5.txt | findstr . >temp.tx
   
4. set /pstr=<temp.tx
   
5. set num=1000000001
   
6. (for /f "skip=1 delims=" %%i in (temp.tx) do (     
   
7.     if "!str!" neq "%%i" (
   
8.        echo;!num:~1!  !str!
   
9.        set num=1000000001
   
10.     ) else set /a num+=1
    
11.       set str=%%i
    
12. )
    
13.        echo;!num:~1!  !str!
    
14. )>sort.txt
    
15. sort /r sort.txt >temp.tx
    
16. (for /f "tokens=* delims=0" %%i in (temp.tx) do echo;%%i)>sort.txt
    
17. del temp.tx
    
18. 
    

复制代码

terse

1. 
   
2. @(gawk "{ar[$0]+=1000001}END{for(i in ar)print substr(ar[i],length(ar[i])-5,6) ":" i}" | sort | sed "s/^0*\([0-9]\)*:\(.*\)$/\2    \1/")<aa.txt >11.txt
   

复制代码

复制代码gawk 和 sed 是第三方命令，自己下一个吧
CrLf

web

有高手给你解决问题了去看看吧
http://www.bathome.net/viewthrea ... mp;page=1#pid146236