seekbook

回复 8# qixiaobin0715


    你好，是的，这个问题我没有考虑进去，大概的话，就是前面两行之中，如果是前面5个字都一样，那么就取其中一行的意思，基本在OCR识别后，最后几位会有问题，这样就差不多把相似的排除了，很干净其实也难，因为有可能好多行都有问题哈

went

大致相似的行在文本中位置是否相邻？

qixiaobin0715

相似重复行，这个概念太模糊，应当设定一个标准。比如下面文本中那个是相似的呢：

1
12
123
1234
12345
123456
1234567
12345678
123456789
1234567890
复制代码

seekbook

回复 6# xp3000


   好的谢谢大哥，我刚才测试了一下，运行代码没有反应，可以帮忙在你机子上试试不，前面那个软件我也去下载来试试，只要能解决就行哈

xp3000

//&cls&dir /b *.txt|cscript -nologo -e:jscript "%~f0"&echo 文本连续行去重复，有4个以上连续字符串不同则保留，可以修改{3,}增加数量&pause&exit

function reStr(file){
    var f = fso.opentextfile(file, 1);
    str = f.ReadAll().replace(/^(.{1,})(.{3,})(.{1,}\r?\n)(.{1,}\2.{1,}\r?\n)+/mg, '$1$2$3')
	.replace(/^(.{1,})(.{3,})(.{1,}\r?\n)(.{1,}\2.{1,}\r?\n)+/mg, '$1$2$3')
	.replace(/^(.{1,})(.{3,})(.{1,}\r?\n)(.{1,}\2.{1,}\r?\n)+/mg, '$1$2$3');
    f.Close();
    var f = fso.opentextfile(file, 2);
    f.Write(str);
}
var fso = new ActiveXObject('Scripting.FileSystemObject');
while(!WScript.StdIn.AtEndOfStream)reStr(WScript.StdIn.ReadLine());
复制代码

BAT和文本都ANSI编码，可以保存ANSI了

aloha20200628

模糊识别是AI的话题之一，是当下Python的一道热菜，它有专门的一套工具库打理。LZ 不妨移步那些Py论坛试试...

aloha20200628

抱歉！上款是精确去重...

aloha20200628

试试这一个古老的纯P思路...
@echo off
(for /f "usebackq delims=" %%s in ("a.txt") do (find "%%s" "a.new.txt">nul || echo,%%s))>"a.new.txt"

xp3000

grepWin这个人家就行，其他软件很多支持正则表达式的都可以

^(.{1,})(.{1,9}\r?\n)(\1.{1,9}\r?\n)+
复制代码

替换

$1$2
复制代码