[文本处理] 求助：批处理如何实现去除相似重复行

seekbook

由于工作需要，使用OCR识别软件，识别结果如下案例，每行会有相似差不多的文本，去重复的代码我自己会写，但是要一模一样的行，才能去除，像下面这样，就没有办法实现，哪位朋友要是会写，帮忙给我写一个，后面可能还有几百条的样子，相似度过高的话就留住最开始的那条即可，不甚感激，祝大家春节快乐，新年发财。

欢迎光临大家
欢迎光临人家
谢谢你的指导a
谢谢你的指导b
谢谢你的指导c

seekbook

回复 6# xp3000


   好的谢谢大哥，我刚才测试了一下，运行代码没有反应，可以帮忙在你机子上试试不，前面那个软件我也去下载来试试，只要能解决就行哈

seekbook

回复 8# qixiaobin0715


    你好，是的，这个问题我没有考虑进去，大概的话，就是前面两行之中，如果是前面5个字都一样，那么就取其中一行的意思，基本在OCR识别后，最后几位会有问题，这样就差不多把相似的排除了，很干净其实也难，因为有可能好多行都有问题哈

seekbook

回复 9# went


    你好，有可能是相邻，但基本都在尾部，感觉能把尾部这样去除已经可以了

seekbook

回复 10# xp3000


    你好大佬，我刚才试了一下，还是有问题，这个文件怎么都存不成ansi格式的，有点奇怪，保存完，打开后，又变UFT-8了，第一行的 *.txt要改成 我的文件名吗，我测试了一下，会提示找不到文件

seekbook

回复 15# went


感谢大佬，您的代码写的真清晰，我测试了一下处理到200多行就停住了，慢点不要紧哈，只要能处理出来就行了，我现在这个是识别了一部纪录片里的字幕，有些好几行都差不多的，我把文件 a.txt 传上来，可以麻烦您下载下来在本地跑一下吗，谢谢


链接：https://pan.baidu.com/s/1UsxUFOcaTBbLtlj6PoXLZw?pwd=kkkk
提取码：kkkk
--来自百度网盘超级会员V5的分享

seekbook

楼上已发哈，重发了刚才

seekbook

回复 18# went

感谢大哥，可以实现了，解决了我的工作问题，对了，如果说，我要排除有6个字符相似的话，就把set "max=4"   这个改成5 就可以了吗？