[文本处理] 求助bat脚本提取重复出现2次或2次以上的文本行？

idc878787

例如文本1.txt
aaa
AAA
bbb
ccc
ccc
ccc
dd
dD
e
f

提取  相同含有2个 或者2个以上的文本行   忽略含有英文的大小写？
生成文本2.txt
aaa
AAA
ccc
ccc
ccc
dd
dD

xp3000

回复  xp3000

   运行中  有时提示“过程试图写入的管道不存在”   直接结束了  是什么原因？
idc878787 发表于 2022-10-12 08:35

改了，第一次那个不支持超大文本，这个支持

@if(0)==(0) echo off&cd %~dp0
title  保存ANSI格式BAT文件,处理ANSI文件

cscript -nologo -e:jscript "%~0" <"文本1.txt" >"文本2.txt"

pause&exit /b
@end
WSH.echo(WSH.StdIn.ReadAll().match(/^(.+)(\r?\n\1){1,}/img).join(''));
复制代码

idc878787

回复 2# xp3000


    谢谢

idc878787

回复 2# xp3000


   运行中  有时提示“过程试图写入的管道不存在”   直接结束了  是什么原因？

hfxiang

如果不介意第3方工具gawk（ http://bcn.bathome.net/tool/4.1.0/gawk.exe ），以下指令也很高效

gawk "{if(tolower($0)==tolower(A)){print A;B=1}else{if(B){print A;B=0}}}{A=$0}END{if(B)print A}" test.txt
复制代码

idc878787

回复 5# hfxiang


    这个不会用？

qixiaobin0715

回复 1# idc878787
按照你提供的样本，提取相邻重复行：

@echo off
setlocal enabledelayedexpansion
for /f "delims=" %%a in (a.txt) do (
    if /i "%%a"=="!str!" (
        echo,!str!
        set n=1
    ) else (
        if !n! equ 1 echo,!str!
        set n=0
    )
    set str=%%a
)
if !n! equ 1 echo,!str!
pause
复制代码

bat文件保存为ANSI编码。

idc878787

回复 7# qixiaobin0715


    没有生成新文本？  如果修改 重复出现5次或5次以上的文本行呢

qixiaobin0715

回复 8# idc878787
不会再来个100次吧。bat处理类似的问题不是强项，最好使用其它脚本处理，勉强可以这样：

@echo off
setlocal enabledelayedexpansion
set n=1
for /f "delims=" %%a in (a.txt) do (
    if /i "%%a"=="!m4!" (
        set /a n+=1
        if !n! equ 5 (
            echo,!m1!
            echo,!m2!
            echo,!m3!
            echo,!m4!
            echo,%%a
        )
        if !n! equ 6 (
            echo,%%a
            set n=5
        )
    ) else (
        set n=1
    )
    set m1=!m2!
    set m2=!m3!
    set m3=!m4!
    set m4=%%a
)
pause
复制代码

Batcher

回复 6# idc878787


gawk.exe 下载之后放到 C:\Windows\System32 这个文件夹下
稍微修改5楼代码：
gawk "{if(tolower($0)==tolower(A)){print A;B=1}else{if(B){print A;B=0}}}{A=$0}END{if(B)print A}" 1.txt >2.txt
保存为 test.bat 放到跟你的 1.txt 同一个文件夹下
执行 test.bat

hfxiang

回复 8# idc878787


   
提取连续N（大于等于2的任意整数）行以上相邻重复行，不区分大小写，下例N=5

gawk -vN=5 "{{if(tolower($0)==tolower(A)){a[++i]=A;B=1}else{if(B){if(++i>=N){a[i]=A;for(j=1;j<=i;j++)print a[j]};B=0;i=0}}}{A=$0}}END{if(B){if(++i>=N){a[i]=A;for(j=1;j<=i;j++)print a[j]}}}" 1.txt>2.txt
复制代码

aloha20200628

给一个纯P解法》先用系统自带的sort简化一下本题...

@echo off &setlocal enabledelayedexpansion
set "lastS=" &set n=0
(for /f "delims=" %%s in ('sort 1.txt') do (
   if /i "!lastS!" == "%%~s" (
       if !n! equ 0 echo,!lastS!
       echo,%%s
       set/a n+=1
   ) else set n=0
   set "lastS=%%s"
))>2.txt
endlocal&exit/b
复制代码