[文本处理] 批处理怎样按条件插入行填补行？

Rank: 4

帖子: 307
积分: 369
技术: 1
捐助: 0
注册时间: 2021-11-5

1楼 跳转到 » 倒序看帖

打印

字体大小: tT

发表于 2023-8-19 22:16 | 只看该作者

[文本处理] 批处理怎样按条件插入行填补行？

本帖最后由娜美于 2023-8-20 14:04 编辑

补充一些a文本

a.txt  ANSI编码

19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:32 August 16 2023>   企业 名称:利海 B
19:37:33 August 16 2023>    +
19:37:34 August 16 2023>   企业 名称:利海 01:C (A)
19:37:35 August 16 2023>   +
19:37:36 August 16 2023>   企业 名称:海
19:37:39 August 16 2023>   退出 

20:37:30 August 16 2023>   企业 名称:利海 B
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 

20:37:30 August 16 2023>   企业 名称:利
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   退出 
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 



企业"字段 至 "企业"字段 之间 或许会有很多行,  示例中只是尽量缩短没影响的行

if 如果遇到有"企业"字段 与 "企业"字段 之间的名称不相同,  且它们中间没有 "退出"字段, 则需要添加插入 "退出"字段行,  如果他们字段之间有了 "退出"字段, 则跳过忽略,  日期时间填补请使用有"企业"字段的上一行日期时间
if 如果有"企业"字段的行  一直至有 "退出"字段行中, 它们名称仍然都是相同的,  ,  则不做任何动作

名称有可能会使用某些字符号,    希望可尽量支持多些名称字符
PowerShell  awk bat 

或许 可以将 ">"  看成分隔符处理吧

>b.txt
19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   退出 

19:37:32 August 16 2023>   企业 名称:利海 B
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    退出 

19:37:34 August 16 2023>   企业 名称:利海 01:C (A)
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   退出 

19:37:36 August 16 2023>   企业 名称:海
19:37:39 August 16 2023>   退出 

20:37:30 August 16 2023>   企业 名称:利海 B
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 

20:37:30 August 16 2023>   企业 名称:利
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   退出 

20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 
复制代码

Rank: 6 Rank: 6

帖子: 1699
积分: 2787
技术: 342
捐助: 50
注册时间: 2022-9-18

2楼

发表于 2023-8-19 23:08 | 只看该作者

a.txt

19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:32 August 16 2023>   企业 名称:利海 B
19:37:34 August 16 2023>   企业 名称:利海 01:C (A)
19:37:36 August 16 2023>   企业 名称:利海 B
19:37:39 August 16 2023>   退出 

20:37:30 August 16 2023>   企业 名称:利海 B
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 
复制代码

执行

@echo off
setlocal enabledelayedexpansion
(for /f "useback tokens=1* delims=:" %%f in (`findstr /n .* "a.txt"`) do (
	for /f "tokens=1* delims=>" %%a in ("%%g") do (
		if defined name (
			if "!name!" neq "%%b" (
				if "%%b" neq "   退出 " (
					echo !t!^>   退出 
					set name=%%b
				) else set name=
			)
		) else set name=%%b
		set t=%%a
	)
	echo=%%g
))>b.txt
endlocal
pause
复制代码

b.txt

19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:30 August 16 2023>   退出 
19:37:32 August 16 2023>   企业 名称:利海 B
19:37:32 August 16 2023>   退出 
19:37:34 August 16 2023>   企业 名称:利海 01:C (A)
19:37:34 August 16 2023>   退出 
19:37:36 August 16 2023>   企业 名称:利海 B
19:37:39 August 16 2023>   退出 

20:37:30 August 16 2023>   企业 名称:利海 B
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 
复制代码

bat小白，请多指教！谢谢！

Rank: 4

帖子: 307
积分: 369
技术: 1
捐助: 0
注册时间: 2021-11-5

3楼

发表于 2023-8-19 23:29 | 只看该作者

本帖最后由娜美于 2023-8-19 23:42 编辑

回复 2# 77七

字段与字段之间行数不固定哦, 字段与字段之间没有"退出" 补一行就行, 似乎补多了

如果中间行数多几行情况
a.txt
19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023> ++++
19:37:31 August 16 2023> ++++
19:37:32 August 16 2023>   企业 名称:利海 B
19:37:33 August 16 2023>    +

如果"企业" 与 "企业"字段之间没有"退出" 字段,  在有"企业"字段上一行添加一行就行,   似乎在企业下面也添加了,   重复添加了

>b.txt
19:37:30 August 16 2023> 企业 名称:优 美 利 A
19:37:30 August 16 2023>   退出 
19:37:31 August 16 2023> ++++
19:37:31 August 16 2023> ++++
19:37:31 August 16 2023> ++++
19:37:31 August 16 2023>   退出 
19:37:32 August 16 2023> 企业 名称:利海 B
19:37:32 August 16 2023>   退出 
19:37:33 August 16 2023> +
复制代码

Rank: 6 Rank: 6

帖子: 1699
积分: 2787
技术: 342
捐助: 50
注册时间: 2022-9-18

4楼

发表于 2023-8-19 23:46 | 只看该作者

回复 3# 娜美

提供的样本需要保持原样，我用2楼中a.txt测试没问题。请提供一个测试出现问题的样本，看看问题出现在哪里。

bat小白，请多指教！谢谢！

Rank: 4

帖子: 307
积分: 369
技术: 1
捐助: 0
注册时间: 2021-11-5

5楼

发表于 2023-8-19 23:50 | 只看该作者

本帖最后由娜美于 2023-8-20 00:00 编辑

回复 4# 77七

好的
例如这样的样例

a.txt 
19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:32 August 16 2023>   企业 名称:利海 B
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:34 August 16 2023>   企业 名称:利海 01:C (A)
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:36 August 16 2023>   企业 名称:利海 B
20:37:30 August 16 2023>   +
20:37:30 August 16 2023>   +
20:37:30 August 16 2023>   企业 名称:利海 B
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 

>b.txt
19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   退出 

19:37:32 August 16 2023>   企业 名称:利海 B
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    退出 

19:37:34 August 16 2023>   企业 名称:利海 01:C (A)
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   退出 

19:37:36 August 16 2023>   企业 名称:利海 B
20:37:30 August 16 2023>   +
20:37:30 August 16 2023>   +
20:37:30 August 16 2023>   企业 名称:利海 B
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 
复制代码

Rank: 6 Rank: 6

帖子: 1699
积分: 2787
技术: 342
捐助: 50
注册时间: 2022-9-18

6楼

发表于 2023-8-20 00:01 | 只看该作者

本帖最后由 77七于 2023-8-20 00:08 编辑

回复 5# 娜美

@echo off
setlocal enabledelayedexpansion
(for /f "useback tokens=1* delims=:" %%f in (`findstr /n .* "a.txt"`) do (
	set str=%%g
	set str1=!str:企业=!
	if "!str1:退出=!" neq "!str!" (
		for /f "tokens=1* delims=>" %%a in ("%%g") do (
			if defined name (
				if "!name!" neq "%%b" (
					if "%%b" neq "   退出 " (
						echo !t!^>   退出 
						set name=%%b
					) else set name=
				)
			) else set name=%%b
			set t=%%a
		)
	)
	echo=%%g
))>b.txt
endlocal
pause
复制代码

bat小白，请多指教！谢谢！

Rank: 4

帖子: 307
积分: 369
技术: 1
捐助: 0
注册时间: 2021-11-5

7楼

发表于 2023-8-20 00:17 | 只看该作者

本帖最后由娜美于 2023-8-20 00:24 编辑

回复 6# 77七

这次基本对了, 不过补的时间不是上一行时间, 只是时间补错了会寻致下一步不能正确计算时间请帮忙再看下

Rank: 6 Rank: 6

帖子: 1699
积分: 2787
技术: 342
捐助: 50
注册时间: 2022-9-18

8楼

发表于 2023-8-20 00:23 | 只看该作者

回复 7# 娜美

@echo off
setlocal enabledelayedexpansion
(for /f "useback tokens=1* delims=:" %%f in (`findstr /n .* "a.txt"`) do (
	set str=%%g
	set str1=!str:企业=!
	if "!str1:退出=!" neq "!str!" (
		for /f "tokens=1* delims=>" %%a in ("%%g") do (
			if defined name (
				if "!name!" neq "%%b" (
					if "%%b" neq "   退出 " (
						echo !t!^>   退出 
						set name=%%b
					) else set name=
				)
			) else set name=%%b
		)
	)
	for /f "tokens=1* delims=>" %%a in ("%%g") do (
		set t=%%a
	)
	echo=%%g
))>b.txt
endlocal
pause
复制代码

修改时忘记考虑了。

bat小白，请多指教！谢谢！

Rank: 4

帖子: 307
积分: 369
技术: 1
捐助: 0
注册时间: 2021-11-5

9楼

发表于 2023-8-20 00:28 | 只看该作者

回复 8# 77七

多谢哥哥基本正确了, 晚安我明天再细试一下
哥哥晚安

Nsqs

少尉

Rank: 5 Rank: 5

帖子: 318
积分: 546
技术: 57
捐助: 0
注册时间: 2016-4-11

10楼

发表于 2023-8-20 05:33 | 只看该作者

本帖最后由 Nsqs 于 2023-8-20 07:48 编辑

ps没那么复杂

$data=gc a.txt
$s=New-Object 'System.Collections.Generic.List[string][]' 3
$f='企业'
for($i=0;$i -lt $data.Count;$i++){
    if($data[$i] -match $f){
        [int]$c=$c%2+1
        $s[$c]=[regex]::Matches($data[$i],"$f.+")
        if($s[1] -ne $s[2]){
            $b=$data[$i-1]
            $data[$i-1]="$($b)`r`n$([regex]::Matches($b,'.+>'))   退出"
        }
    }
}
$data=$data -split '\r\n'
$data[0..($data.Count-2)]>b.txt
复制代码

bat

@echo off&setlocal enabledelayedexpansion
set n=100
for /f "delims=" %%1 in (a.txt)do set /a n+=1&call set "#%%n%%=%%1"
for /f "tokens=1,2,6* delims=#= " %%1 in ('set #')do (
	set /a a=%%1
	set "line=%%3%%4%%5"
	set d=!line:*   =!
	set d=!d:~,2!
	if !d!==企业 (	
		call set "s!c!=!line!"
		set /a c=c %% 2+1
		if !s1! neq !s2! (
			set /a b=a-1
			call set "#!b!#=%%#!b!:+=%%退出"
)))
(for /f "tokens=2* delims==" %%1 in ('set #')do echo %%1)>b1.txt
复制代码

Rank: 4

帖子: 307
积分: 369
技术: 1
捐助: 0
注册时间: 2021-11-5

11楼

发表于 2023-8-20 08:17 | 只看该作者

本帖最后由娜美于 2023-8-20 09:06 编辑

回复 10# Nsqs

PS 较为理想, 但是在实际文本中会在第一行产生多余的一行 " 退出 " 其他的还产生重复插入字段情况
例如, 以下这种情况在样式例子中不会, 但在实际文本中会发生如下情况, 多了一行

a.txt
19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   退出
19:37:32 August 16 2023>   企业 名称:海


像这种已存在条件情况,  也会重复插入了
>b.txt
19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   退出 
19:37:31 August 16 2023>   退出
19:37:32 August 16 2023>   企业 名称:海
复制代码

最好能在完成后记录可以显示在那些行号插入字段变动
例如: 10,115,119,212行

Rank: 4

帖子: 307
积分: 369
技术: 1
捐助: 0
注册时间: 2021-11-5

12楼

发表于 2023-8-20 09:09 | 只看该作者

本帖最后由娜美于 2023-8-20 09:18 编辑

回复 8# 77七

试了100mb文件, 似乎好慢, 不知道还能加快不
最好能在完成后记录可以显示在那些行号插入字段变动
例如: 10,115,119,212行

qixiaobin0715

大校

Rank: 7 Rank: 7 Rank: 7

帖子: 2852
积分: 4174
技术: 430
捐助: 0
注册时间: 2016-2-20

13楼

发表于 2023-8-20 10:03 | 只看该作者

最好把实际数据的片段贴出来。感觉先用时间判断，再用“企业”和“退出”多重判断效率较高。

Rank: 4

帖子: 307
积分: 369
技术: 1
捐助: 0
注册时间: 2021-11-5

14楼

发表于 2023-8-20 10:21 | 只看该作者

本帖最后由娜美于 2023-8-20 10:30 编辑

回复 13# qixiaobin0715

实际数据就是5楼加上11楼数据,,, 只不过1楼举例没有足够的多, 在5楼, 11楼添加另外情况, 事实上都差不多

主要这2个条件判断呗, 耍检查有"企业"字段与 "企业"字段之间的名称是否相同, 其中是否存在有 "退出"字段的行

if 如果遇到有"企业"字段与 "企业"字段之间的名称不相同, 且它们中间没有 "退出"字段, 则需要添加插入 "退出"字段行, 日期时间填补请使用有"企业"字段的上一行日期时间
if 如果有"企业"字段的行一直至有 "退出"字段行中, 它们名称仍然都是相同的, , 则不做任何动作

a.txt  ANSI编码
19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:32 August 16 2023>   企业 名称:利海 B
19:37:33 August 16 2023>    +
19:37:34 August 16 2023>   企业 名称:利海 01:C (A)
19:37:35 August 16 2023>   +
19:37:36 August 16 2023>   企业 名称:利海 B
19:37:39 August 16 2023>   退出 

20:37:30 August 16 2023>   企业 名称:利海 B
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 
19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:32 August 16 2023>   企业 名称:利海 B
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:33 August 16 2023>    +
19:37:34 August 16 2023>   企业 名称:利海 01:C (A)
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:35 August 16 2023>   +
19:37:36 August 16 2023>   企业 名称:利海 B
20:37:30 August 16 2023>   +
20:37:30 August 16 2023>   +
20:37:30 August 16 2023>   企业 名称:利海 B
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   +
20:39:30 August 16 2023>   企业 名称:利海 B
20:38:31 August 16 2023>   退出 

19:37:30 August 16 2023>   企业 名称:优 美 利 A
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   ++++
19:37:31 August 16 2023>   退出
19:37:32 August 16 2023>   企业 名称:海
复制代码

Rank: 6 Rank: 6

帖子: 1699
积分: 2787
技术: 342
捐助: 50
注册时间: 2022-9-18

15楼

发表于 2023-8-20 11:40 | 只看该作者

本帖最后由 77七于 2023-8-21 13:01 编辑

回复 12# 娜美

echo a                      0.41毫秒
echo a>>b.txt,    0.30毫秒
echo. a>>b.txt    1,30毫秒  (不知为什么这一点会多用那么多时间)
findstr “aa” a.txt 44.90毫秒
type a.txt |findstr “aa” 99.12毫秒
for /f %%a in (‘set #’) do (rem),  42.70毫秒

探讨批处理代码效率

说法有误：文本太大，以500万行算，只echo %%a就需要半小时,echo=%%a，需要更久。而且一个for /f 可能需要2毫秒，乘以500万，又是几个小时。
考虑其它脚本吧。

bat小白，请多指教！谢谢！