[文本处理] 批处理如何获取/提取大文本中含有指定字符串的最后一行内容？

iq301

有个文档每天由服务器生成，文档size非常大，有1G以上。我要找出文档里面符合  Date/Time 的行，并显示最后一行出来.

由于文档太大了。用bat速度好慢，

求助 ：由于ISO原因，不允许使用第三方软件。只能自己编程。请问大家有没办法解决？谢谢

文档内容样式：

asdadffdasfsafasfasdfffadsfsafasdf

Date/Time: 2015-02-05 18:05:50

fsdfsadfsdfsdfdf

adfsfsdfasfffdsfafasdf

asdadffdasfsafasfasdfffadsfsafasdf

Date/Time: 2015-02-05 19:05:50

fsdfsadfsdfsdfdf

adfsfsdfasfffdsfafasdf

CrLf

@echo off
for /f "delims=" %%a in ('findstr "^Date/Time:" 文档.log') do set DateTime=%%a
echo 取得的结果为 %DateTime%
pause
复制代码

iq301

回复 2# CrLf


    文本txt档，非常大，用bat非常非常的慢。。bat可能吃不消，请问有没别的语言能达到快速的效果？比如：JAVA C++ VBS 这些语言我都i不会。。

CrLf

什么系统

CrLf

试试这样，希望sort 受得了

@echo off
findstr "^Date/Time:" 文档.log | sort /65535 /o tmp.txt
set /p DateTime=<tmp.txt
echo 取得的结果为 %DateTime%
pause
复制代码

慕夜蓝化

原来是要取得最后一行的吗 = =

@echo off
type "a.txt"|find "Date/Time" >$
for /f "delims=" %%i in ('type "$"^|find /v /c ""') do (
    set/a n=%%i-1
)
for /f "skip=%n% delims=" %%a in ('type "$"') do (
    echo,%%a
)
del /f/q "$"
pause
复制代码

terse

@if(0)==(0) echo off
cscript -nologo -e:jscript %0 <d.txt
pause & exit/b
@end
var text = WScript.StdIn.ReadAll();
var f = text.match(/Date\/Time:.*/ig);
if (f) {WSH.Echo(f[f.length - 1])}
复制代码

CrLf

回复 7# terse


    感觉像 js 和 powershell  这种所有字符串都是对象的语言处理大文件的消耗应该很大，猜过去用  vbs 的 instrRev 也许更快
    火车上，没法验证，哪位有兴趣做个实验？挺好奇的

Demon

1G ReadAll

CrLf

改用 ReadLine(10000) 应该就不怕占内存了

terse

回复 8# CrLf
试了 POWERSHELL 方案 没测试大文件
测试一 110MB 文件 效率比JS略高
等楼主测试吧

$file = "c:d.txt"
([io.file]::ReadAllLines($file) -match "Date/Time:")[-1]
复制代码

CrLf

回复 11# terse


    用顶楼数据生成了 468M 大小的文件做了一组测试，结果让我大跌眼镜，gawk 和 sed 竟然这么慢
gawk 耗时58.6s，内存占用可忽略不计

@echo off
set t=%time%
gawk "/^Date\/Time:/{$a=$0}END{print $a}" tmp.txt
echo %t%  %time%
pause
复制代码

sed 耗时未知（太久了，等不起），内存占用可忽略不计

@echo off
set t=%time%
sed -n "/^Date\/Time:/h;${g;p}" tmp.txt
echo %t%  %time%
pause
复制代码

find /c + skip 耗时79.7s，内存占用可忽略不计

@echo off
set t=%time%
find "Date/Time:"<tmp.txt>$
for /f %%a in ('find /c /v ""^<$') do set /a n=%%a-1
for /f "skip=%n% delims=" %%a in ($) do echo %%a
echo %t%  %time%
pause
复制代码

sort + set /p 耗时24.7s，内存占用中等

@echo off
set t=%time%
findstr "^Date\/Time:" tmp.txt | sort /+65535 /o tmp2.txt
set /p DateTime=<tmp2.txt
echo 取得的结果为 %DateTime%
echo %t%  %time%
pause
复制代码

bat + js 耗时29.5s，内存占用高（约是文件体积的五倍）

@if(0)==(0) echo off
set t=%time%
cscript -nologo -e:jscript %0 <tmp.txt
echo %t%  %time%
pause & exit/b
@end
var text = WScript.StdIn.ReadAll();
var f = text.match(/Date\/Time:.*/ig);
if (f) {WSH.Echo(f[f.length - 1])}
复制代码

纯 js 耗时65.26s，内存占用高（约是文件体积的两倍）

var start = new Date()

var fso = new ActiveXObject('Scripting.FileSystemObject')
var ts = fso.OpenTextFile('tmp.txt',1)

var text = ts.ReadAll()
var f = text.match(/Date\/Time:.*/ig);
if (f) {WSH.Echo(f[f.length - 1])}

var end = new Date()
WSH.Echo((end - start)/1000)
复制代码

纯 vbs 耗时49.354s，内存占用高（约是文件体积的两倍，和 js 相当）

start = timer

Set fso = CreateObject("Scripting.FileSystemObject")
Set ts = fso.OpenTextFile("tmp.txt",1)

text = ts.ReadAll
i = instrRev(text,vbLf & "Date/Time:")
text = mid(text,i)
text = split(text,vbCrLf)(0)

end2 = timer

WSH.Echo(text & vbcrlf & (end2 - start))
复制代码

powershell io.file::ReadAllLines 耗时29.6s，内存占用高（约是文件体积的五倍）

$start = get-date
$file = "C:\Users\Administrator\Desktop\tmp.txt"
([io.file]::ReadAllLines($file) -match "Date/Time:")[-1]

$end = get-date
$end - $start
复制代码

powershell select-string 耗时140.8s，内存占用高（约是文件体积的五倍）

$start = get-date
$file = "C:\Users\Administrator\Desktop\tmp.txt"
$a = select-string $file -pattern '^Date/Time:'
$a[-1]
$end = get-date
$end - $start
复制代码

js while+Read 耗时22.675s，内存占用低，但本质是对最后 100000~200000 个字节进行搜索，所以...

var start = new Date()

var fso = new ActiveXObject('Scripting.FileSystemObject')
var ts = fso.OpenTextFile('tmp.txt',1)
var arr = ['','']
var i=0

while(!ts.AtEndOfStream){
	arr[i=!i]=ts.Read(100000)
}

var f = (arr[!i]+arr[i]).match(/Date\/Time:.*/ig);
var end = new Date()
if (f) {WSH.Echo(f[f.length - 1])}

WSH.Echo((end - start)/1000)
复制代码

改用 skip 实现只取最后的 10000 字节，耗时21.96s，内存占用低，缺点和前一个方法一样，为了效率，并非全文搜索

var start = new Date()

var fso = new ActiveXObject('Scripting.FileSystemObject')
var file = fso.GetFile('tmp.txt')
var ts = file.OpenAsTextStream(1)

var skip = file.Size-10000
if(skip>0)ts.Skip(skip)

var text = ts.ReadAll()

var f = text.match(/Date\/Time:.*/ig);
var end = new Date()
if (f) {WSH.Echo(f[f.length - 1])}

WSH.Echo((end - start)/1000)
复制代码

iq301

各位亲，非常谢谢你们无私的帮助，原文件行数超过30W行。这样的约1.5G文本有10个。操作系统是WIN7 。如果占用内存太大，电脑会不会直接挂掉。。。

caruko

建议用C写个程序，用 fseek 将位置指针从最后往前移动，读取指定长度的字符对比，直到找到符合的 字符。