[已解决]sed命令怎么提取多个txt文本的指定行

w609053988

sed命令如何批量提取大量文件的数据：javascript:;
1.提取数据的格式：.txt、.csv，提取的数量比较多，可能几千个，需要考虑到效率
2.提取每个文本M-N行的数据，或者某两个字符串之间的数据，如果能定位到某个字符串（比如字符串在第10行），我要提取的数据在11-20，以字符串为参考，提取出11-20行的数据

工作需要经常处理分析一些数据（*.txt、*.csv等），其实VBA也都可以实现上面的功能，但个人感觉效率有点慢，试验过提取500个，得花费3分多中，如要处理大几千的数据，那就太慢了
想请教批处理有什么好的方法吗？不仅限于sed命令

批处理命令也是最近才接触了，把基本的系统自带的学习了下，虽然那些命令过时已久，但魅力仍在，从findstr命令开始对批处理感兴趣了，
因为有一次处理7000多txt文件，用findstr批量提取某一行数据，只花费了10秒不到，当时惊吓到我了，如果用VBA的话可能需要四五十分钟，
本人新手，望大家指点，互相学习!

@echo off
del 3.ini
sed  -n "1,3p" *.txt>>3.ini
pause
上面的代码为何只提取到了目前下的第一个txt文件？

WHY

PowerShell -c "Select-String -Path *.txt -Encoding Default 'abc' -Context 10|%%{$_.Context.PostContext}">Result.Log
复制代码

WHY

@echo off & setlocal enabledelayedexpansion
(for %%i in (*.txt) do (
    set "n="
    for /f "delims=" %%j in ('type "%%i"') do (
        set "s=%%j"
        if defined n (
            if !n! LEQ 10 set /a n+=1 & echo;!s!
        ) else (
            if "!s:abc=!" NEQ "!s!" set n=1
        )
    )
))>Result.Log
复制代码

w609053988

回复 16# pcl_test

非常感谢，这个测试提取4000文件没问题!

pcl_test

#*http://www.bathome.net/s/tool/index.html?down&key=gawk
#*提取多个文本指定字符串所在行之后的10行内容
#*&cls&dir /a-d/b *.txt|gawk -f "%~f0">"result.log"&pause&exit
BEGIN{
    while(getline file>0){
        t=0;print file;
        while(getline<file>0){
            if(t>0&&t<=11)print;
            if(index($0, "指定字符串"))t=1;
            if(t)t++;if(t>11)break;
        }
        close(file);
    }
}

w609053988

回复 2# pcl_test


    后面我自己创建了4000个文件测试，发现也只处理了2045个文本，这是为什么？

w609053988

纯批的for循环还能优化效率吗？我提取7000多个csv的指定区域输出到某个文件，需要花费15分钟，前面比较快，后面越来越慢！纯gawk效率确实高太多，几秒钟搞定，但是提取上面7000多确只抓出了2000多，纯批的for全部抓取出来了，不知道什么问题，文件名包含大小写字母和数字，还有英文的_和-，文件名都是以字母开头，另纯gawk的可以抓取每个文件选取的内容前先把文件名抓取，一同输出到单独的文件中吗？

w609053988

回复 11# pcl_test


    纯批已测试，没问题，感谢斑竹！

w609053988

回复 10# Batcher

感谢，资料已下，如有问题还望不吝赐教！

pcl_test

回复 9# w609053988

好吧，转为纯批

@echo off
for /f "delims=" %%a in ('dir /a-d/b *.txt') do call :loop "%%a"
pause&exit
:loop
setlocal enabledelayedexpansion
for /f "delims=" %%b in ('type "%~1"') do (
    set "str=%%b"
    if defined t if !t! leq 11 echo;%%b
    if "!str:指定字符串=!" neq "%%b" set t=1;
    if defined t set /a t+=1
    if !t! gtr 11 goto :eof
)
复制代码

powershell -c "dir *.txt|%%{if([IO.File]::ReadAllText($_, [Text.Encoding]::Default) -match '(?<=.*?指定字符串.*?\n)(.+?(\n|$)){1,10}'){$matches[0]}}"
pause
复制代码

powershell -c "dir *.txt|%%{$t=0;gc $_|%%{if(($t -gt 0) -and ($t -le 11)){$_};if($_.contains('指定字符串')){$t=1};if($t){$t++}}}"
pause
复制代码

Batcher

回复 8# w609053988


O’Reilly sed & awk 2nd Edition 中文高清修订第3版
http://bbs.bathome.net/thread-13203-1-1.html

w609053988

回复 2# pcl_test


    版主，能解释下每行代码的意思吗？感觉gwak与其他的那些批处理语法完全不同啊！

w609053988

回复 7# pcl_test


    官网教程看到了，但是纯英文，不太好懂，那个帖子蛮好的，可惜等3年了还没更新

pcl_test

回复 6# w609053988
  要你看的是两个官网教程
http://www.gnu.org/software/gawk/manual/gawk.html
http://www.gnu.org/software/sed/manual/sed.html

w609053988

回复 4# pcl_test

可惜给的帖子没写完！