w31575801

回复 14# Batcher


    可以提取 但是文件大的话也是相当慢

w31575801

回复 15# Batcher


    gawk这个命令出来 会有这个

Batcher

回复 16# w31575801


请给出量化的数据吧，比如：
SN.txt 5万行
需要提取的LOG.csv 50万行
6楼代码执行耗时 xxx
8楼代码执行耗时 xxx

w31575801

回复 18# Batcher


    附件太大 上传不了

w31575801

回复 18# Batcher


    SN.TXT 一共91535个SN码 即91535行
需要查找的Log 共560000个 12GB

我是分一点点找 120MB 查找的话需要3小时左右 gawk我还没尝试  因为上夜班刚回家数据在公司

xczxczxcz

win10 可以写个，其它免麻烦

netdzb

回复 21# xczxczxcz

这么厉害，运行速度超快啊。

Gin_Q

560000 * 91535 = 51259600000
读取一行log文件，再去 sn 里面查找匹配
不知道大家有没有更优的方法

启用多线程分块匹配应该可以优化很多

路过

1一次取5600行到内存，开5个工作线程，每个线程用KMP算法搜索18307个SN码，输出含有SN码的行号；
2.等所有线程工作完了，主线程打印出行号对应的完整行>>result.csv
3.重复步骤12一百次直到log文件被搜完

qixiaobin0715

有个思路不知可行不：
由于源文件一行内容太长，可将sn码与源文件中含有sn码的列（可用tokens=15提取）比对，这样可以屏蔽无关的字符。如果某行含有特定的sn码，获得行号。得到所有符合条件的行号后，再按得到的行号提取行。

netdzb

回复 24# 路过

我们想看代码是如何写的"?"

qixiaobin0715

回复 1# w31575801
按照25楼的思路，用3个for循环（实际是2个，第3个是为了只显示含有sn码的列，in里面只是一行字符串），不用效率较低的findstr。不知能否提高速度：

@echo off
setlocal enabledelayedexpansion
(for /f "delims=" %%a in (SN.txt) do (
    for /f "delims=" %%b in (需要提取的LOG.csv) do (
        for /f "tokens=15 delims=," %%c in ("%%b") do (
        set "str=%%c"
        set "str=!str:%%a=!"
        if not "!str!"=="%%c" echo %%b
        )
    )
))>结果.csv
pause
复制代码

WHY

回复 27# qixiaobin0715


    set "s=a,b,,,c"
用delims=,分割的话，c位于第3列。实际上，在csv文件中，c位于第5列。

如果csv文件是这样的：
a,b,,,"c,d"
第5列变成 "c,d"，纯批和 gawk 都会挂掉。
这样就需要正则匹配了：

^(?:"(?>[^"]+|"")*",|[^",]*,){14}("(?>[^"]+|"")*"|[^",]*)
复制代码

当然仅适合标准的 Microsoft CSV 文档。

qixiaobin0715

回复 28# WHY
确实有点欠考虑，是会有很大漏洞，并且可能出现的概率也不小。但文本的复杂性太多，有时正则也会失效。
比如这样的字符串：abcd,"a,bcd","a,b"cd,"a,b""c,d","a,b"e"d,e",a"b,c"d
所以写代码时还是要根据文本的实际情况处理。

WHY

回复 29# qixiaobin0715


    严重同意，具体问题具体分析。