[文本处理] [已解决]BAT怎样处理百万行的超大型文本？

claudia

这两个图能看得懂吗？？   

意思就是说从A中取指定的几行   存到文件C中， 同时把这几行从A中删除。

具体取出那几行需要临时定义，或者可以把位置放到一个文件中

例如：
1
2
6
8
9

注（文件A非常大 至少几十MB  最少是100万行    而且取出的行数也很多。 希望速度能快点）

自己用VB试了下很慢  走头无路才想到批处理的。。   请大侠帮忙

yoyobye

到底要提出哪几行来？

claudia

回复 2# yoyobye


    要取出那几行未必的。    只能自己临时定义。    每次都不一样。  

或者我可以把要取出的行位置写到一个文件中  换行符隔开

terse

外部命令 SED
看你前贴 把两个命令结合下哦

@echo off
set "str=1 5 7 8 10 112 121 333 "
sed -ni "%str: =p;%%str: =d;%w $" a.txt
move a.txt c.txt
ren $ a.txt
PAUSE
复制代码

claudia

回复 4# terse


    这个一次性能操作多少行呢？？      我一般要操作很多行。   至少几万行

Demon

原来批处理比VB还快，学习了

yoyobye

for /f "tokens=1,* delims=:" %%i in ('findstr /n "." 1.txt') do (
    set n=%%i
    set str=%%j
    for /f "delims=" %%a in (t.txt) do (
        if {!n!}=={%%a} echo !str!>>2.txt
    )
)
没有测试，不懂大文件的效率问题，求教

claudia

回复 6# Demon


    VB想尽了办法了。。   几百万的数据  非常慢      读写速度不够快。   批处理先试试把

BAT-VBS

回复 8# claudia


    4楼的代码效率如何？

BAT-VBS

这两个图能看得懂吗？？   
意思就是说从A中取指定的几行   存到文件C中， 同时把这几行从A中删除。

请把图里面的数据用文本的形式直接贴出来，以便测试代码。

BAT-VBS

自己用VB试了下很慢  走头无路才想到批处理的。。   请大侠帮忙

大部分情况下，VBS的效率比BAT高。
可能是你的代码写的不好。
可以去VBS版块把你的代码贴出来，让大神给你优化优化。

sz1121

pfile.exe -f:c:\in.txt -d:1-118 -out.txt
-f 目标文件
-d 指定行范围
-o 保存到文件
-参数后需要":"号连接
如:-f:c:\1234567.txt -d:1-500 -o:c:\abcdef
执行之前会备份目标文件为?????.bak


http://url.cn/HxmqND

techon

超大量数据还是用数据库方便快捷