Kiming

大哥 md创建 很快的瞬间就好了的 不试试看怎么知道了
你给的那个100w行的代码有问题啊 就几个重复的
N多不重复的
至于那个非法字符用word搞下就可以了
好像里面没非法字符啊

[ 本帖最后由 Kiming 于 2009-5-29 19:54 编辑 ]

随风

好恐怖的方法^_^
上百万行，你要创建多少个目录？况且如果文本内容含文件名不允许的字符怎办？

Kiming

@echo off
for /f %%i in (test.txt) do md %%i
dir/ad/b/o:n>Kiming.txt
for /f %%i in ('dir /b /ad') do rd %%i
是将里面的内容建立成目录 然后提取目录名 在写入新的txt
这个方法速度很快的哦
此方法思路源于 http://www.heycoffee.com/article/SoftwareWorks/320.htm

Batcher

C:\Test>test.bat 0 小时 0 分钟 1 秒 51 毫秒 C:\Test>type test.bat @echo off set begin=%time% gawk "!a[$0]++" y3.txt>>a.txt call :time0 %begin% %time% duration echo %duration% goto :eof :time0 ::计算时间差（封装） @echo off&setlocal&set /a n=0&rem code 随风 @bbs.bathome.net for /f "tokens=1-8 delims=.: " %%a in ("%~1:%~2") do ( set /a n+=10%%a%%100*360000+10%%b%%100*6000+10%%c%%100*100+10%%d%%100 set /a n-=10%%e%%100*360000+10%%f%%100*6000+10%%g%%100*100+10%%h%%100) set /a s=n/360000,n=n%%360000,f=n/6000,n=n%%6000,m=n/100,n=n%%100 set "ok=%s% 小时 %f% 分钟 %m% 秒 %n% 毫秒" endlocal&set %~3=%ok:-=%&goto :EOF

随风

问题二描述有问题，现更新

netbenton

处理6W行记录花了2分多钟，100W就不敢试了！大概要一个多小时吧！
源文件为：sour2.txt
处理结果为：temp3.txt
可完成两个要求。

@echo off&setlocal enabledelayedexpansion
(for /f "delims=" %%a in (sour2.txt) do (
        set/a n+=1
        set num=000000!n!
        echo !num:~-7!-%%a
))>temp.txt
::加入序号保持原来的顺序

(for /f "tokens=1,2,3* delims=-" %%a in ('sort temp.txt /+8') do (
        if "%%b-%%c" neq "!var!" (echo %%a-%%b-%%c-%%d)
        set var=%%b-%%c
))>temp2.txt
::从第8位开始排序，即只按原来的数据排序，重复的丢弃

(for /f "tokens=1,2,3* delims=-" %%a in ('sort temp2.txt') do (
echo %%b----%%c----%%d
))>temp3.txt
::恢复原来的顺序，并丢弃加入的临时序号
复制代码

把楼主的数据存为sour.txt， 通过下面代码生成的sour2.txt具有6W行记录。

 
@echo off
(for /f "delims=" %%a in (sour.txt) do (
for /l %%b in (1,1,10000) do (echo %%a)
))>sour2.txt
复制代码

[ 本帖最后由 netbenton 于 2009-5-29 17:51 编辑 ]

随风

已在顶楼给出创建测试文件代码

Batcher

可能不是每个人都知道如何快速生成100W行测试文本，楼主在顶楼给个例子吧。

随风

就是要看能否突破这个效率问题啊^_^

Kiming

就算写出来了 执行 也要卡死
可以用linux命令