terse

第三方工具 有谁测试下吗 我这里貌似可以的

gawk "BEGIN {FS=\"-\"} !a[$1 $2]++" y1.TXT>y2.txt
复制代码

测试代码这样的

@echo off&setlocal enabledelayedexpansion
echo 正在创建测试文件 y1.txt 请稍候
for /l %%a in (1 1 1000) do (
(for /l %%a in (1 1 2001) do echo !random!!random!!random!----!random!!random!!random!----!random!----!random!!)>>y1.txt 
(for /l %%a in (1 1 1001) do echo %random%----%random%----!random!!random!!random!----!random!!random!!random!)>>y1.txt
)
复制代码

生成150MB左右的Y1文件
处理后 Y2文件 近100MB 左右
处理时间 13.5秒

[ 本帖最后由 terse 于 2009-5-30 13:30 编辑 ]

Batcher

1、随便等于什么都可以，但是为了减少内存占用量，越短越好。

2、批处理for语句中tokens=*和delims=的区别是什么？
http://bbs.bathome.net/viewthread.php?tid=1654#pid8870

plp626

原帖由 Kiming 于 2009-5-30 07:16 发表
为什么要 set %%i=s 就不能等于别的吗
“delims=" 这是什么意思啊 delims 是想删除什么啊

可以等于别的，比如set %%i=他妈
也可以，只要不是空就行

delims=这个你看下for名的帮助信息

另外既然是超大文本行，批处理效率一定不会多高，借助三方工具。。。
这里有个帖子看看：
http://www.linuxsir.org/bbs/showthread.php?t=132848

zqz0012005

这个只能用第三方工具了。
正则表达式都不好使。

kevinpeng

@echo off
for /f "delims=" %%i in (test.txt) do (
    if not defined %%i set %%i=s & echo %%i>>result.txt)
复制代码

我是一个初学者，对上面一段代码我整整想了两三天，搞得我上班都没心情！
为了学好批处理，不上班的时候我常常在网吧一坐就是一整天（无奈几个月前买的联想本本用了不到一个月就被偷了，上班又不是上网）！
现在看到这贴总算心理舒服多了！

asnahu

看来这个帖子要沉了，  zqz0012005是VBS高手，用VBS能否实现？

zqz0012005

微软 脚本专家
如何从文本文件中删除所有重复行？
http://www.microsoft.com/china/t ... rces/hey050819.mspx
http://msdn.microsoft.com/en-us/library/ms974559

Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001

Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")

strPathToTextFile = "C:\Scripts\"
strFile = "Test.txt"

objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
      "Data Source=" & strPathtoTextFile & ";" & _
          "Extended Properties=""text;HDR=NO;FMT=Delimited"""

objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
    objConnection, adOpenStatic, adLockOptimistic, adCmdText

Do Until objRecordSet.EOF
    Wscript.Echo objRecordSet.Fields.Item(0).Value   
    objRecordSet.MoveNext
Loop
复制代码

速度还不错，但文本不能太复杂，因为有FMT=Delimited

或者通过Schema.ini文件指定按固定长度（但长度多少才算合适？）

wc726842270

这个...这个。我怎么一句也没看明白啊，好像是其它的脚本吧（我的英文水平太次，无法理解），这就是VBS 么？

Batcher

找几个VBS基础教程看看吧

0428_hai

挖坟出来，研究研究。。。

CrLf

外部命令的威力在处理超大文本是彰显无遗：

@echo off&setlocal enabledelayedexpansion
(for /f "delims=" %%a in (y1.txt) do (
	set /a "n=(10000001+n)-(n/10000000)*10000000"
	echo !n:~-7!:%%a
))>1.tmp
sort /rec 8198 /+8 1.tmp>2.tmp
(for /f "tokens=1* delims=:" %%a in (2.tmp) do (
	if "%%b" neq "!l!" (
		echo %%a
		set l=%%b
	)
))>3.tmp
findstr /b /g:3.tmp 1.tmp>4.tmp
(for /f "tokens=1* delims=:" %%a in (4.tmp) do echo %%b)>y2.txt
del /f /q ?.tmp
(for /f "delims=" %%a in (y2.txt) do (
	set /p=%%a:<nul
	for /f "tokens=3" %%b in ('find /c "%%a" y1.txt') do echo 存在%%b行重复
))>check.txt
pause
复制代码

未测试速度，但是不考虑对特殊字符的兼容性的情况下，这应该比if defined快

CrLf

发现一个问题，为什么测试文件y1.txt中重复行这么多，测试了下，每行都有1000行相同...剔除重复行以后只剩下105行，需要定义的变量很少，难怪if defined的办法没怎么受影响，竟然只要二十多秒...无语了

qzwqzw

发现一个问题，为什么测试文件y1.txt中重复行这么多，测试了下，每行都有1000行相同...剔除重复行以后只剩下105行，需要定义的变量很少，难怪if defined的办法没怎么受影响，竟然只要二十多秒...无语了
zm900612 发表于 2011-4-27 14:05

那当然
测试代码只随机生成了100行文本
然后就通过四级for循环type复制到了1000000行
最后再加了五行随机文本
这样的样本代表性太弱了

CrLf

哦，没注意，我还以为和随机数种子有关呢...

qzwqzw

随机种子只决定了随机数序列的一致性
而随机数的散列情况取决于随机算法

也就是说
同一个种子同一种算法
仍然会生成无穷个随机数
组成一个序列
而这个随机数序列总是一致的

另外
以上讨论的都是“伪随机”
计算机的组成原理决定了
不可能有绝对的随机算法存在
我们只是无限逼近随机
大多数情况下这种随机散列就足够了

当然
顶楼的算法连“伪随机”也算不上了