batman

15# powerbat
本题最难点在于去除局部重复内容，以我对vbs的了解，它表示压力很大。。。

caruko

16# batman


如果不追求节省资源+效率，可以一边写入文件，然后下一句开始findstr文本。

caruko

试过用IE打开网站，读缓存，但是几个问题很麻烦。
主要问题是IE打开的速度有快有慢，很难知道IE有没有将网页完全下载，除非设置较长的延时，或者等待端口time out（也很久）。

找到对应的缓存文件的方法如下:
1， ping 得到IP。
2，REG方式得到缓存主目录。
3，start web
4，在缓存主目录里，dir /s /b /ad /od /tw 得到最近访问时间的缓存文件夹。
5，netstat -o |findstr "IP"得到“PID”，然后tasklist 取得IE窗口“TITLE”。
6，进入缓存文件夹，findstr /i "<title>.*%Title%" *，查找缓存文件。

还是用NC,WGET要容易的多。

batman

18# caruko
是不是想得太复杂了。。。

caruko

如果似乎给定的网站，那么TITIE，缓存文件都是固定的。
就可以直接就找到了。

asnahu

楼上的同学走得太绕了

CrLf

这个vbs部分是照搬别人的...

@echo off&setlocal enabledelayedexpansion
more>1.vbs +16 %0
wscript //nologo 1.vbs "http://bbs.tt365.net.cn/viewthread.php?tid=161145" 1.htm
(for /f "delims=" %%a in ('findstr /rc:"【.*】" 1.htm') do (
	set str=%%a【
	for /l %%b in (1 1 100) do (
		if "!str!" neq " " for /f "tokens=1* delims=】" %%c in ("!str:*【=!") do (
			if not defined .%%c (
				set .%%c=.
				echo %%c
			)
		)
	)
))>3.txt
pause&exit

iLocal=LCase(Wscript.Arguments(1)) 
iRemote=LCase(Wscript.Arguments(0)) 
Set xPost=createObject("Microsoft.XMLHTTP") 
xPost.Open "GET",iRemote,0 
xPost.Send() 
set sGet=createObject("ADODB.Stream") 
sGet.Mode=3 
sGet.Type=1 
sGet.Open() 
sGet.Write xPost.ResponseBody 
sGet.SaveToFile iLocal,2
复制代码

batman

22# zm900612
效率我不评论，提取的文字少了n行。。。

CrLf

23# batman


效率低的是vbs部分，那部分我没有一点办法，bat部分可以通过调整for /l循环数来控制用时。至于漏行，我去调试一下吧...

powerbat

【悟空道：“但凭尊师教诲，只是有些道气儿，弟子便就学了。”】与【只是有些道气儿】
如果短句子在前面呢？怎么处理？

batman

25# powerbat
可不视为重复。。。

powerbat

vbs

Set fso = CreateObject("Scripting.FileSystemObject")
Set dict = CreateObject("Scripting.Dictionary")

downloader "http://bbs.tt365.net.cn/viewthread.php?tid=161145", "E:\test\aaa.htm"

Set oDOM = GetObject("E:\test\aaa.htm", "htmlfile")
Do Until oDOM.readyState="complete" : WScript.Sleep 200 : Loop 'complete
Set tags = oDOM.getElementsByTagName("td")
for each tag in tags
    if 1=InStr(tag.Id,"postmessage_") then
        'WScript.echo tag.innerText
        StrStrReg tag.innerText, "【([^【】]+)】"
    end if
next

Set ts = fso.OpenTextFile("result.txt", 2, true)
for each key in dict.Keys()
    'WScript.echo key
    ts.WriteLine key
next
ts.Close()

function downloader(url, file)
  dim XMLHTTP, AdoStrm
  Set XMLHTTP = CreateObject("Microsoft.XMLHTTP")
  XMLHTTP.Open "GET", url, false
  XMLHTTP.Send()
  set AdoStrm = CreateObject("ADODB.Stream")
  AdoStrm.Mode = 3
  AdoStrm.Type = 1
  AdoStrm.Open()
  AdoStrm.Write XMLHTTP.ResponseBody
  AdoStrm.SaveToFile file, 2
end function

function StrStrReg(srcStr, subStr)
  dim regEx, Matches, Match, ret
  set regEx = CreateObject("VBScript.RegExp")
  regEx.Pattern = subStr
  regEx.Global = true
  regEx.IgnoreCase = false
  set Matches = regEx.execute(srcStr)
  for each Match in Matches
    'ret = ret & Match.subMatches(0) & vbCrLf
    Catch Match.subMatches(0)
  next
  StrStrReg = ret
end function

function Catch(txt)
  for each key in dict.Keys()
    if InStr(key,txt) then exit function
  next
  dict.Add txt, 1
end function
复制代码

CrLf

昨天漏了set str=%%b以便重新进入循环，而且没注意要将长句分段判断是否重复的要求，重写了下
batman说我代码效率很低，其实bat部分是冤枉的，我一向比较关心算法的效率，特别慢的算法好意思拿出来吗？这种小文件还不至于太卡，大文件才可能有明显的减速，主要是vbs下载用时太长...

@echo off&setlocal enabledelayedexpansion
echo %time% 开始下载
more>1.vbs +22 %0
wscript //nologo 1.vbs "http://bbs.tt365.net.cn/viewthread.php?tid=161145" a.htm
echo %time% 下载完成
(for /f "delims=" %%a in ('findstr /rc:"【.*】" a.htm') do (
	set str=%%a【
	for /l %%b in (1 1 10) do (
		if "!str!" neq "" for /f "tokens=1* delims=】" %%c in ("!str:*【=!") do (
			if "!.%%c!"=="" (
				set tmp=%%c
				for %%e in (， 。 “ ” ； ： ？ ！) do set tmp=!tmp:%%e=","!
				for %%e in ("!tmp!") do set .%%~e=.
				set .%%c=.
				echo %%c
			)
			set str=%%d
		)
	)
))>a.txt
echo 处理完成 %time%
pause&exit

iLocal=LCase(Wscript.Arguments(1)) 
iRemote=LCase(Wscript.Arguments(0)) 
Set xPost=createObject("Microsoft.XMLHTTP") 
xPost.Open "GET",iRemote,0 
xPost.Send() 
set sGet=createObject("ADODB.Stream") 
sGet.Mode=3 
sGet.Type=1 
sGet.Open() 
sGet.Write xPost.ResponseBody 
sGet.SaveToFile iLocal,2
复制代码

more的行数差了两行，改下

batman

28# zm900612
兄弟算法ok，算术不ok。。。

CrLf

29# batman


汗，加了那三条echo，忘了改more相应的参数