批处理提取网页中《西游记》原文

batman

要求用批处理提取http://bbs.tt365.net.cn/viewthread.php?tid=161145网页贴子中《西游记》原文。

注意原文都是用【】括起来的，但要进行去重处理。

而这个去重处理包括去除重复出现的原文以及原文中有的短句如：

【一件破烂流丢一口钟】与【一件破烂流丢一口钟】（去除后面这句）

【悟空道：“但凭尊师教诲，只是有些道气儿，弟子便就学了。”】与【只是有些道气儿】（去除后面这句）

最后所有提取的内容输出为a.txt（一行一句），可以使用临时文件，同时请尽量不使用第三方工具。

batman

我的解：

@echo off&setlocal enabledelayedexpansion
more +27 %~fs0>temp.vbs
temp.vbs&del /q temp.vbs&set /a n+=1
(for /f "delims=" %%a in ('findstr "【" a.txt') do (
    set "str=%%a"
    set "str=!str:【= !"&set "str=!str:】=$ !"
    for %%a in (!str!) do (
        set "a=%%a"&set "flag="&set "var=!a:~,-1!"
        if "!a:~-1!" equ "$" (
           for %%a in (!var!) do (
               if defined str!n! for /l %%b in (1,1,!n!) do if "!str%%b:%%a=!" neq "!str%%b!" set "flag=a"
               if not defined flag (
                  echo 【%%a】
                  for %%b in (!n!) do (
                      set "a=!str%%b! %%a"
                      if "!a:~8000!" equ "" (
                         set "str%%b=!a!"
                         ) else (
                         set /a n+=1&set "str!n!=%%a"
                      )
                  )
               )
            )
         )            
     )
))>$
move $ a.txt&start a.txt&goto :eof
Set http = createObject("Microsoft.XMLHTTP")
http.Open "get" , "http://bbs.tt365.net.cn/viewthread.php?tid=161145" , 0 
http.send()
Set myGet = createObject("ADODB.Stream")
myGet.Mode = 3
myGet.Type = 1
myGet.Open()
myGet.Write(http.responseBody)
myGet.SaveToFile "a.txt" , 2 
myGet.Close
Set myGet = Nothing
Set http = Nothing
复制代码

batman

35# terse
结果仍有重复，请兄再测试修改。。。

terse

等下试外部看怎么样

@echo off
(echo Set oDOM=WScript.GetObject("http://bbs.tt365.net.cn/viewthread.php?tid=161145"^)
echo Do Until oDOM.readyState="complete"
echo WScript.sleep 300
echo Loop
echo WScript.echo oDOM.documentElement.outerText)>%temp%\tem.vbs
setlocal enabledelayedexpansion
(
for /f "delims=" %%i in ('cscript //nologo "%temp%\tem.vbs"^|find "【"') do (
    set var=&set "str=%%i"
    set "str=!str:*【=【!"
    set "str=!str:【= 【!"
    set "str=!str:】=】 !"
    for %%j in (!str!) do (
        set "j=%%j"
        if "%%j" neq  "!j:【=!" (
           if defined var (
              for /f "delims=【】" %%k in ("%%j") do (
                      if "!var:%%k=!" equ "!var!" set var=!var! 【%%k】
              )
           )else set var=%%j
        )
    )
    for %%j in (!var!) do echo %%j
)
)>tem.txt
del %temp%\tem.vbs&start "" tem.txt
pause
复制代码

CrLf

“将【替换为 "# ，将】替换为" ，直接达到分句效果”，这个倒是好办法，没想到

batman

30# zm900612

22？你真的要去小学进修了，哈哈。。。

CrLf

循环1000次也没什么影响的，因为for的输入为空，循环数就只是微调

caruko

固定循环10次=。=
我觉得用我的将【替换为 "# ，将】替换为" ，直接达到分句效果会更好一点，for循环可以直接取出有用的句子。

去除重复，因为整个文章不长，一个变量可以放的下，就再可以用ZM那种按标点符号分句，然后匹配每个小句是否重复。

如果是不确定的长度，10次不确定，一个变量存放整个纹章也不够。

CrLf

29# batman


汗，加了那三条echo，忘了改more相应的参数

batman

28# zm900612
兄弟算法ok，算术不ok。。。

CrLf

昨天漏了set str=%%b以便重新进入循环，而且没注意要将长句分段判断是否重复的要求，重写了下
batman说我代码效率很低，其实bat部分是冤枉的，我一向比较关心算法的效率，特别慢的算法好意思拿出来吗？这种小文件还不至于太卡，大文件才可能有明显的减速，主要是vbs下载用时太长...

@echo off&setlocal enabledelayedexpansion
echo %time% 开始下载
more>1.vbs +22 %0
wscript //nologo 1.vbs "http://bbs.tt365.net.cn/viewthread.php?tid=161145" a.htm
echo %time% 下载完成
(for /f "delims=" %%a in ('findstr /rc:"【.*】" a.htm') do (
	set str=%%a【
	for /l %%b in (1 1 10) do (
		if "!str!" neq "" for /f "tokens=1* delims=】" %%c in ("!str:*【=!") do (
			if "!.%%c!"=="" (
				set tmp=%%c
				for %%e in (， 。 “ ” ； ： ？ ！) do set tmp=!tmp:%%e=","!
				for %%e in ("!tmp!") do set .%%~e=.
				set .%%c=.
				echo %%c
			)
			set str=%%d
		)
	)
))>a.txt
echo 处理完成 %time%
pause&exit

iLocal=LCase(Wscript.Arguments(1)) 
iRemote=LCase(Wscript.Arguments(0)) 
Set xPost=createObject("Microsoft.XMLHTTP") 
xPost.Open "GET",iRemote,0 
xPost.Send() 
set sGet=createObject("ADODB.Stream") 
sGet.Mode=3 
sGet.Type=1 
sGet.Open() 
sGet.Write xPost.ResponseBody 
sGet.SaveToFile iLocal,2
复制代码

more的行数差了两行，改下

powerbat

vbs

Set fso = CreateObject("Scripting.FileSystemObject")
Set dict = CreateObject("Scripting.Dictionary")

downloader "http://bbs.tt365.net.cn/viewthread.php?tid=161145", "E:\test\aaa.htm"

Set oDOM = GetObject("E:\test\aaa.htm", "htmlfile")
Do Until oDOM.readyState="complete" : WScript.Sleep 200 : Loop 'complete
Set tags = oDOM.getElementsByTagName("td")
for each tag in tags
    if 1=InStr(tag.Id,"postmessage_") then
        'WScript.echo tag.innerText
        StrStrReg tag.innerText, "【([^【】]+)】"
    end if
next

Set ts = fso.OpenTextFile("result.txt", 2, true)
for each key in dict.Keys()
    'WScript.echo key
    ts.WriteLine key
next
ts.Close()

function downloader(url, file)
  dim XMLHTTP, AdoStrm
  Set XMLHTTP = CreateObject("Microsoft.XMLHTTP")
  XMLHTTP.Open "GET", url, false
  XMLHTTP.Send()
  set AdoStrm = CreateObject("ADODB.Stream")
  AdoStrm.Mode = 3
  AdoStrm.Type = 1
  AdoStrm.Open()
  AdoStrm.Write XMLHTTP.ResponseBody
  AdoStrm.SaveToFile file, 2
end function

function StrStrReg(srcStr, subStr)
  dim regEx, Matches, Match, ret
  set regEx = CreateObject("VBScript.RegExp")
  regEx.Pattern = subStr
  regEx.Global = true
  regEx.IgnoreCase = false
  set Matches = regEx.execute(srcStr)
  for each Match in Matches
    'ret = ret & Match.subMatches(0) & vbCrLf
    Catch Match.subMatches(0)
  next
  StrStrReg = ret
end function

function Catch(txt)
  for each key in dict.Keys()
    if InStr(key,txt) then exit function
  next
  dict.Add txt, 1
end function
复制代码

batman

25# powerbat
可不视为重复。。。

powerbat

【悟空道：“但凭尊师教诲，只是有些道气儿，弟子便就学了。”】与【只是有些道气儿】
如果短句子在前面呢？怎么处理？

CrLf

23# batman


效率低的是vbs部分，那部分我没有一点办法，bat部分可以通过调整for /l循环数来控制用时。至于漏行，我去调试一下吧...