批处理提取网页中《西游记》原文

batman

要求用批处理提取http://bbs.tt365.net.cn/viewthread.php?tid=161145网页贴子中《西游记》原文。

注意原文都是用【】括起来的，但要进行去重处理。

而这个去重处理包括去除重复出现的原文以及原文中有的短句如：

【一件破烂流丢一口钟】与【一件破烂流丢一口钟】（去除后面这句）

【悟空道：“但凭尊师教诲，只是有些道气儿，弟子便就学了。”】与【只是有些道气儿】（去除后面这句）

最后所有提取的内容输出为a.txt（一行一句），可以使用临时文件，同时请尽量不使用第三方工具。

batman

2# namejm
我知道第三方的强大，但我提出这个挑战的目的就是要扩充批的实用性。

ps:jm你应该知道我在提出问题前，自己肯定是已经成功完成了的。。。。

batman

4# Batcher
思路一致，呵呵。。。

batman

12# caruko
最好能将所有代码写出来，大家本来就是为了交流嘛。。。

ps:去重有点麻烦哦。。。

batman

15# powerbat
本题最难点在于去除局部重复内容，以我对vbs的了解，它表示压力很大。。。

batman

18# caruko
是不是想得太复杂了。。。

batman

22# zm900612
效率我不评论，提取的文字少了n行。。。

batman

25# powerbat
可不视为重复。。。

batman

28# zm900612
兄弟算法ok，算术不ok。。。

batman

30# zm900612

22？你真的要去小学进修了，哈哈。。。

batman

35# terse
结果仍有重复，请兄再测试修改。。。

batman

我的解：

@echo off&setlocal enabledelayedexpansion
more +27 %~fs0>temp.vbs
temp.vbs&del /q temp.vbs&set /a n+=1
(for /f "delims=" %%a in ('findstr "【" a.txt') do (
    set "str=%%a"
    set "str=!str:【= !"&set "str=!str:】=$ !"
    for %%a in (!str!) do (
        set "a=%%a"&set "flag="&set "var=!a:~,-1!"
        if "!a:~-1!" equ "$" (
           for %%a in (!var!) do (
               if defined str!n! for /l %%b in (1,1,!n!) do if "!str%%b:%%a=!" neq "!str%%b!" set "flag=a"
               if not defined flag (
                  echo 【%%a】
                  for %%b in (!n!) do (
                      set "a=!str%%b! %%a"
                      if "!a:~8000!" equ "" (
                         set "str%%b=!a!"
                         ) else (
                         set /a n+=1&set "str!n!=%%a"
                      )
                  )
               )
            )
         )            
     )
))>$
move $ a.txt&start a.txt&goto :eof
Set http = createObject("Microsoft.XMLHTTP")
http.Open "get" , "http://bbs.tt365.net.cn/viewthread.php?tid=161145" , 0 
http.send()
Set myGet = createObject("ADODB.Stream")
myGet.Mode = 3
myGet.Type = 1
myGet.Open()
myGet.Write(http.responseBody)
myGet.SaveToFile "a.txt" , 2 
myGet.Close
Set myGet = Nothing
Set http = Nothing
复制代码