批处理之家 - Powered by Discuz! Board

标题: [文本处理] 批处理怎么提取一个HTML网页中的所有汉字（删除所有html标签） [打印本页]

作者: lzwudi 时间: 2008-9-27 21:39 标题: 批处理怎么提取一个HTML网页中的所有汉字（删除所有html标签）

本帖最后由 pcl_test 于 2016-7-22 10:46 编辑

一个HTML格式的网页中有很多代码，但是我想要的是小说的内容，把代码部分去掉，求大家帮帮忙！！
例如：原网页类似如下：

<div id="adtop"><script type="text/javascript" src="/configs/article/pagetop1.js"></script></div>
<div id="title">第三卷 风云动 第八章 雾隐峰门人</div>
<div id="adtop"><script type="text/javascript" src="/configs/article/pagetop2.js"></script></div>
<div id="content">    “喂，老骗子，我送你上去。”独孤败天笑着向他走去。<br />
<br />
    老骗子吓得一把抱住了司徒皓月，道：“不！皓月兄弟会带我上去的，不麻烦你了。”最终老骗子被司徒皓月背着飞上了峭壁上方，当他们上来时绝色少女又已无了踪影。峭壁下最少有一半人无功而返，上来的群雄继续前进。<br />
<br />
    雾隐峰顶不愧为古仙人遗址，亭台楼阁，奇花异草，小桥流水，仙鹤飞舞……让人疑在梦中。<br />
<br />
    
复制代码

在批处理后会有如下改变：
第三卷风云动第八章雾隐峰门人
“喂，老骗子，我送你上去。”独孤败天笑着向他走去。
老骗子吓得一把抱住了司徒皓月，道：“不！皓月兄弟会带我上去的，不麻烦你了。”最终老骗子被司徒皓月背着飞上了峭壁上方，当他们上来时绝色少女又已无了踪影。峭壁下最少有一半人无功而返，上来的群雄继续前进。
雾隐峰顶不愧为古仙人遗址，亭台楼阁，奇花异草，小桥流水，仙鹤飞舞……让人疑在梦中

作者: namejm 时间: 2008-9-27 21:59

　　用网页转文本的第三方命令行程序HtoX32c这个工具来转换吧，在当前目录下运行如下命令，可以一次性把所有的网页转换为文本文件：

htox32c /ip *.html
复制代码

　　HtoX32c这个工具请到这里下载：http://bbs.bathome.net/viewthread.php?tid=1974

作者: youxi01 时间: 2008-9-27 22:17

想这样的，最好用vbs的正则
bat不太好处理
因为html的代码符很多

作者: terse 时间: 2008-9-27 22:54

不是很熟悉SED命令你试下
sed "1,30d;s/<[^>]*>//g;s/ //g;s/$/\r/" "1.html" >"1.txt"

作者: zqz0012005 时间: 2008-9-27 23:18 标题: 回复 3楼的帖子

关键是正则表达式难写啊，从网上找到一个据说匹配比较完美的表达式

/<\S(?:([\'\"]?)[\s\S]*?\1)*>/g
复制代码

作者: pusofalse 时间: 2008-9-28 04:35

这个也可以，但小说中有若有英文就OVER。

@type a.html|wfr /r:"\W" /t|wfr /r:"[a-zA-Z0-9_]" /t>aa.txt
复制代码

保存结果为aa.txt。
wfr下载：http://bbs.bathome.net/thread-1909-1-1.html

作者: batman 时间: 2008-9-28 11:08

纯批版的，唯不能处理"="号：

@echo off
set a="
set "code=. 0 1 2 3 4 5 6 7 8 9 a b c d e f g h i j k l m n o p q r s t u v w x y z ^> ^< /"
for /f "delims=" %%a in (a.txt) do (
    set "str=%%a"
    setlocal enabledelayedexpansion
    set "str=!str:%a%=!"
    for %%i in (%code%) do set "str=!str:%%i=!"
    echo.!str!    
)
pause>nul
复制代码

[ 本帖最后由 batman 于 2008-9-28 11:22 编辑 ]

作者: lzwudi 时间: 2008-9-28 12:42

谢谢大家的热心
各有千秋啊
我最后用VBS解决了
很愚蠢的办法
模拟按键
先ENTER（打开网页文件）
CTRL+A（全选）
CTRL+C（复制）
ALT+F4（关闭当前的网页）
再ALT+TAB（切换到文本）
CTRL+V（粘贴）
再ALT+TAB（切换到网页的文件夹）
方向键下（选择下一个网页文件）
以上循环
一共175个网页
我用了20多分钟
然后用多行批量字符替换工具替换所有垃圾文字
总时间半小时
都晕了呵呵

作者: terse 时间: 2008-9-28 14:53

原帖由 lzwudi 于 2008-9-28 12:42 发表
谢谢大家的热心
各有千秋啊
我最后用VBS解决了
很愚蠢的办法
模拟按键
先ENTER（打开网页文件）
CTRL+A（全选）
CTRL+C（复制）
ALT+F4（关闭当前的网页）
再ALT+TAB（切换到文本）
CTRL+V（粘贴）
再ALT ...

用SED估计要快不知能否达到楼主要求

for %%i in (*.html) do (
sed "1,30d;s/&.*;//;s/<[^>]*>//g;s/$/\r/" "%%i" >"_%%~ni.txt"
)
复制代码

欢迎光临批处理之家 (http://bbs.bathome.net/)