标题: [原创代码] Mojo::DOM, HTML::FormatText 提取zgshige的文章内容 [打印本页]
作者: 523066680 时间: 2018-12-14 20:05 标题: Mojo::DOM, HTML::FormatText 提取zgshige的文章内容
本帖最后由 523066680 于 2018-12-14 20:25 编辑
也不知道 Mojo 有没有自带更直接的方法，Mojo::DOM直接获取文本内容的时候，会自动把<br>的效果给吃掉，没有换行。
但是 这些符号是正常转换为 \xA0 了的。
目前的提取方法有点绕，Mojo::DOM提取关键节点的HTML，合并，交给 HTML::Parse 和 HTML::FormatText 去转文本，显示结果和浏览器大体一致。- =info
- 523066680/vicyang
- 2018-12
- =cut
-
- use Encode;
- use File::Slurp;
- use File::Basename;
- use Mojo::UserAgent;
- use HTML::Parse;
- use HTML::FormatText;
- STDOUT->autoflush(1);
-
- our $ua = Mojo::UserAgent->new();
- my $link = "http://www.zgshige.com/c/2018-12-13/7714634.shtml";
- #$link = "http://www.zgshige.com/c/2015-06-10/504779.shtml";
-
- $link =~/\/([^\/]+)\.\w+$/;
- my $pgname = $1;
- my $res = $ua->get( $link )->result;
- abstract( $res->dom, $pgname );
-
- sub abstract
- {
- my ( $dom, $pgname ) = @_;
- my $title = $dom->at("h3")->content;
- my $info = $dom->at(".col-md-8 .p-t-sm")->content;
- my $body = $dom->at(".m-lg")->content;
-
- # 注释
- if ( $dom->at(".col-md-8 .noteBox") ) {
- $note = $dom->at(".col-md-8 .noteBox")->all_text;
- } else {
- my $note = "";
- }
-
- my $buff = join("<br><br>", $title, $info, $body, $note);
- my $formatter = HTML::FormatText->new(leftmargin =>0);
- my $text = $formatter->format( parse_html($buff) );
-
- write_file( "${pgname}.txt" , encode('utf8', $text) );
- }
结果看二三楼
作者: 523066680 时间: 2018-12-14 20:06
- 【原创】我已经有喜欢的人了
-
- 作者： Any梦 2018年12月13日15:09 浏览：0 觉得不错，我要 赞赏
-
- 别爱上我
- 我已经有喜欢的人了
- 每天睁开眼
- 第一个想的是他
- 想他吃早餐了没有
- 出门如果忽然下起雨
- 会有人给他送伞吗
- 当他身体不舒服的时候
- 又有没有人第一时间提醒他吃药
- 每晚闭眼睡前都会暗自祈祷
- 祈祷他能进入我的梦里
- 与我小小团聚
- 我真的很想告诉他 我想他
- 每时每刻 每分每秒
-
- 别爱上我
- 我已经有喜欢的人了
- 虽然现实残酷 距离遥远
- 今生可能我们永远无法相见
- 但我依然不想放弃 不想放弃爱他
- 愿意等 哪怕用一辈子时间
- 换来的只是场空欢喜
- 一个一厢情愿的梦
- 谁知道呢 说不定还有另一种可能
- 我始终相信 宁愿相信
- 真心爱一个人 他的心就不会离我太远
- 你可以说我中毒太深
- 但爱情不就是这样吗
- 一颗心装一个人
- 深爱时 用心爱
-
- 别爱上我
- 我已经有喜欢的人了
- 无法接受你的表白
- 更无法回予你任何承诺
- 请原谅我残忍而不留情面的拒绝吧
- 因为我不想 不想你像我一样
- 傻傻的等一个 可能永远不会爱上自己的人
- 我知道爱情有多么苦涩 令人孤独寂寞
- 与其互相亏欠 互相折磨
- 还不如放手 说不定你能拥有更好的幸福呢
- 即便 即便我又是这样的执着
- 每次跟你聊天的时候
- 总仿佛看见另一个自己
- 那个傻傻的 不愿放弃他的我
-
- 注释：
- 本文2011年4月份发表在“中国大众在线”出版的《大众文集（第二集）》；2018年发表在个人公众号“大女孩小故事”、个人头条号“大女孩小故事”、个人百家号“大女孩小故事”等
作者: 523066680 时间: 2018-12-14 20:08
这一篇在原文中也是多一行换行的
http://www.zgshige.com/c/2015-06-10/504779.shtml复制代码
| 欢迎光临 批处理之家 (http://bbs.bathome.net/) |
Powered by Discuz! 7.2 |