Board logo

标题: [文件操作] 请教一个批量下载网页的问题？ [打印本页]
作者: DDDYJQ1    时间: 2014-5-17 23:03     标题: 请教一个批量下载网页的问题？

本帖最后由 DDDYJQ1 于 2017-8-26 23:06 编辑

F:\BIAO\TEST11.TXT内容为
http://zisea.com/zscontent.asp?uni=123105
http://zisea.com/zscontent.asp?uni=123106
http://zisea.com/zscontent.asp?uni=123107
http://zisea.com/zscontent.asp?uni=123108
http://zisea.com/zscontent.asp?uni=123109
http://zisea.com/zscontent.asp?uni=123110


批处理内容为
wget -P "F:\BIAO\11" -i "F:\BIAO\test11.txt" --html-extension -p -k

不知网站怎么回事，太快了就断开了，不能下载了，如何设定在批量下载的时候完成一下网页后，5秒后再下载下一个网页，不知能否实现，先谢了！
作者: QIAOXINGXING    时间: 2014-5-18 10:21

wget有一个等待的选项：
  -w,  --wait=SECONDS           wait SECONDS between retrievals.
       --waitretry=SECONDS      wait 1...SECONDS between retries of a retrieval.
作者: DDDYJQ1    时间: 2014-5-18 10:56

谢了，是这样吗？
wget -P -W 5 "F:\BIAO\11" -i "F:\BIAO\test11.txt" --html-extension -p -k
可是没有看到运行
作者: DDDYJQ1    时间: 2014-5-18 20:11

请各位好心人再帮忙看看
作者: terse    时间: 2014-5-19 00:19

这样试呢
  1. wget -P "F:\BIAO\11" -w5 -i "F:\BIAO\test11.txt" --html-extension -p -k
复制代码
作者: DDDYJQ1    时间: 2014-5-19 08:57

谢了，就是这样，很好用
作者: DDDYJQ1    时间: 2017-8-26 23:04

https://www.lszj.com/tag/jianghuating_3074_1.html
https://www.lszj.com/tag/jiangjieshi_29_1.html
这种格式的如何批量下载？
wget -P "F:\BIAO\11" -w5 -i "F:\BIAO\test11.txt" --html-extension -p -k不能用了
作者: DDDYJQ1    时间: 2017-8-27 21:19     标题: 请教一个批量下载网页的问题？

本帖最后由 DDDYJQ1 于 2017-8-27 23:09 编辑

F:\BIAO\TEST11.TXT内容为
https://www.lszj.com/tag/jianghuating_3074_1.html
https://www.lszj.com/tag/jiangjieshi_29_1.html
这种格式的如何批量下载？
wget -P "F:\BIAO\11" -w5 -i "F:\BIAO\test11.txt" --html-extension -p -k不能用了
请问一下要如何改进？
作者: 3518228042    时间: 2017-8-28 08:16

wget.exe损坏？丢失？还是怎么的，应该行的啊
作者: DDDYJQ1    时间: 2017-8-28 20:57

没损坏，也没丢失
作者: DDDYJQ1    时间: 2017-8-28 20:58

请问一下要如何改进？
作者: DDDYJQ1    时间: 2017-8-29 22:20

请各位大神帮忙想想！
作者: hlzj88    时间: 2017-8-29 22:55

  1. wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" --no-check-certificate -c -t 0 -T 40 -i test11.txt
复制代码
测试下载成功
这一句有两个作用，1 仿浏览器访问，避免wget被拒绝   2 可以下载加密网页https，如果要区分，忘了，这是我用wget的标配语句。
作者: DDDYJQ1    时间: 2017-8-29 23:04

谢了，就是这样，谢谢
作者: DDDYJQ1    时间: 2018-4-10 22:49     标题: 请教一个批量下载网页的问题？

E:\BIAO\TEST1.TXT内容为
https://baike.baidu.com/item/1年
https://baike.baidu.com/item/2年
https://baike.baidu.com/item/3年
https://baike.baidu.com/item/4年
https://baike.baidu.com/item/5年
https://baike.baidu.com/item/6年
https://baike.baidu.com/item/公元前1年
https://baike.baidu.com/item/公元前2年
https://baike.baidu.com/item/公元前3年
https://baike.baidu.com/item/公元前4年
这种格式的如何批量下载？
wget -P "e:\BIAO\1" -w5 -i "e:\BIAO\test1.txt" --html-extension -p -k
不能用了
请问一下要如何改进？
作者: DDDYJQ1    时间: 2018-4-11 19:54

请各位帮忙看看，先谢了
作者: hlzj88    时间: 2018-4-20 06:17

回复 15# DDDYJQ1


    这个应当对txt进行for获取最后 的 1年 等等，然后把整句链接给wget，令其下载链接并保存为 1年 等等的html，而不是用wget直接从文本读取链接。



欢迎光临 批处理之家 (http://bbs.bathome.net/) Powered by Discuz! 7.2