[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖

[特效代码] BAT批处理wget下载问题,请大神给个思路

先谢谢了。
  1. echo on
  2. wget.exe -i 1.txt -nc -c -t2 -T 60 -P ./Download
复制代码
用批处理代码批量下载小型文件,只有几kb,由于是外网问题,常常有无法下载的,由于待下载文件超级多,近十万个。
可不可以修改以下代码,使未下载的链接用新文件输出。下次就只运行新文件就行了,这样节省时间。
下载不了的代码
HTTP request sent, awaiting response... 500 Internal Server Error
2020-05-13 19:23:58 ERROR 500: Internal Server Error.
还有404

多谢各位热心的大咖,我的意思要备份未下载成功的链接,以免再次刷新下载,虽说wget也支持断点下载及设置不下载已有文件,问题是刷新一次下载耗时,不如只刷为下载成功的链接,或者在少数几个链接的情况下可以手动想办法搞定

TOP

回复 7# wujunkai
这个思路可以有,多谢

TOP

感谢以上各位,利用论坛整合了一个分步处理bat文件,看起来有用,每一次运行生成两个TXT,下次要运行就直接修改关键地方的TXT。
应该还可以优化的 ,然后不知道怎么优化了
  1. @echo ********************************************
  2. @echo * 欢迎使用多组合批量下载系统!@by DAILYAD*
  3. @echo ********************************************
  4. @echo * 用法:
  5. @echo * 1.取要下载文件的关键词,每一个关键词必须唯一,和要下载的文件一一对应。
  6. @echo * 2.将要下载的关键词输入到1.txt,每行一个关键词。
  7. @echo * 3.自行建立Download文件夹
  8. @echo * 4.以上和wget.exe在同一文件夹
  9. @echo *************************************************
  10. @pause
  11. echo on
  12. for /f "delims=" %%a in ('type "1.txt"') do start /b "" "wget.exe"  -nc -c -t0 -T120 "网址/%%a.文件类型" -P "./Download"
  13. @echo ********************************************
  14. @echo * 统计已下载文件*
  15. @echo ********************************************
  16. for /f "delims=" %%i in ('dir/s/b *.文件类型')do echo %%~ni>>2.txt
  17. @echo ********************************************
  18. @echo * 对比文件,导出未下载成功文件*
  19. @echo ********************************************
  20. findstr /v /x /g:2.txt 1.txt > 3.txt
复制代码

TOP

返回列表