BAT批处理wget下载问题，请大神给个思路

dailyad · 发表于 2020-5-13 19:37:33

先谢谢了。

echo on
wget.exe -i 1.txt -nc -c -t2 -T 60 -P ./Download

复制代码

用批处理代码批量下载小型文件，只有几kb，由于是外网问题，常常有无法下载的，由于待下载文件超级多，近十万个。
可不可以修改以下代码，使未下载的链接用新文件输出。下次就只运行新文件就行了，这样节省时间。
下载不了的代码
HTTP request sent, awaiting response... 500 Internal Server Error
2020-05-13 19:23:58 ERROR 500: Internal Server Error.
还有404

xp3000 · 发表于 2020-5-13 21:57:46

这个我去下别人网站mp3，下载了差不多70G，发现有的没下载完就断了，但是名称不会变，最好是先下载为别的类型完了改名回来下，
还有次是网页突然停电，这下惨了，刚刚还批量替换内容呢，名称顺序乱的，下载的文件也是别人服务器储存的时间，这下彻底找不到哪个是最后下载半截的了

bailong360 · 发表于 2020-5-13 22:23:28

换 aria2c 吧，支持断点续传并且不会重复下载文件

netdzb · 发表于 2020-5-13 23:28:13

回复 1# dailyad

还可以试一下curl

wujunkai · 发表于 2020-5-14 06:36:59

回复 4# netdzb

curl可以下载二进制文件吗？

dailyad · 发表于 2020-5-14 08:40:56

多谢各位热心的大咖，我的意思要备份未下载成功的链接，以免再次刷新下载，虽说wget也支持断点下载及设置不下载已有文件，问题是刷新一次下载耗时，不如只刷为下载成功的链接，或者在少数几个链接的情况下可以手动想办法搞定

wujunkai · 发表于 2020-5-14 13:09:00

回复 6# dailyad

可是wget的提示里没有出现失败的链接啊，不如吧1.txt的内容提取出来一个个喂给wget，如果失败就储存

dailyad · 发表于 2020-5-14 16:19:42

回复 7# wujunkai
这个思路可以有，多谢

xp3000 · 发表于 2020-5-14 17:39:04

本帖最后由 xp3000 于 2020-5-15 07:48 编辑

上面说的对,用第三方工具aria2c下载吧，
…………
昨天注释有误，已经修正，
aria2c的-s不是任务数，是线程。
默认s 5下载5线程，我刚刚下载网页多了被网站屏蔽了
缺少的文件下载后放入C:\Windows\System32

这个单个下载

@echo off
title aria2c下载工具 ^& grep输出未下载链接
CD /D "%~dp0"
@for /f "delims=" %%a in ('dir /a/s/b/on *.txt') do (md "%%~na" & echo 正在后台下载，不要关闭……
@for /f "tokens=*" %%i in (%%a) do (
aria2c.exe -c -s 10 -d "%%~na" %%i|grep -Po "mERROR.+URI=[^\r\n]+"|grep -oP "[^=]+$">>%%~na未下载.log
ping -n 5 127.0>nul
)
)

复制代码

这个批量下载

@echo off
title aria2c下载工具 ^& grep输出未下载链接
CD /D "%~dp0"
echo 准备同时下载5个链接……
echo 部分网站批量下载会拉黑……
echo 碰到此类网站直接关闭退出……
pause
cls
@for /f "delims=" %%a in ('dir /a/s/b/on *.txt') do (md "%%~na" & echo 正在后台批量下载，不要关闭……
aria2c.exe -c -s 10 -d "%%~na" -j 5 -i %%a|grep -Po "mERROR.+URI=[^\r\n]+"|grep -oP "[^=]+$">>%%~na未下载.log
)
)

复制代码

xp3000 · 发表于 2020-5-15 10:18:35

findstr输出，不用多下载一个grep

@echo off
title aria2c下载工具 ^& findstr输出未下载链接
CD /D "%~dp0"
@for /f "delims=" %%a in ('dir /b/a-d/oN *.txt') do (md "%%~na" & echo 正在后台单链接下载，不要关闭……
@for /f "tokens=* delims==" %%i in (%%a) do (echo;正在下载：%%i&set "fn=%%i"&set fn=!fn:^[=!!fn:^]=!
aria2c.exe -c -s 5 -d "%%~na" %%i|findstr /i /r "mERROR.*URI=[^\r\n]*"
echo %%i>>%%~na未下载.log
ping -n 5 127.0>nul
)
)

复制代码

netdzb · 发表于 2020-5-15 10:21:56

回复 5# wujunkai

这个我没用过，其余2个都有用过。

xp3000 · 发表于 2020-5-15 10:37:02

findstr不怎么会用，感觉也不好有

dailyad · 发表于 2020-5-16 10:33:43

感谢以上各位，利用论坛整合了一个分步处理bat文件，看起来有用，每一次运行生成两个TXT，下次要运行就直接修改关键地方的TXT。
应该还可以优化的，然后不知道怎么优化了

@echo ********************************************
@echo * 欢迎使用多组合批量下载系统！@by DAILYAD*
@echo ********************************************
@echo * 用法:
@echo * 1.取要下载文件的关键词，每一个关键词必须唯一，和要下载的文件一一对应。
@echo * 2.将要下载的关键词输入到1.txt，每行一个关键词。
@echo * 3.自行建立Download文件夹
@echo * 4.以上和wget.exe在同一文件夹
@echo *************************************************
@pause
echo on
for /f "delims=" %%a in ('type "1.txt"') do start /b "" "wget.exe" -nc -c -t0 -T120 "网址/%%a.文件类型" -P "./Download"
@echo ********************************************
@echo * 统计已下载文件*
@echo ********************************************
for /f "delims=" %%i in ('dir/s/b *.文件类型')do echo %%~ni>>2.txt
@echo ********************************************
@echo * 对比文件，导出未下载成功文件*
@echo ********************************************
findstr /v /x /g:2.txt 1.txt > 3.txt

复制代码

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[特效代码] BAT批处理wget下载问题，请大神给个思路

评分

评分