找回密码
 注册
搜索
[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
查看: 20899|回复: 8

[网络连接] [已解决]请教批处理递增问题下载多个网页文件?

[复制链接]
发表于 2023-3-12 20:03:15 | 显示全部楼层 |阅读模式
有一个文件文件放网页地址

https://cnkgraph.com/Category/%E ... lumnId=KR7a0001_008
https://cnkgraph.com/Category/%E ... lumnId=KR7a0001_009
https://cnkgraph.com/Category/%E ... lumnId=KR7a0001_018
https://cnkgraph.com/Category/%E ... lumnId=KR7a0001_019
https://cnkgraph.com/Category/%E ... lumnId=KR7a0001_031
https://cnkgraph.com/Category/%E ... lumnId=KR7a0001_032
https://cnkgraph.com/Category/%E ... lumnId=KR7a0001_043

用这个可以批量下载
  1. @echo off
  2. REM 设置curl.exe路径
  3. set curl="C:\CURL\bin\curl.exe"
  4. REM 设置下载html的保存目录路径
  5. set dstdir="E:\37"
  6. REM 设置urls文件路径
  7. set urlfile="%~dp0TEXT103.txt"
  8. set tmpfile="%temp%\~%random%"
  9. pushd %dstdir%
  10. >%tmpfile% (
  11.   echo --remote-name-all
  12.   echo --location
  13.   echo --compressed
  14.   echo --user-agent "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3"
  15.   for /f "usebackq delims=" %%A in (%urlfile%) do (
  16.     echo --url %%A
  17.   )

  18. )

  19. %curl% --config %tmpfile%

  20. pause
  21. del %tmpfile%
  22. popd
  23. pause
  24. exit /b
复制代码
但是只看到一个文件,如何处理?最好能以网址最后九个字符如a0001_043作为文件名,下载一个网页延时2滗,要如何改进一下?

先谢了!

评分

参与人数 1PB +2 收起 理由
Batcher + 2 感谢给帖子标题标注[已解决]字样

查看全部评分

发表于 2023-3-12 21:20:01 | 显示全部楼层
本帖最后由 77七 于 2023-3-12 21:22 编辑
  1. @echo off
  2. REM 设置curl.exe路径
  3. set curl="C:\CURL\bin\curl.exe"
  4. set Browser="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3"
  5. cd /d "E:\37"
  6. setlocal enabledelayedexpansion
  7. for /f "delims=" %%a in ('type "%~dp0TEXT103.txt"') do (
  8.         set "fileName=%%a"
  9.         set "fileName=!fileName:~-9!"
  10.         %curl% -A %Browser% -o "!fileName!.html" -L --location -E --compressed "%%a"
  11.         timeout 2
  12. )
  13. endlocal
  14. pause
复制代码

刚学的curl命令,一些参数不知道什么意思,但是运行还是可以的

评分

参与人数 1技术 +1 收起 理由
Batcher + 1 乐于助人

查看全部评分

 楼主| 发表于 2023-3-12 21:26:41 | 显示全部楼层
0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
curl: (58) schannel: Failed to get certificate location or file for --compressed

等待 0 秒,按一个键继续 ...
Warning: The file name argument '--compressed' looks like a flag.
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
curl: (58) schannel: Failed to get certificate location or file for --compressed

等待 0 秒,按一个键继续 ...
Warning: The file name argument '--compressed' looks like a flag.
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
curl: (58) schannel: Failed to get certificate location or file for --compressed

等待 0 秒,按一个键继续 ...
Warning: The file name argument '--compressed' looks like a flag.
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
curl: (58) schannel: Failed to get certificate location or file for --compressed

等待 0 秒,按一个键继续 ...
Warning: The file name argument '--compressed' looks like a flag.
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

先谢谢你,出现以上提示,没看到下载的东西
发表于 2023-3-12 21:30:27 | 显示全部楼层
回复 3# DDDYJQ1


   -L --location -E --compressed 把这个删掉试试
 楼主| 发表于 2023-3-12 21:32:35 | 显示全部楼层
 楼主| 发表于 2023-3-12 21:33:40 | 显示全部楼层
arning: The file name argument '--compressed' looks like a flag.
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
curl: (58) schannel: Failed to get certificate location or file for --compressed

等待 0 秒,按一个键继续 ...
Warning: The file name argument '--compressed' looks like a flag.
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
 楼主| 发表于 2023-3-12 21:33:49 | 显示全部楼层
还是一样的
 楼主| 发表于 2023-3-12 21:36:21 | 显示全部楼层
可以了,谢谢,太好用了,少删除的一个
发表于 2023-3-12 21:39:29 | 显示全部楼层
本帖最后由 77七 于 2023-3-12 21:42 编辑

回复 8# DDDYJQ1


   应该是curl的版本问题,我用2楼的代码是正常的,刚才 本站第三方下载的 curl64 试了下,必须去掉
-L --location -E --compressed  这个参数才能下载或者我写错了,误打误撞...
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|批处理之家 ( 渝ICP备10000708号 )

GMT+8, 2026-3-19 02:26 , Processed in 0.014433 second(s), 9 queries , File On.

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表