当前位置: 首页 > news >正文

做网站教程 第一课论坛优化seo

做网站教程 第一课,论坛优化seo,南宁建设,建设网站要编程bu背景 上篇python入门实战:爬取图片到本地介绍过如何将图片下载到本地,但是实际处理过程中会遇到性能问题:分页数过多下载时间过程、部分页面连接超时无法访问下载失败。本文从实战的角度解释一下如何处理这两个问题。 下载时间过长问题,处理方式是使用多线程,首先回顾…

背景
    上篇python入门实战:爬取图片到本地介绍过如何将图片下载到本地,但是实际处理过程中会遇到性能问题:分页数过多下载时间过程、部分页面连接超时无法访问下载失败。本文从实战的角度解释一下如何处理这两个问题。
    下载时间过长问题,处理方式是使用多线程,首先回顾一下上篇文章文件下载处理过程,总结来说只有两个步骤:1.获取指定网页的所有图片地址,2.根据图片地址循环访问下载到本地。使用多线程处理任务最简单的办法就是一个线程处理一页的下载任务,就是获取一页的图片地址,下载该页面的所有图片。需要下载多少页就创建多少个线程。
    连接超时无法访问问题,这个问题处理方式就是请求重试,就是针对连接超时的请求重新发送指定次数的请求。关于重试,可以看下自定义请求重试方式和request中封装的请求重试方法。 Python基础入门3.6 request模块之请求重试两者的区别已经介绍的很清楚了。思路梳理完毕之后下面就是具体的实现。

代码实现

import threading  # 线程
import time
import requests
import bs4
import os
from requests.adapters import HTTPAdapter  # 添加重试机制def getImgUrlList(webSiteUrl,local_path):print(f"下载地址:{webSiteUrl}")try:session = requests.Session()session.mount('http://', HTTPAdapter(max_retries
http://www.ritt.cn/news/19736.html

相关文章:

  • 网站建设基本知识聊城今日头条最新
  • 济南建筑工程网企业网站优化报告
  • 安阳门户网站2023年5月最新疫情
  • 西安做网站哪家好合肥百度关键词推广
  • 建应用网站网站快速排名
  • 做网站哪家最好微信营销成功案例8个
  • 2018网站外链怎么做app推广接单平台有哪些
  • 免费的wordpress怎样提高浏览量seo是免费的吗
  • 建设网站建设目的意义电商平台引流推广
  • 政府网站都是谁做的网站注册账号
  • 东莞网站建设套餐什么是口碑营销
  • 济南优化seo网站建设谷歌自然排名优化
  • 上海营销网站制作网络运营培训
  • dw 8做的网站怎么上传2021小说排行榜百度风云榜
  • 淘宝网页版手机版工具seo
  • 宁波网站建设哪家公司好榜单优化
  • 网站外链建设需要考核2024很有可能再次封城吗
  • jsp做网站注册页面seo顾问是什么职业
  • 番禺做网站费用市场营销推广方案模板
  • 网站规划的认识山东关键词快速排名
  • 做游戏音频下载网站国际新闻稿件
  • 湖北省政府网站集约化建设外贸网站有哪些平台
  • python php 网站开发乔拓云网站注册
  • 在网站上发消息做宣传阐述网络推广的主要方法
  • 可以用vs做网站建设吗新手怎么引流推广推广引流
  • 东西湖建设局网站如何做品牌推广方案
  • 北京海淀建设工程律师推荐荆州seo推广
  • 手机网站建设中心营销型网站建设企业
  • 深圳民治网站建设百度关键词怎么做排名
  • 义乌制作网站开发cps推广是什么意思