Python爬虫技术系列-01请求响应获取-urllib库

2023-09-22 10:27:48

Python爬虫技术系列-01请求响应获取-urllib库

1 urllib库

参考连接：
https://zhuanlan.zhihu.com/p/412408291

1.1 urllib概述

1.1.1 urllib简介

Urllib是python内置的一个http请求库，不需要额外的安装。只需要关注请求的链接，参数，提供了强大的解析功能

Urllib库有四个模块：request，error， parse， robotparser

request：发起请求（重要）
error：处理错误
parse：解析RUL或目录等
robotparser(不怎么用)：解析网站的robot.txt

在这里插入图片描述

1.1.2 urllib的robotparser模块

Robots协议也称作爬虫协议、机器人协议，它的全名是网络爬虫排除标准(RobotsExclusingProtocol)，主要用来告诉爬虫和搜索引擎哪些网页可以抓取，哪些网页不可以抓取。该协议的内容通常存放在名叫robots.txt的文本文件中，这个文件一般位于网站的根目录下。
在这里插入图片描述

User-agent后的*表示该规则对所有的爬虫有效；/robot目录不允许访问，仅允许访问/test/print目录

看一下淘宝的robots.txt
https://www.taobao.com/robots.txt

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

基于robots查看是否可以爬取

from urllib.robotparser import RobotFileParser
robot=RobotFileParser() # 创建一个解析器，用来存储Robots协议内容
robot.set_url('https://www.taobao.com/robots.txt') # set_url()用于设置robots.txt文件的路径
robot.read() # //read()用于读取并分析robots.txt文件的内容，并把结果存储到解析器中

print(robot) # 输出robot协议
print("*"*10)

print(robot.can_fetch('*','https://www.taobao.com/test.js')) # can_fetch()用于判断指定的搜索引擎是否能抓取这个URL
print(robot.can_fetch('Baiduspider','https://www.taobao.com/test.js'))

输出为：

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /
**********
True
False

1.1.3 request模块

请求方法
urllib.request.urlopen(url, data=None, [timeout, ]*)
url：地址，可以是字符串，也可以是一个Request对象
data：请求参数
timeout：设置超时

"""
# 爬虫就是模拟用户，向服务器发起请求，服务器会返回对应数据
# 数据抓包，使用chrome，尽量不要使用国产浏览器
# F12打开界面，点击network，刷新，会显示网页的请求，常见的请求有GET, POST, PUT, DELETE, HEAD, OPTIONS, TRACE，其中GET 和 POST 最常用
# GET请求把请求参数都暴露在URL上
# POST请求的参数放在request body，一般会对密码进行加密
# 请求头：用来模拟一个真实用户
# 相应状态码：200表示成功

推荐一个测试网站，用于提交各种请求：http://httpbin.org/，该网站的更多的用法自行搜索
"""


# 引入请求模块
import urllib.request
# 发起请求,设置超时为1s
response = urllib.request.urlopen('http://httpbin.org/', timeout = 1)

print(response.status) # 状态码，判断是否成功,200
print(response.getheaders())       # 响应头 得到的一个元组组成的列表
print(response.getheader('Server'))   #得到特定的响应头
print(response.getheader('User-Agent'))   #得到特定的响应头
# 使用read()读取整个页面内容，使用decode('utf-8')对获取的内容进行编码
print(response.read().decode('utf-8'))

输出为:

200
[('Date', 'Fri, 22 Sep 2023 01:23:18 GMT'), ('Content-Type', 'text/html; charset=utf-8'), ('Content-Length', '9593'), ('Connection', 'close'), ('Server', 'gunicorn/19.9.0'), ('Access-Control-Allow-Origin', '*'), ('Access-Control-Allow-Credentials', 'true')]
gunicorn/19.9.0
None
<!DOCTYPE html>
<html lang="en">

<head>
    <meta charset="UTF-8">
    <title>httpbin.org</title>
    <link href="https://fonts.googleapis.com/css?family=Open+Sans:400,700|Source+Code+Pro:300,600|Titillium+Web:400,600,700"
        rel="stylesheet">
    <link rel="stylesheet" type="text/css" href="/flasgger_static/swagger-ui.css">
    <link rel="icon" type="image/png" href="/static/favicon.ico" sizes="64x64 32x32 16x16" />
    <style>
        html {
            box-sizing: border-box;
            overflow: -moz-scrollbars-vertical;
            overflow-y: scroll;
        }

        *,
        *:before,
        *:after {
            box-sizing: inherit;
        }

        body {
            margin: 0;
            background: #fafafa;
        }
    </style>
</head>

<body>
...
</body>

</html>

POST请求

import urllib.parse
import urllib.request
# data需要的是字节流编码格式的内容，此时请求方式为post
data = bytes(urllib.parse.urlencode({"name": "WenAn"}), encoding= 'utf-8')
response = urllib.request.urlopen('http://httpbin.org/post', data= data)
print(response.read().decode('utf-8'))

输出为:

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "WenAn"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Content-Length": "10", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Python-urllib/3.10", 
    "X-Amzn-Trace-Id": "Root=1-650ced1b-365667a33f287edd7b5579ab"
  }, 
  "json": null, 
  "origin": "120.194.158.199", 
  "url": "http://httpbin.org/post"
}

通过返回的内容可以返现包含了User-Agent数据，这是因为浏览器发起请求时都会有请求头header，但urlopen无法添加其他参数，这会让服务器识别出我们是一个爬虫，因此我们需要声明一个request对象来添加header

import urllib.request
import urllib.parse

url = 'http://httpbin.org/post'
# 添加请求头
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36', 'Host':'httpbin.org'}
dict = {
    'name':'WenAn'
}
data = bytes(urllib.parse.urlencode(dict), encoding = 'utf-8')
request = urllib.request.Request(url, data=data, headers=headers, method='POST')
response = urllib.request.urlopen(request)
# response = urllib.request.urlopen('http://httpbin.org/post', data= data)
print(response.read().decode('utf-8'))

输出为:

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "WenAn"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Content-Length": "10", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36", 
    "X-Amzn-Trace-Id": "Root=1-650cee11-094d85e314f07a847244a399"
  }, 
  "json": null, 
  "origin": "120.194.158.199", 
  "url": "http://httpbin.org/post"
}

输出的数据中User-Agent值为

“Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36”

urlretrieve将数据下载到本地

import urllib.request
urllib.request.urlretrieve("https://www.youdao.com","youdao.html")
urllib.request.urlretrieve("https://www.httpbin.org/get","httpbin/get.html")

from urllib import request, error
#导入request和error模块
def schedule(num,size,tsize):
    """
    回调函数,num:当前已经下载的块;
    size:每次传输的块大小;
    tsize:网页文件总大小
    """
    if tsize == 0:
        percent = 0
    else:
        percent = num * size / tsize
    if percent > 1.0:
        percent = 1.0
    percent = percent * 100
    print("\r[%-100s] %.2f%%" % ('=' * int(percent), percent),end='')

url = "https://oimageb3.ydstatic.com/image?\
id=5951384821510112623&product=xue"  # 下载文件的url
path = r"img1.jpg"
# 文件下载后保存的本地路径
request.urlretrieve(url, path, schedule)
print('\r\n' + url + ' download successfully!')

输出为:
在这里插入图片描述

1.1.4 Error

以上讲述的是使用urlopen发送请求的过程，而且是正常情况下的情形。若是非正常情况，比如url地址是错误的或者网络不通，那么就会抛出异常。当有异常发生时，需要利用python的异常控制机制，也就是使用try…except语句来捕获异常进行处理，否则程序就会异常退出。在使用try…except时，except子句一般会加上错误类型，以便针对不同的错误类型采取相应的措施。
Error模块下有三个异常类：

URLError
处理程序在遇到问题时会引发此异常（或其派生的异常）只有一个reason属性
HTTPError
是URLError的一个子类，有更多的属性，如code， reason，headers适用于处理特殊 HTTP 错误例如作为认证请求的时候。
ContentTooShortError
此异常会在 urlretrieve() 函数检测到已下载的数据量小于期待的数据量（由 Content-Length 头给定）时被引发。 content 属性中将存放已下载（可能被截断）的数据。

from urllib import request, error
try:
    # 打开httpbin里面的a.html页面，因为它根本不存在，所以会抛出异常
    response = request.urlopen('http://httpbin.org/a.html')
except error.URLError as e:
    print(e.reason) #Not Found

输出为:

NOT FOUND

HTTPError案例

# 把URLError换成了HTTPError
from urllib import request, error
try:
    # 打开httpbin里面的a.html页面，因为它根本不存在，所以会抛出异常
    response = request.urlopen('http://httpbin.org/a.html')
except error.HTTPError as e:
    print(e.reason)
    print(e.code)
    print(e.headers)

输出为:

NOT FOUND
404
Date: Fri, 22 Sep 2023 01:40:11 GMT
Content-Type: text/html
Content-Length: 233
Connection: close
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

1.1.5 parse模块

Parse模块

parse模块定义了url的标准接口，实现url的各种抽取，解析，合并，编码，解码

编码
urlencode()介绍—参数编码
它将字典构形式的参数序列化为url编码后的字符串，在前面的request模块有用到

import urllib.parse
dict = {
    'name':'WenAn',
    'age': 20
}
params = urllib.parse.urlencode(dict)
print(params)

输出为:

name=WenAn&age=20

quote()介绍—中文URL编解码

import urllib.parse
params = '少年强则国强'
base_url = 'https://www.baidu.com/s?wd='
url = base_url + urllib.parse.quote(params)
print(url)
# https://www.baidu.com/s?wd=%E5%B0%91%E5%B9%B4%E5%BC%BA%E5%88%99%E5%9B%BD%E5%BC%BA

# 使用unquote()对中文解码
url1 = 'https://www.baidu.com/s?wd=%E5%B0%91%E5%B9%B4%E5%BC%BA%E5%88%99%E5%9B%BD%E5%BC%BA'
print(urllib.parse.unquote(url1))
# https://www.baidu.com/s?wd=少年强则国强

中文在字典中案例

from urllib import parse
from urllib import request
url='http://www.baidu.com/s?'
dict_data={'wd':'百度翻译'}
#unlencode() 将字典{k 1：v 1，k2：v2}转化为k1=v1&k2=v2
url_data=parse.urlencode(dict_data)
#urldata：wd=%E7%99%BE%E5%BA%A6%E7%BF%BB%E8%AF%91
print(url_data)#读取URL响应结果
res_data=request.urlopen((url+url_data)).read()#用utf 8对响应结果编码
data=res_data.decode('utf-8')
print(data)

输出为:

wd=%E7%99%BE%E5%BA%A6%E7%BF%BB%E8%AF%91
<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="utf-8">
    <title>百度安全验证</title>
    ...
</head>
<body>
  ...
</body>
</html>

在爬取过程中，当获得一个URL时，如果想把这个URL中的各个组成部分分解后使用，那么就要用到url.parse()和url.split()。
使用urlparse()进行URL的解析

from urllib import parse
url = "http://www.youdao.com/s?username=spider"
result = parse.urlparse(url)
print ("urlparse解析出来的结果:\n%s"%str(result))

输出为:

urlparse解析出来的结果:
ParseResult(scheme='http', netloc='www.youdao.com', path='/s', params='', query='username=spider', fragment='')

urlsplit()方法和urlparse()方法的作用相似,区别在于它不再单独解析params部分,而仅返回5个结果，将params合并到path中。
使用urlsplit()进行URL的解析。

from urllib import parse
url = "http://www.youdao.com/s?username=spider"
result = parse.urlsplit(url)
print ("urlsplit解析出来的结果:\n%s"%str(result))

输出为:

urlsplit解析出来的结果:
SplitResult(scheme='http', netloc='www.youdao.com', path='/s', query='username=spider', fragment='')

1.2 urllib高级应用

1.2.1Opener

opener是 urllib.request.OpenerDirector 的实例，如上文提到的urlopen便是一个已经构建好的特殊opener，但urlopen()仅提供了最基本的功能，如不支持代理，cookie等

自定义Opener的流程

使用相关的 Handler处理器来创建特定功能的处理器对象通过 urllib.request.build_opener()方法使用处理器对象，
创建自定义opener对象使用自定义的opener对象，
调用open()方法发送请求

关于全局Opener

如果要求程序里面的所有请求都使用自定义的opener，使用urllib.request.install_opener()

import urllib.request
# 创建handler
http_handler = urllib.request.HTTPHandler()
# 创建opener
opener = urllib.request.build_opener(http_handler)
# 创建Request对象
request = urllib.request.Request('http://httpbin.org/get')

# 局部opener,只能使用.open()来访问
# response = opener.open(request)


# 全局opener，之后调用urlopen，都将使用这个自定义opener
urllib.request.install_opener(opener)
response = urllib.request.urlopen(request)

print(response.read().decode('utf8'))

输出为:

{
  "args": {}, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Host": "httpbin.org", 
    "User-Agent": "Python-urllib/3.10", 
    "X-Amzn-Trace-Id": "Root=1-650cf628-059816f8524cf7ec7d9cee6e"
  }, 
  "origin": "120.194.158.199", 
  "url": "http://httpbin.org/get"
}

1.2.2 代理设置

推荐几个提供免费代理服务的网站：

http://www.xiladaili.com/
https://www.kuaidaili.com/free/
https://ip.jiangxianli.com/?page=1

import urllib.request

# 创建handler
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://182.34.103.79:9999'
})
# 创建opener
opener = urllib.request.build_opener(proxy_handler)
header = {
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36"
}
request = urllib.request.Request('https://www.httpbin.org/get', headers=header)

# 配置全局opener
urllib.request.install_opener(opener)
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

代理设置未成功

更多推荐

基于安卓Java试题库在线考试系统uniapp 微信小程序

本文首先分析了题库app应用程序的需求，从系统开发环境、系统目标、设计流程、功能设计等几个方面对系统进行了系统设计。开发出本题库app，主要实现了学生、教师、测试卷、试题、考试等。总体设计主要包括系统功能设计、该系统里充分综合应用Mysql数据库、JAVA等相关知识。网页界面的构成，具备简单易懂、便捷等特征。设计过程中

什么是Vue的keep-alive组件？有什么作用

Vue的<keep-alive>组件：优化性能和缓存组件Vue.js是一款流行的JavaScript框架，用于构建现代化的前端应用程序。在Vue中，有一个强大的组件叫做<keep-alive>，它用于缓存和重用组件，从而提高应用程序的性能。本文将深入介绍Vue的<keep-alive>组件，解释它的作用和如何使用它。什

Java面试八股文宝典:初识数据结构-数组的应用扩展之HashMap

前言除了基本的数组，还有其他高级的数据结构，用于更复杂的数据存储和检索需求。其中，HashMap是Java集合框架中的一部分，用于存储键值对（key-valuepairs）。HashMap允许我们通过键来快速查找和检索值，类似于字典或关联数组的概念。HashMap在实际编程中广泛应用于各种场景，包括缓存、数据库索引、数

Kafka实时数据即席查询应用与实践

Kafka中的实时数据是以Topic的概念进行分类存储，而Topic的数据是有一定时效性的，比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时，如果没有对实时数据进行历史归档，在排查问题时，没有日志追述，会很难定位是哪个环节的问题。一、背景Kafka中的实时数据是以Topic的概念进行分类存储，而

WBS中的控制账户解释

定义控制账户(ControlAccount,简称(CA)是项目管理中用来控制成本和进度的一种方法。控制账户通常是WBS（工作分解结构）的中间层级，用来对下一级的任务进行控制和管理。特点和作用特点控制账户是对WBS中工作包或工作包集合的进一步分解。控制账户是对某一范围内工作、成本和进度的控制点。控制账户可以是项目的基本组

如何解决 503 Service Temporarily Unavailable?

🌷🍁博主猫头虎（🐅🐾）带您GotoNewWorld✨🍁🐅🐾猫头虎建议程序员必备技术栈一览表📖：🛠️全栈技术FullStack:📚MERN/MEAN/MEVNStack|🌐Jamstack|🌍GraphQL|🔁RESTfulAPI|⚡WebSockets|🔄CI/CD|🌐Git&Versio

一篇让你使用vue-cli搭建SPA项目

目录一.Vue-CLi二.SAP项目三.为什么使用vue-cli搭建SPA项目四.SPA项目的搭建4.1.检查4.2.安装4.3.构建4.4.启动4.5.导入​编辑五.路由及嵌套使用5.1.路由5.2.嵌套好啦今天到这了，希望能帮到你！！！一.Vue-CLiVueCLI是一个基于Vue.js快速开发单页应用的脚手架工具

2023-09-21力扣每日一题

链接：2603.收集树中金币题意一个无向无根树，每个点上有Coins[T]个金币，每次你可以选择吸收离自己距离小于等于2的节点的所有金币，也可以移动到相邻格子上，求全部吸完最小的移动次数（任选起点，但吸完要返回起点）解：由于计算的是移动次数，所以你可以认为一直在吸，走到哪儿吸到哪儿计算最后移动次数很简单，由于要回到起点

【开发工具】idea 的全局搜索快捷键（Ctrl+shift+F）失效

文章目录前言1.取消输入法的快捷键（推荐使用）2.更改idea的快捷键3.热键占用总结前言当你发现在idea中看到用于全局搜索的快捷键就是Ctrl+shift+F，可是怎么按都不管用的时候，你就不要再执着于自己的操作继续狂点电脑按键了，因为可能根本就不是你的问题，而是微软的问题哟！！当我们在使用快捷键失效的时候，排除掉

24个Docker常见问题处理技巧

1.Docker迁移存储目录默认情况系统会将Docker容器存放在var/lib/docker目录下[问题起因]今天通过监控系统，发现公司其中一台服务器的磁盘快慢，随即上去看了下，发现/var/lib/docker这个目录特别大。由上述原因，我们都知道，在/var/lib/docker中存储的都是相关于容器的存储，所以

黑马头条 后端项目部署_持续集成 Jenkins配置

项目部署_持续集成1今日内容介绍1.1什么是持续集成持续集成（Continuousintegration，简称CI）指的是，频繁地（一天多次）将代码集成到主干持续集成的组成要素一个自动构建过程，从检出代码、编译构建、运行测试、结果记录、测试统计等都是自动完成的，无需人工干预。一个代码存储库，即需要版本控制软件来保障代码

热文推荐
  1. 2023常用的原型设计软件推荐

    美观易操作的产品原型可以帮助团队构建积极的用户体验，帮助团队理解产品交互逻辑。因此，可互动、易修改的产品原型设计对产品的点击率和回访率具有重要意义。选择专业的产品原型设计工具，可以为团队和企业带来高效的产品设计体验。本文选择了四种产品原型设计工具，可以为实际工作带来方便。让我们看看。即时设计即时设计是国内首款专业级的U

  2. SpringBoot

    SpringBoot1.概念和介绍Spring用于简化Java程序的开发，而SpringBoot为了简化Spring程序开发。SpringBoot是Spring脚手架。可以快速完成Java程序的创建、提高开发效率等。SpringBoot的优点：快速集成框架，提供启动依赖的功能，可以集成各种框架。内置了运行容器、无需配置

  3. 酷开科技，让家庭娱乐生活充满激情

    近几年，随着智能电视在家庭生活中的广泛应用，让人们的家庭娱乐生活有了更多的选择，但随之而来的是消费者的需求也在不断地升级，个性化、细分化的需求趋势越加凸显。而酷开科技正是抓住了这个机遇，不断赋能家庭娱乐生活场景，获得了更多消费者的青睐。与此同时，酷开科技凭借自身包容的开放生态体验，以及为消费者提供更丰富、更多元的内容，

  4. C++实现观察者模式（包含源码）

    文章目录观察者模式一、基本概念二、实现方式三、角色四、过程五、结构图六、构建思路七、完整代码观察者模式一、基本概念观察者模式（又被称为模型（Model）-视图（View）模式）是软件设计模式的一种。在此种模式中，一个目标物件管理所有相依于它的观察者物件，并且在它本身的状态改变时主动发出通知。这通常透过呼叫各观察者所提供

  5. 网络编程.

    网络编程就相当于通过网络进行数据的传输，可以传给别人，不仅限于自己；常见软件架构BS优点1.不需要开发客户端，只需要页面+服务器2.不用下载缺点如果应用过大cs优点1.画面精美缺点1.客户端，服务端都要开发三要素：IP设备在网络中的地址，是唯一的标识端口号应用程序在设备中唯一的标识协议数据在网络中传输的规则，常见的协议

  6. 解锁网络世界的利器：代理IP与Socks5代理

    随着跨界电商、爬虫、网络安全和游戏等领域的不断发展，网络工程师们正面临着越来越多的挑战和机会。在这个信息爆炸的时代，如何更有效地访问、保护和探索网络资源成为了网络工程师们的首要任务。本文将重点介绍代理IP和Socks5代理，它们是网络世界的利器，为网络工程师提供了强大的工具来应对各种技术挑战。代理IP的妙用代理IP是一

  7. 海外代理IP是什么？如何使用？

    一、海外代理IP是什么？首先，代理服务器是在用户和互联网之间提供网关的系统或路由器。它是一个服务器，被称为“中介”，因为它位于最终用户和他们在线访问的网页之间。海外IP代理是就是指从海外地区获取的IP地址，用于将互联网连接路由通过位于不同国家或地区的服务器。这种代理服务允许用户隐藏其真实的地理位置，并获得访问其他国家或

  8. HTTP Tunnel与后门攻击

    后门攻击是指利用隐藏在系统中的漏洞或者特殊设计，以获取未授权的访问权限或者绕过安全控制的攻击方式。通过后门攻击，攻击者可以在受感染的系统上进行非法操作、窃取敏感信息或者控制系统。后门攻击可以采用多种形式，其目的都是为了绕过安全机制并获取非法访问权限。主要形式的后门攻击有以下几种：软件后门：攻击者在软件中嵌入恶意代码或漏

  9. 预防API漏洞简述

    随着对网络应用程序和数字平台的日益依赖，应用程序编程接口（API）的使用变得越来越流行。如果你不熟悉这个术语，API允许应用程序相互通信，它们在现代软件开发中发挥着至关重要的作用。然而，API使用量的增加也导致了API违规数量的增加。当未经授权的个人或系统访问API及其包含的数据时，就会发生这些违规行为。受害者可以证明