网络爬虫-----http和https的请求与响应原理

2023-09-20 20:56:59

 目录

前言

简介

HTTP的请求与响应

浏览器发送HTTP请求的过程：

HTTP请求主要分为Get和Post两种方法

查看网页请求

常用的请求报头

1. Host (主机和端口号)

2. Connection (链接类型)

3. Upgrade-Insecure-Requests (升级为HTTPS请求)

4. User-Agent (浏览器名称)

5. Accept (传输文件类型)

举例：

6. Referer (页面跳转处)

7. Accept-Encoding（文件编解码格式）

举例：Accept-Encoding:gzip;q=1.0, identity; q=0.5, *;q=0

8. Accept-Language（语言种类）

9. Accept-Charset（字符编码）

举例：Accept-Charset:iso-8859-1,gb2312,utf-8

10. Cookie （Cookie）

11. Content-Type (POST数据类型)

举例：Content-Type = Text/XML; charset=gb2312：

服务端HTTP响应

常用的响应报头(了解)

1. Cache-Control：must-revalidate, no-cache, private。

2. Connection：keep-alive

3. Content-Encoding:gzip

4. Content-Type：text/html;charset=UTF-8

5. Date：Sun, 21 Sep 2016 06:18:21 GMT

6. Expires:Sun, 1 Jan 2000 01:00:00 GMT

7. Pragma:no-cache

8.Server：Tengine/1.4.6

9. Transfer-Encoding：chunked

10. Vary: Accept-Encoding

Cookie 和 Session：

响应状态码

常见状态码：

网页的两种加载方法

认识网页源码的构成

爬虫协议（了解）

前言

           在开始学习爬虫之前，我们必须了解和知道网页的相关运作原理，也就是http和https协议是如何去运作的，下面我会详细去介绍关于这方面的相关知识点，我们往下看！

简介

HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。

HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。

SSL（Secure Sockets Layer 安全套接层）主要用于Web的安全传输协议，在传输层对网络连接进行加密，保障在Internet上数据传输的安全。

  • HTTP的端口号为80，

  • HTTPS的端口号为443

HTTP的请求与响应

HTTP通信由两部分组成： 客户端请求消息 与 服务器响应消息

浏览器发送HTTP请求的过程：

  1. 当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。

  2. 当我们在浏览器输入URL 百度一下，你就知道 的时候，浏览器发送一个Request请求去获取 百度一下，你就知道 的html文件，服务器把Response文件对象发送回给浏览器。

  3. 浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。 浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。

  4. 当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

统一资源定位符：URL（Uniform / Universal Resource Locator的缩写）是用于完整地描述Internet上网页和其他资源的地址的一种标识方法。

基本格式：scheme://host[:port#]/path/…/[?query-string][#anchor]

协议://主机:[端口号]/路径/?[请求or查询参数]…/[#锚点]

  • scheme：协议(例如：http, https, ftp)

  • host：服务器的IP地址或者域名

  • port#：服务器的端口（如果是走协议默认端口，缺省端口80）

  • path：访问资源的路径

  • query-string：参数，发送给http服务器的数据

  • anchor：锚（用于页面 内跳转）

例如：

HTTP请求主要分为Get和Post两种方法

  • GET是从服务器上获取数据，POST是向服务器传送数据

  • GET请求参数显示，都显示在浏览器网址上，HTTP服务器根据该请求所包含URL中的参数来产生响应内容，即“Get”请求的参数是URL的一部分。 例如： http://www.baidu.com/s?wd=Chinese

  • POST请求参数在请求体当中，消息长度没有限制而且以隐式的方式进行发送，通常用来向HTTP服务器提交量比较大的数据（比如请求中包含许多参数或者文件上传操作等），请求的参数包含在“Content-Type”消息头里，指明该消息体的媒体类型和编码，

注意：避免使用Get方式提交表单，因为有可能会导致安全问题。 比如说在登陆表单中用Get方式，用户输入的用户名和密码将在地址栏中暴露无遗。

 

查看网页请求

以chrome浏览器为例，在网页上点击鼠标右键，检查（或者直接F12），选择network，刷新页面，选择ALL下面的第一个链接，这样就可以看到网页的各种请求信息,下面会做详细介绍

常用的请求报头

1. Host (主机和端口号)

Host：对应网址URL中的Web名称和端口号，用于指定被请求资源的Internet主机和端口号，通常属于URL的一部分。

2. Connection (链接类型)

Connection：表示客户端与服务连接类型

  1. Client 发起一个包含 Connection:keep-alive 的请求，HTTP/1.1使用 keep-alive 为默认值。

  2. Server收到请求后：

    • 如果 Server 支持 keep-alive，回复一个包含 Connection:keep-alive 的响应，不关闭连接；

    • 如果 Server 不支持 keep-alive，回复一个包含 Connection:close 的响应，关闭连接。

  3. 如果client收到包含 Connection:keep-alive 的响应，向同一个连接发送下一个请求，直到一方主动关闭连接。

keep-alive在很多情况下能够重用连接，减少资源消耗，缩短响应时间，比如当浏览器需要多个文件时(比如一个HTML文件和相关的图形文件)，不需要每次都去请求建立连接。

3. Upgrade-Insecure-Requests (升级为HTTPS请求)

Upgrade-Insecure-Requests：升级不安全的请求，意思是会在加载 http 资源时自动替换成 https 请求，让浏览器不再显示https页面中的http请求警报。

*HTTPS 是以安全为目标的 HTTP 通道，所以在 HTTPS 承载的页面上不允许出现 HTTP 请求，一旦出现就是提示或报错。*

4. User-Agent (浏览器名称)

User-Agent：是客户浏览器的名称，也就是我们去收缩浏览页面时候浏览器的完整标准链接，后面会详细讲。

5. Accept (传输文件类型)

Accept：指浏览器或其他客户端可以接受的MIME（Multipurpose Internet Mail Extensions（多用途互联网邮件扩展））文件类型，服务器可以根据它判断并返回适当的文件格式。

举例：

Accept: */*：表示什么都可以接收。

Accept：image/gif：表明客户端希望接受GIF图像格式的资源；

Accept：text/html：表明客户端希望接受html文本。

Accept: text/html, application/xhtml+xml;q=0.9, image/*;q=0.8：表示浏览器支持的 MIME 类型分别是 html文本、xhtml和xml文档、所有的图像格式资源。

*q是权重系数，范围 0 =< q <= 1，q 值越大，请求越倾向于获得其“;”之前的类型表示的内容。若没有指定q值，则默认为1，按从左到右排序顺序；若被赋值为0，则用于表示浏览器不接受此内容类型。*

*Text：用于标准化地表示的文本信息，文本消息可以是多种字符集和或者多种格式的；Application：用于传输应用程序数据或者二进制数据。详细请点击*

 

6. Referer (页面跳转处)

Referer：表明产生请求的网页来自于哪个URL，用户是从该 Referer页面访问到当前请求的页面。这个属性可以用来跟踪Web请求来自哪个页面，是从什么网站来的等。

有时候遇到下载某网站图片，需要对应的referer，否则无法下载图片，那是因为人家做了防盗链，原理就是根据referer去判断是否是本网站的地址，如果不是，则拒绝，如果是，就可以下载；

7. Accept-Encoding（文件编解码格式）

Accept-Encoding：指出浏览器可以接受的编码方式。编码方式不同于文件格式，它是为了压缩文件并加速文件传递速度。浏览器在接收到Web响应之后先解码，然后再检查文件格式，许多情形下这可以减少大量的下载时间。

举例：Accept-Encoding:gzip;q=1.0, identity; q=0.5, *;q=0

如果有多个Encoding同时匹配, 按照q值顺序排列，本例中按顺序支持 gzip, identity压缩编码，支持gzip的浏览器会返回经过gzip编码的HTML页面。 如果请求消息中没有设置这个域服务器假定客户端对各种内容编码都可以接受。

8. Accept-Language（语言种类）

Accept-Langeuage：指出浏览器可以接受的语言种类，如en或en-us指英语，zh或者zh-cn指中文，当服务器能够提供一种以上的语言版本时要用到。

9. Accept-Charset（字符编码）

Accept-Charset：指出浏览器可以接受的字符编码。

举例：Accept-Charset:iso-8859-1,gb2312,utf-8

  • ISO8859-1：通常叫做Latin-1。Latin-1包括了书写所有西方欧洲语言不可缺少的附加字符，英文浏览器的默认值是ISO-8859-1.

  • gb2312：标准简体中文字符集;

  • utf-8：UNICODE 的一种变长字符编码，可以解决多种语言文本显示问题，从而实现应用国际化和本地化。

如果在请求消息中没有设置这个域，缺省是任何字符集都可以接受。

 

10. Cookie （Cookie）

Cookie：浏览器用这个属性向服务器发送Cookie。Cookie是在浏览器中寄存的小型数据体，它可以记载和服务器相关的用户信息，也可以用来实现会话功能，以后会详细讲。

11. Content-Type (POST数据类型)

Content-Type：POST请求里用来表示的内容类型。

举例：Content-Type = Text/XML; charset=gb2312：

指明该请求的消息体中包含的是纯文本的XML类型的数据，字符编码采用“gb2312”。

服务端HTTP响应

HTTP响应也由四个部分组成，分别是： 状态行、消息报头、空行、响应正文

HTTP/1.1 200 OK
Server: Tengine
Connection: keep-alive
Date: Wed, 30 Nov 2016 07:58:21 GMT
Cache-Control: no-cache
Content-Type: text/html;charset=UTF-8
Keep-Alive: timeout=20
Vary: Accept-Encoding
Pragma: no-cache
X-NWS-LOG-UUID: bd27210a-24e5-4740-8f6c-25dbafa9c395
Content-Length: 180945
​
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" ....

常用的响应报头(了解)

理论上所有的响应头信息都应该是回应请求头的。但是服务端为了效率，安全，还有其他方面的考虑，会添加相对应的响应头信息，从上图就可以看到。

1. Cache-Control：must-revalidate, no-cache, private。

这个值告诉客户端，服务端不希望客户端缓存资源，在下次请求资源时，必须要从新请求服务器，不能从缓存副本中获取资源。

  • Cache-Control是响应头中很重要的信息，当客户端请求头中包含Cache-Control:max-age=0请求，明确表示不会缓存服务器资源时,Cache-Control作为作为回应信息，通常会返回no-cache，意思就是说，"那就不缓存呗"。

  • 当客户端在请求头中没有包含Cache-Control时，服务端往往会定,不同的资源不同的缓存策略，比如说oschina在缓存图片资源的策略就是Cache-Control：max-age=86400,这个意思是，从当前时间开始，在86400秒的时间内，客户端可以直接从缓存副本中读取资源，而不需要向服务器请求。

2. Connection：keep-alive

这个字段作为回应客户端的Connection：keep-alive，告诉客户端服务器的tcp连接也是一个长连接，客户端可以继续使用这个tcp连接发送http请求。

3. Content-Encoding:gzip

告诉客户端，服务端发送的资源是采用gzip编码的，客户端看到这个信息后，应该采用gzip对资源进行解码。

4. Content-Type：text/html;charset=UTF-8

告诉客户端，资源文件的类型，还有字符编码，客户端通过utf-8对资源进行解码，然后对资源进行html解析。通常我们会看到有些网站是乱码的，往往就是服务器端没有返回正确的编码。

5. Date：Sun, 21 Sep 2016 06:18:21 GMT

这个是服务端发送资源时的服务器时间，GMT是格林尼治所在地的标准时间。http协议中发送的时间都是GMT的，这主要是解决在互联网上，不同时区在相互请求资源的时候，时间混乱问题。

6. Expires:Sun, 1 Jan 2000 01:00:00 GMT

这个响应头也是跟缓存有关的，告诉客户端在这个时间前，可以直接访问缓存副本，很显然这个值会存在问题，因为客户端和服务器的时间不一定会都是相同的，如果时间不同就会导致问题。所以这个响应头是没有Cache-Control：max-age=*这个响应头准确的，因为max-age=date中的date是个相对时间，不仅更好理解，也更准确。

7. Pragma:no-cache

这个含义与Cache-Control等同。

8.Server：Tengine/1.4.6

这个是服务器和相对应的版本，只是告诉客户端服务器的信息。

9. Transfer-Encoding：chunked

这个响应头告诉客户端，服务器发送的资源的方式是分块发送的。一般分块发送的资源都是服务器动态生成的，在发送时还不知道发送资源的大小，所以采用分块发送，每一块都是独立的，独立的块都能标示自己的长度，最后一块是0长度的，当客户端读到这个0长度的块时，就可以确定资源已经传输完了。

10. Vary: Accept-Encoding

告诉缓存服务器，缓存压缩文件和非压缩文件两个版本，现在这个字段用处并不大，因为现在的浏览器都是支持压缩的。

Cookie 和 Session：

服务器和客户端的交互仅限于请求/响应过程，结束之后便断开，在下一次请求时，服务器会认为新的客户端。

为了维护他们之间的链接，让服务器知道这是前一个用户发送的请求，必须在一个地方保存客户端的信息。

Cookie：通过在 客户端 记录的信息确定用户的身份。

Session：通过在 服务器端 记录的信息确定用户的身份。

响应状态码

响应状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值。

常见状态码：

  • 100~199：表示服务器成功接收部分请求，要求客户端继续提交其余请求才能完成整个处理过程。

  • 200~299：表示服务器成功接收请求并已完成整个处理过程。常用200（OK 请求成功）。

  • 300~399：为完成请求，客户需进一步细化请求。例如：请求的资源已经移动一个新地址、常用302（所请求的页面已经临时转移至新的url）、307和304（使用缓存资源）。

  • 400~499：客户端的请求有错误，常用404（服务器无法找到被请求的页面）、403（服务器拒绝访问，权限不够）。

  • 500~599：服务器端出现错误，常用500（请求未完成。服务器遇到不可预知的情况）。

网页的两种加载方法

  • 同步加载：改变网址上的某些请求参数会导致网页发生改变，例如：www.itjuzi.com/company?page=1（改变page=后面的数字，网页会发生改变）

  • 异步加载：改变网址上的请求参数不会使网页发生改变，例如：www.lagou.com/gongsi/（翻页后网址不会发生变化）

认识网页源码的构成

在网页中右键点击查看网页源码，可以查看到网页的源代码信息。 源代码一般由三个部分组成，分别是：

  • html：描述网页的内容结构

  • css：描述网页的排版布局(高深的反爬，css)

  • JavaScript（js文件）：描述网页的事件处理，即鼠标或键盘在网页元素上的动作后的程序

爬虫协议（了解）

robots协议：网站通过robots协议，告诉我们搜索引擎哪些页面可以抓取，哪些页面不能抓取，但它仅仅是道德层面上的约束。

[robots协议百度百科]链接：

https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797?fr=aladdin 

 以上就是本期的全部内容，关于http和https想相关知识点就先介绍到这里了，我们下一期再见！

 分享一张壁纸：

更多推荐

Python爬虫(二十一)_Selenium与PhantomJS

本章将介绍使用Selenium和PhantomJS两种工具用来加载动态数据，更多内容请参考：Python学习指南SeleniumSelenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动化操作，不同是Selenium可

MongoDB【部署 02】mongodb使用配置文件启动、添加为系统服务及自启动（一个报错：[13436][NotMasterOrSecondary]）

MongoDB使用配置文件启动、添加为系统服务及设置自启动1.是什么2.下载安装启动配置2.1下载2.2安装2.3配置2.4使用配置文件启动3.设置系统服务及自启动3.1设置为系统服务3.2自启动1.是什么【以下内容来自ChatGPT3.5】MongoDB是一个流行的开源文档型数据库管理系统，广泛用于构建高度可扩展、灵

JVM 程序计数器

Java虚拟机（JVM,JavaVirtualMachine）是一个能够执行Java字节码的虚拟机。在JVM的架构中，程序计数器（ProgramCounter,PC）是一个关键的组成部分。程序计数器用于存储当前正在执行的Java字节码指令的地址。每个线程在JVM中都有自己的程序计数器。每条线程都需要有一个独立的程序计数

计算机视觉与深度学习-图像分割-视觉识别任务02-目标检测-【北邮鲁鹏】

目录标题参考目标检测定义深度学习对目标检测的作用单目标检测多任务框架多任务损失预训练模型姿态估计多目标检测问题滑动窗口（SlidingWindow）滑动窗口缺点AdaBoost（AdaptiveBoosting）参考区域建议selectivesearch思想慢速R-CNN慢速R-CNN思路边界框回归（Bboxreg）慢

leetcode分类刷题：队列（Queue）（二、优先队列解决TopK简单问题）

1、优先队列好像一般都叫堆，以大顶堆为例，顶部第一个元素最大，底部最后一个元素最小，自顶向底是递减的（更准确的说是非递增的），对外只能访问顶部第一个元素（对应索引为0）和底部最后一个元素（对应索引为-1）；在Python中，heapq默认维护小顶堆，构造大顶堆时需要在入堆时添加相反数2、本次博客总结下用优先队列解决To

JavaScript系列从入门到精通系列第三篇：JavaScript基本语法(一)

文章目录一：JavaScript基本语法1：JS注释(一)：JS多行注释(二)：JS单行注释(三)：JS中大小写(四)：分号问题(五)：空格和换行2：字面量和变量(一)：字面量(二)：变量(三)：如何声明变量(四)：如何给变量赋值(五)：标识符二：JS中6种数据类型(一)1：JS字符串(一)：JS字符串基本使用(二)：

Ubuntu 安装 CUDA 与 OPENCL

前言：最近需要做一些GPU并行计算，因而入坑CUDA和OPENCL，两者都有用到一些，刚好有点时间，同时记录一些学习过程，排掉一些坑，这篇是环境安装篇，基本跟着走就没什么问题，环境：ubuntu18.04/ubuntu20.04显卡：Nvidia一、CUDA安装1.查看电脑是否识别GPUlspci|grep-invid

Liunx（Ubuntu20）常用指令

-rwxr-xr-x,在Linux系统中权限是区分用户的，即用户、组用户、其他用户，第一位表示文件的类型，-代表文件，d代表目录，其他每个用户占三个字符用户、组用户、其他用户都是rwx形式，其中r表示读、w表示写、x表示可执行，-表示没有权限，拿用户组举例，r只能出现在第一个位置、w只能出现在第二个位置、x只能出现在第

在 CentOS 上安装 Docker Engine

文章目录在CentOS上安装DockerEngine先决条件操作系统要求卸载旧版本安装方法使用rpm存储库安装设置存储库安装DockerEngine安装最新版本安装指定版本以非root用户身份管理Docker配置Docker以使用systemd启动参考官方文档：https://docs.docker.com/engin

阿里云服务器价格表，轻量和服务器最新活动价格表汇总

租用阿里云服务器怎么收费？阿里云服务器配置不同一年价格也不同，阿里云2核2G3M带宽108元一年、2核4G4M带宽297.98元12个月，云服务器u1公网带宽可选1M到5M，系统盘为ESSD云盘40GB起，CPU内存配置可选2核2G、2核4G、4核8G、8核16G等配置，还有ECS计算型c7、通用型g7和内存型r7多C

【SLAM】前端-视觉里程计之对极几何

文章目录【SLAM】前端-视觉里程计之对极几何1.对极几何2.本质矩阵及其求解3.单应矩阵及其求解3.三角测量4.思考4.1本质矩阵的自由度为多少4.2直接法求本质矩阵的过程涉及求解齐次线性方程，而对于齐次线性方程的解，要么只有零解，要么有无穷多个解，这里取哪一个解呢5.附录5.1相机成像模型【SLAM】前端-视觉里程

热文推荐
  1. Spring Cloud Gateway快速入门（一）——网关简介

    文章目录前言一、什么是网关1.1gateway的特点1.2为什么要使用gateway二、使用Nginx实现网关服务什么是网关服务？为什么选择Nginx作为网关服务？如何使用Nginx实现网关服务？1.安装Nginx2.配置Nginx3.启动Nginx4.测试网关服务总结代码编写三、使用Gateway实现网关服务什么是网

  2. 【Java 基础篇】Java后台线程和守护线程详解

    在Java多线程编程中，有两种特殊类型的线程：后台线程（DaemonThread）和守护线程（DaemonThread）。这两种线程在一些特定的场景下非常有用，但也需要谨慎使用。本文将详细介绍后台线程和守护线程的概念、特性、用法，以及注意事项。什么是后台线程和守护线程？后台线程（DaemonThread）后台线程是一种

  3. 数组和指针笔试题解析之【指针】

    目录🍂笔试题1：🍂笔试题2：🍂笔试题3：🍂笔试题4：🍂笔试题5：🍂笔试题6：🍂笔试题7：🍂笔试题8：🍂笔试题1：intmain(){inta[5]={1,2,3,4,5};int*ptr=(int*)(&a+1);printf("%d,%d",*(a+1),*(ptr-1));return0;}运行结

  4. CTF 全讲解：[SWPUCTF 2022 新生赛]webdog1__start

    文章目录参考环境题目learning.php信息收集isset()GET请求查询字符串全局变量$_GETMD5绕过MD5韧性脆弱性md5()弱比较隐式类型转换字符串连接数学运算布尔判断相等运算符MD5绕过科学计数法前缀0E与0e绕过start.php信息收集头部检索f14g.php信息收集探秘F1l1l1l1l1lag

  5. 【NLP入门教程】二十三、循环神经网络（RNN）| 小白专场

    本教程旨在为初学者提供一份全面而系统的NLP入门指南，探索NLP的核心概念、方法和技术。无论你是计算机科学的新手，还是对自然语言处理领域感兴趣的研究人员，本教程都将为你提供所需的基础知识和实用技能。专栏地址：📕【NLP入门教程】当谈到自然语言处理（NLP）时，深度学习已经成为一种强大而广泛应用的技术。深度学习是一种机

  6. Redis从入门到精通（二：数据类型）

    数据存储类型介绍Redis数据类型（5种常用）stringhashlistsetsorted_set/zset（应用性较低）redis数据存储格式redis自身是一个Map，其中所有的数据都是采用key:value的形式存储数据类型指的是存储的数据的类型，也就是value部分的类型，key部分永远都是字符串string

  7. 汇编基础(2) -- ARM64

    简介ARM架构中，ARM64（也称为AArch64）是一种64位处理器架构，它是ARMv8指令集的一部分。与之前的32位ARM架构相比，ARM64提供了更大的寄存器容量、更广阔的地址空间和更高的计算能力。64位版本的指令集和32位版本的指令集有一些区别，这些区别主要涉及到以下几个方面：寄存器：ARM64架构提供了31个

  8. [ 云计算 | AWS ] IAM 详解以及如何在 AWS 中直接创建 IAM 账号

    本章节主要介绍IAM相关知识点以及在AWS控制台窗口如何创建一台AmazonIAM账号。文章目录一、什么是IAM？二、IAM常见种类2.1EIAM2.2CIAM2.3云厂商IAM三、账号（Account）三户模型四、认证（Authentication）4.1认证场景4.2认证方式4.3认证协议4.4认证源五、授权（Au

  9. 自然语言处理之北大词性标注集

    最近在做人工智能相关技术的学习，在自然语言处理这里发现了词标注标准，顺带分享给小伙伴们词性是词汇基本的语法属性，通常也称为词类。词性标准是在给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程。例如名词、动词、形容词等。中文领域尚无统一的标注标准，较为主流的为北大的词性标注集和宾州词性标注集两大类。下面分享北大的