Python HTTP客户端

2025年1月5日 | 阅读6分钟

HTTP 客户端简介

超文本传输协议 (HTTP) 是互联网上数据通信的基础。它是一种分布式、协作式、超媒体数据系统的应用约定。HTTP 是用于在服务器和程序之间传输超文本请求和数据的约定。

在 Python 的上下文中，HTTP 客户端是一种允许您向 Web 服务器发送 HTTP 请求并获取响应的工具。Python 的灵活性和广泛的库支持使其成为实现 HTTP 客户端的绝佳选择。最受欢迎的此类库之一是 requests。它是一个简单而丰富的 Python HTTP 库，旨在使 HTTP 请求更简单、更易于使用。

要安装 requests 库，请运行

使用 requests 库

requests 库简化了 HTTP 请求的创建。让我们从导入库开始

发送 HTTP 请求

GET 请求

GET 请求从指定资源检索数据。

reaction = requests.get('https://jsonplaceholder.typicode.com/posts/1')
print(response.status_code)
print(response.json())

输出

200
{
    "userId": 1,
    "id": 1,
    "title": "sunt aut facere repellat opportune occaecati excepturi optio reprehenderit",
    "body": "quia et suscipit\nsuscipit..."
}

POST 请求

POST 请求将数据发送到服务器以创建资源。

data = {
    'title': 'foo',
    'body': 'bar',
    'userId': 1
}
reaction = requests.post('https://jsonplaceholder.typicode.com/posts', json=data)
print(response.status_code)
print(response.json())

输出

201
{
    "title": "foo",
    "body": "bar",
    "userId": 1,
    "id": 101
}

PUT 请求

PUT 请求更新资源。

data = {
    'id': 1,
    'title': 'foo',
    'body': 'bar',
    'userId': 1
}
reaction = requests.put('https://jsonplaceholder.typicode.com/posts/1', json=data)
print(response.status_code)
print(response.json())

输出

200
{
    "id": 1,
    "title": "foo",
    "body": "bar",
    "userId": 1
}

DELETE 请求

DELETE 请求删除资源。

reaction = requests.delete('https://jsonplaceholder.typicode.com/posts/1')
print(response.status_code)

输出

处理 HTTP 响应

状态码

HTTP 状态码指示请求的结果。

reaction = requests.get('https://jsonplaceholder.typicode.com/posts/1')
print(response.status_code)

响应内容

您可以以多种格式访问响应内容。

reaction = requests.get('https://jsonplaceholder.typicode.com/posts/1')
print(response.text) # Crude text
print(response.json()) # JSON content

标题

响应头包含关于响应的元数据。

reaction = requests.get('https://jsonplaceholder.typicode.com/posts/1')
print(response.headers)

输出

{
    'Content-Type': 'application/json; charset=utf-8',
    'Content-Length': '292',
    'Association': 'keep-alive',
    ...
}

处理标头

标头为客户端和服务器提供额外信息。

发送标头

headers = {
    'Client Specialist': 'my-application/0.0.1'
}
reaction = requests.get('https://jsonplaceholder.typicode.com/posts/1', headers=headers)
print(response.status_code)

接收标头

response = requests.get('https://jsonplaceholder.typicode.com/posts/1')
print(response.headers['Content-Type'])

输出

application/json; charset=utf-8

处理 Cookie

Cookie 用于存储有状态信息。

发送 Cookie

cookies = {
    'session_id': '123456789'
}
reaction = requests.get('https://httpbin.org/cookies', cookies=cookies)
print(response.json())

输出

{
    "cookies": {
        "session_id": "123456789"
    }
}

获取 Cookie

reaction = requests.get('https://httpbin.org/cookies/set/session_id/123456789')
print(response.cookies)

输出

<RequestsCookieJar[Cookie(version=0, name='session_id', value='123456789', port=None, port_specified=False, domain='httpbin.org', domain_specified=False, domain_initial_dot=False, path='/', path_specified=True, secure=False, expires=None, discard=True, comment=None, comment_url=None, rest={}, rfc2109=False)]

使用会话

会话允许您在请求之间持久化某些参数。

meeting = requests.Session()
# Set meeting level headers
session.headers.update({'User-Specialist': 'my-application/0.0.1'})
# First request
reaction = session.get('https://jsonplaceholder.typicode.com/posts/1')
print(response.status_code)
# Second request, meeting will reuse similar headers
reaction = session.get('https://jsonplaceholder.typicode.com/posts/2')
print(response.status_code)

错误处理

处理 HTTP 错误

response = requests.get('https://jsonplaceholder.typicode.com/invalid-endpoint')
try:
    response.raise_for_status()
but requests.exceptions.HTTPError as blunder:
    print(f'HTTP mistake happened: {err}')
but Exemption as blunder:
    print(f'Other blunder happened: {err}')
else:
    print('Success!')

输出

HTTP mistake happened: 404 Client Blunder: Not Found for url: https://jsonplaceholder.typicode.com/invalid-endpoint

异常处理

try:
    reaction = requests.get('https://httpbin.org/delay/10', timeout=2)
but requests.exceptions.Timeout as blunder:
    print(f'Request planned out: {err}')

输出

Demand planned out: HTTPConnectionPool(host='httpbin.org', port=80): Read coordinated out. (peruse timeout=2)

高级用法

流式传输请求

流式传输大请求对于下载大文件很有用。

reaction = requests.get('https://httpbin.org/stream/20', stream=True)
for line in response.iter_lines():
    if line:
        print(line.decode('utf-8'))

输出

{
  "id": 0,
  ...
}
...

认证

requests 库支持多种认证方法。

from requests.auth import HTTPBasicAuth
reaction = requests.get('https://httpbin.org/essential auth/client/pass', auth=HTTPBasicAuth('user', 'pass'))
print(response.status_code)
print(response.json())

输出

200
{
    "verified": valid,
    "client": "client"
}

代理

使用代理可能有助于网页抓取或访问受限站点。

Proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
reaction = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())

SSL 验证

不建议禁用 SSL 验证，但对于测试是可行的。

reaction = requests.get('https://expired.badssl.com/', verify=False)
print(response.status_code)

输出

Python 中 HTTP 客户端的应用

Python 中的 HTTP 客户端在各个领域有多种用途。以下是一些关键应用

网页抓取
1. 网络抓取涉及从网站中提取数据。
2. Python HTTP 客户端可以向网页发送请求并解析响应，以收集用于分析、自动化或研究目的的数据。
3. 这通常用于市场研究、数据新闻和竞争分析等领域。
与 API 交互
1. API（应用程序编程接口）支持不同软件系统之间的通信。
2. HTTP 客户端用于向这些 API 发送请求并处理响应，从而促进数据检索、数据提交和远程操作等任务。
3. 这对于集成服务至关重要，例如社交媒体平台、天气服务和金融信息提供商。
自动化 Web 任务
1. HTTP 客户端可以自动化重复的 Web 任务，例如表单提交、登录操作和数据输入。
2. 这对于需要与 Web 应用程序交互的工作流很有用，可以减少手动工作量并提高效率。
测试 Web 应用程序
1. HTTP 客户端用于模拟用户与 Web 应用程序的交互，使开发人员能够测试应用程序的功能、性能和安全性。
2. 这对于确保 Web 应用程序在各种条件下按预期运行至关重要。
监控网站和服务
1. HTTP 客户端可用于监控网站和服务的可用性和性能。
2. 通过定期发送请求和分析响应，开发人员可以识别停机时间、测量响应时间并确保其服务的可靠性。
数据集成
1. HTTP 客户端有助于将来自各种在线源的信息集成到一个系统中。
2. 这在企业环境中尤其有用，因为需要聚合和分析来自不同服务的信息。
聊天机器人和虚拟助手
1. HTTP 客户端使聊天机器人和语音助手能够与各种 Web 服务进行交互，为用户提供信息并代表他们执行操作。
2. 这些交互通常涉及向 API 发送 HTTP 请求以检索数据或执行命令。
物联网 (IoT)
1. 在 IoT 应用中，设备经常使用 HTTP 与中央服务器或云服务进行通信。
2. Python 中的 HTTP 客户端可用于将来自 IoT 设备的数据发送到这些服务，从而实现远程监控和控制。

使用 Python 的 HTTP 客户端的优点

在 Python 中使用 HTTP 客户端具有许多优势，使其成为处理在线应用程序和服务的开发人员的首选。以下是一些主要优势

简洁易用
1. Python 的 requests 库设计简单易用，具有简洁直观的 API。
2. 这允许开发人员用最少的代码快速发送 HTTP 请求并处理响应。
强大灵活
1. Python 的 HTTP 客户端，特别是 requests 库，强大而灵活。
2. 它们支持各种 HTTP 方法（GET、POST、PUT、DELETE）、处理会话、管理 Cookie 并支持身份验证，使其适用于各种任务。
丰富的生态系统
1. Python 拥有丰富的库生态系统，可以补充 HTTP 客户端。
2. 例如，BeautifulSoup 和 lxml 用于解析 HTML，JSON 用于处理 JSON 数据，pandas 用于数据处理。
3. 这种集成增强了构建全面解决方案的能力。
跨平台兼容性
1. Python 是跨平台的，这意味着用 Python 编写的 HTTP 客户端可以在包括 Windows、macOS 和 Linux 在内的各种操作系统上运行。
2. 这确保了 Web 应用程序和服务的开发和部署可以在不同的环境中进行，而不会出现兼容性问题。
稳健的错误处理
1. requests 库提供了强大的错误处理功能，允许开发人员轻松管理异常和处理 HTTP 错误。
2. 这有助于构建能够处理网络问题和意外响应的健壮应用程序。
全面的文档和社区支持
1. Python 的 requests 库文档齐全，提供全面的指南和示例。
2. 此外，它拥有庞大的开发者社区，这意味着通过论坛、教程和开源贡献可以获得广泛的社区支持。
高效的会话管理
1. Python 中的 HTTP 客户端可以管理会话，从而实现与 Web 服务的持久连接和有状态交互。
2. 这对于在多个请求中维护 Cookie、标头和其他会话特定信息很有用。

结论

Python 的 HTTP 客户端，特别是 requests 库，提供了一种简单、强大且灵活的方式来与 Web 服务和 API 进行交互。它们的易用性、全面的功能和集成能力使其非常适合网页抓取、API 交互、自动化和测试等任务。凭借强大的错误处理、对现代 Web 标准的支持以及详尽的文档，Python 的 HTTP 客户端是构建高效、可靠且灵活的在线应用程序的必备工具。无论是为了简单的数据检索还是复杂的服务集成，它们都能让开发人员在当今时代构建可扩展的解决方案。

下一主题Python math cmp 方法

Python HTTP客户端

HTTP 客户端简介

发送 HTTP 请求

处理 HTTP 响应

处理标头

处理 Cookie

错误处理

高级用法

认证

代理

SSL 验证

Python 中 HTTP 客户端的应用

使用 Python 的 HTTP 客户端的优点

结论

联系信息

关注我们

教程

面试题

在线编译器

Python

Java

.Net Framework

AI, ML and Data Science

Cloud Technology

B.Tech and MCA

Web Technology

PHP

Software Testing

Technical Interview

Java Interview

Python

Web Interview

Database Interview

B.Tech / MCA

Important Interview

Software Testing Interview

Company Interviews

Online Compilers

Multiple Choice Questions

其他

Python HTTP客户端

HTTP 客户端简介

发送 HTTP 请求

处理 HTTP 响应

处理标头

处理 Cookie

错误处理

高级用法

认证

代理

SSL 验证

Python 中 HTTP 客户端的应用

使用 Python 的 HTTP 客户端的优点

结论

相关帖子

使用Python的四阶Runge Kutta法求解微分方程

计算完全二叉树的节点数

使用Python Pandas中的[ ]、loc和iloc按名称或索引选择行和列

流形学习

Python中的函数式编程

如何使用Python创建Zip文件

Python项目 - 从初学者到高级

Python中的2D峰值查找算法

比较两个Pandas DataFrame的3种简单方法

如何在Matplotlib中绘制对数坐标轴

订阅 Tpoint Tech

联系信息

关注我们

教程

面试题

在线编译器