Python中的并发 - 进程池

2025年1月5日 | 阅读 5 分钟

编程中的一个关键思想是并发，尤其是在当今软件开发中，可伸缩性和性能至关重要。Python 中多任务并发运行的能力提高了程序效率，尤其适用于涉及 CPU 密集型或 I/O 密集型操作的任务。

进程池是 Python 实现并发的一种方法。它通过将任务分配给多个进程来实现并行化并利用多个 CPU 核心。

Python 中的进程池

Python 因其 `multiprocessing` 模块而成为通过进程池实现并发的绝佳选择，该模块使创建和管理进程更加容易。以下是其工作原理的详细说明：

1. 导入必要的模块

代码

2. 创建由每个进程执行的函数

代码

def task(task_id):
    print(f"Executing task {task_id}")

3. 创建进程池

代码

if __name__ == "__main__":
    # Number of processes in the pool
    num_processes = multiprocessing.cpu_count()
    
    # Create a pool of processes
    with multiprocessing.Pool(num_processes) as pool:
        # Execute tasks in the parallel
        pool.map(task, range(10))

输出

Executing task 0...
Executing task 1...
Executing task 2...
Executing task 3...
Executing task 4...
Executing task 5...
Executing task 6...
Executing task 7...
Executing task 8...
Executing task 9...

说明

首先导入 `multiprocessing` 模块，它提供了与进程交互的类和函数。
接下来，我们定义 `task()` 函数，该函数表示每个进程将执行的任务。在此示例中，`task()` 仅输出任务 ID。
在处理多进程的主块中创建进程池。`Pool` 类管理着一个工作进程池。通常，我们会根据可用的 CPU 核心总数来确定在池中创建的进程数量。
使用进程池对象的 `map()` 方法将作业分配给池中的进程。`map()` 方法迭代地、并行地将 `task()` 函数应用于可迭代对象（在本例中为 `range(10)`）的每个元素，利用池中可用的进程。

使用进程池的优点

并行执行：通过利用多个 CPU 核心，任务可以同时执行，从而提高性能。
自动管理：`multiprocessing` 模块的 `Pool` 类自动处理进程的创建和终止，从而简化了进程管理。
可伸缩性：随着 CPU 核心数量的增加，进程池也会相应扩展，从而能够高效地利用资源。
隔离：每个进程独立运行，以保持分离并防止与其他任务发生冲突。

高级用法和注意事项

1. 任务依赖管理

在许多场景中，任务依赖，即某些任务必须先完成才能开始其他任务，是很常见的。尽管进程池的 `map()` 函数独立执行任务，但可以通过结合 `get()` 和 `apply_async()` 方法来管理任务依赖。

代码

import multiprocessing
import time
def task(task_number):
    time.sleep(1)  # Simulate some computation
    return f"Result of task {task_number}"
if __name__ == "__main__":
    # Number of processes in the pool
    num_processes = multiprocessing.cpu_count()
    # Create a pool of processes
    with multiprocessing.Pool(num_processes) as pool:
        results = []
        for i in range(10):
            result = pool.apply_async(task, (i,))
            results.append(result)
        # Gather results
        for result in results:
            print(result.get())

输出

Result of task 0
Result of task 1
Result of task 2
Result of task 3
Result of task 4
Result of task 5
Result of task 6
Result of task 7
Result of task 8
Result of task 9

2. 进程间数据共享

默认情况下，进程池中的每个进程都有自己的内存空间，进程之间不共享数据。但是，您可以使用共享内存对象或 `multiprocessing.Queue` 等通信机制来安全地在进程之间共享数据。

代码

import multiprocessing
def task(queue):
    queue.put("Task result")
if __name__ == "__main__":
    queue = multiprocessing.Queue()
    with multiprocessing.Pool() as pool:
        pool.apply_async(task, (queue,))
        print(queue.get())
import multiprocessing
import time

def task(task_number):
    time.sleep(2)  # Simulate a task that takes longer than the timeout
    return f"Result of task {task_number}"

输出

Task result

说明

在此输出中，使用了 `Queue.get()` 从队列中检索“任务结果”。这说明了 `multiprocessing` 队列如何促进父进程（主脚本）和子进程（执行任务函数）之间的通信。

3. 处理异常

使用多个进程时，处理异常变得至关重要。`apply_async()` 返回一个 `AsyncResult` 对象，您可以使用该对象来处理异常并监视任务的进度。

代码

if __name__ == "__main__":
    # Number of processes in the pool
    num_processes = multiprocessing.cpu_count()
    # Create a pool of processes
    with multiprocessing.Pool(num_processes) as pool:
        results = []
        for i in range(10):
            result = pool.apply_async(task, (i,))
            results.append(result)
        # Gather results with timeout
        for result in results:
            try:
                print(result.get(timeout=1))
            except multiprocessing.TimeoutError:
                print("Task execution timed out")
            except Exception as e:
                print(f"An error occurred: {e}")

输出

Task execution timed out
Task execution timed out
Task execution timed out
Task execution timed out
Task execution timed out
Task execution timed out
Task execution timed out
Task execution timed out
Task execution timed out
Task execution timed out

说明

在此输出中，任务的执行时间超过了指定的 1 秒超时时间，因此捕获了 `multiprocessing.TimeoutError`，并为每个任务打印了“任务执行超时”。

结论

总之，使用 Python `multiprocessing` 模块的进程池是实现并行和并发的一种可靠方法，可提高应用程序的速度和可伸缩性。通过将任务分配给多个进程，开发人员可以充分利用现代硬件架构的计算能力并有效利用可用的 CPU 核心。然而，必须仔细考虑任务依赖、数据共享、异常处理和资源管理等变量才能成功实现。通过全面了解这些因素和高级用法模式，开发人员可以创建高度有效、响应迅速且可伸缩的应用程序，能够满足现代计算环境的需求。通过利用进程池的并发性，Python 程序员可以充分利用并行执行，从而能够创建高性能的软件解决方案。

下一主题Python 进程池并发

Python中的并发 - 进程池

Python 中的进程池

1. 导入必要的模块

2. 创建由每个进程执行的函数

3. 创建进程池

使用进程池的优点

高级用法和注意事项

1. 任务依赖管理

2. 进程间数据共享

3. 处理异常

结论

联系信息

关注我们

教程

面试题

在线编译器

Python

Java

.Net Framework

AI, ML and Data Science

Cloud Technology

B.Tech and MCA

Web Technology

PHP

Software Testing

Technical Interview

Java Interview

Python

Web Interview

Database Interview

B.Tech / MCA

Important Interview

Software Testing Interview

Company Interviews

Online Compilers

Multiple Choice Questions

其他

Python中的并发 - 进程池

Python 中的进程池

1. 导入必要的模块

2. 创建由每个进程执行的函数

3. 创建进程池

使用进程池的优点

高级用法和注意事项

1. 任务依赖管理

2. 进程间数据共享

3. 处理异常

结论

相关帖子

Python中最小化切割所需时间问题

理解TF-IDF（词频-逆文档频率）使用Python

使用Selenium和Beautiful Soup在Python中抓取LinkedIn

Python中检测无向图中的循环

使用OpenCV Python进行手势检测亮度控制

如何在Python中加密和解密字符串

使用OpenCV在Python中保存视频

Python Sphinx

如何使用Selenium WebDriver在Python中获取文本

如何创建.pyc文件在Python

订阅 Tpoint Tech

联系信息

关注我们

教程

面试题

在线编译器