10 种加速 Python 代码的方法

2025年1月5日 | 阅读 4 分钟

Python 是一种高级、解释型编程语言，以其简洁性和清晰性而闻名。它支持多种编程范式，包括过程式、面向对象式和函数式编程。Python 的动态类型和自动内存管理有助于快速开发和原型设计。其庞大、现代化的库以及充满活力的第三方包生态系统使其在从 Web 开发和数据分析到人工智能和科学计算的各种应用中都具有高度灵活性。该语言的设计理念强调代码的可读性和易用性，这些都体现在“Python 之禅”中。Python 的社区驱动开发确保了持续的改进和在各行各业的广泛采用。

10 种加速 Python 代码的方法

方法 1：使用内置函数和库

Python 的内置功能和库是用 C 实现的，这使得它们比纯 Python 代码快得多。利用这些可以获得显著的性能提升。

示例

 
# Using built-in sum() function
nums = list(range(1000000))
result = sum(nums)
print(result)   

输出

499999500000

说明

sum() 函数是用 C 实现的，因此比手动循环快。

方法 2：优化算法和数据结构

为你的问题选择最合适的算法和数据结构。高效的算法和数据结构可以极大地降低代码的复杂性和执行时间。

示例

 
# Using a set for O(1) average time complexity lookups
nums = list(range(1000000))
num_set = set(nums)
print(999999 in num_set)   

输出

 
True

说明

与列表的 O(n) 查找相比，集合提供了平均 O(1) 的时间复杂度。

方法 3：避免使用全局变量

访问全局变量比访问局部变量慢。限制全局变量的使用并将参数传递给函数可以提高性能。

示例

 
def compute_sum():
    nums = list(range(1000000))
    return sum(nums)
result = compute_sum()
print(result)   

输出

499999500000

说明

在函数中使用局部变量比使用全局变量更快。

方法 4：列表推导式和生成器表达式

使用列表推导式和生成器表达式代替传统的 for 循环，以实现简洁、更快的代码执行，特别是对于大型数据集。

示例

 
# List comprehension
squares = [x**2 for x in range(10000)]
print(squares[:5])   

输出

 
[0, 1, 4, 9, 16]

说明

列表推导式比传统的 for 循环更简洁、更快。

方法 5：使用 Numpy 进行数值运算

NumPy 是一个强大的数值运算库。它提供了优化的数组计算函数，可以显著提高数学运算的速度。

示例

 
import numpy as np
arr = np.arange(1000000)
result = np.sum(arr)
print(result)   

输出

499999500000

说明

对于大型数组，NumPy 运算比纯 Python 运算更优化、更快。

方法 6：限制使用点表示法

使用点表示法（例如 `obj.Attr`）访问属性可能会因为属性查找的开销而变慢。在代码的性能关键部分尽量减少其使用。

示例

 
class MyClass:
    def __init__(self, value):
        self.value = value
obj = MyClass(10)
value = obj.value
print(value)   

输出

说明

一次性访问 `obj.value` 并将其存储在局部变量 `value` 中，比重复访问属性更快。

方法 7：使用 Cython

Cython 是 Python 的一个超集，允许你将 Python 代码编译成 C，从而提供显著的性能提升，特别是对于计算密集型任务。

示例

 
# Cython example (needs to be compiled)
def compute_sum(int[:] nums):
    cdef int total = 0
    for i in range(len(nums)):
        total += nums[i]
    return total   

说明

Cython 代码在编译后运行速度比同等的纯 Python 代码更快。

方法 8：使用并行和异步编程

利用 `multiprocessing` 或 `asyncio` 等库执行并行或异步执行，这可以加快 I/O 密集型和 CPU 密集型任务的速度。

安装 nest_asyncio 库

示例

 
import asyncio
import nest_asyncio
nest_asyncio.apply()
async def main():
    await asyncio.gather(
        asyncio.sleep(1),
        asyncio.sleep(1)
    )
    print("Both tasks are done!")
# Use asyncio.run() directly, which now works due to nest_asyncio
asyncio.run(main())   

输出

 
Both tasks are done!

说明

使用 `asyncio.gather` 可以让任务并发运行，从而加快 I/O 密集型操作的速度。

方法 9：使用即时编译 (JIT) 进行优化

PyPy 等库强制执行即时 (JIT) 编译，在运行时将 Python 代码翻译成机器代码，这可以大大提高执行速度。

示例

 
 from numba import jit
import numpy as np
@jit(nopython=True)
def compute_sum(arr):
    total = 0
    for i in range(len(arr)):
        total += arr[i]
    return total
arr = np.arange(1000000)
result = compute_sum(arr)
print(result)  

输出

499999500000

说明

Numba 中的 `jit` 装饰器将函数编译成机器码，从而加快执行速度。

方法 10：分析和基准测试你的代码

使用 `cProfile` 等性能分析工具识别代码中的瓶颈。一旦识别出来，就将优化工作集中在这些关键部分，以获得最佳的性能提升。

示例

 
import cProfile
def compute_sum():
    nums = list(range(1000000))
    return sum(nums)
cProfile.run('compute_sum()')   

输出

 
ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.037    0.037    0.046    0.046 <ipython-input-11-9321582a1d3f>:3(compute_sum)
        1    0.012    0.012    0.058    0.058 <string>:1(<module>)
        1    0.000    0.000    0.058    0.058 {built-in method builtins.exec}
        1    0.008    0.008    0.008    0.008 {built-in method builtins.sum}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

说明

使用 `cProfile` 对函数进行性能分析有助于识别需要优化的瓶颈。

下一主题更改 Python 中 pandas DataFrame 列的顺序

10 种加速 Python 代码的方法