Python 代码优化技术

2025年8月13日 | 阅读 7 分钟

Python 代码优化的目标是通过改进一般的编码习惯来提高 Python 程序的性能。这些技巧包括使用内置函数、避免重复任务、采用局部变量类型以及选择最合适的数据结构。综合运用这些方法可以帮助提高代码的执行速度和整体效率。

什么是优化？

代码优化是指以某种方式优化代码，使其运行得更快。仅仅让代码能工作是不够的，因为庞大且低效的代码可能会导致应用程序运行缓慢，或者浪费更多开发时间，甚至因为损失而花费用户的金钱。

Python 代码优化解决了各种性能问题，包括降低执行时间、内存使用量，或提高简洁性，同时获得正确的结果。这些都指向同一件事，但要写出更聪明、更快速、更节省资源的的代码。

为什么我们需要优化？

虽然 Python 非常简洁易读，但有时也会出现性能问题。在某些情况下，需要进行代码优化来提高速度、减少内存消耗，并确保性能平稳运行。让我们考虑一些常见的性能瓶颈，这些瓶颈使得优化变得至关重要。

CPU 密集型操作

CPU 密集型任务是指那些包含繁重计算、复杂数学方程或需要大量数据处理的工作。与 C 或 Java 等编译型语言相比，运行 Python 程序通常会慢一些，因为它们是解释执行的。

内存使用

Python 在内存管理方面效率较低，这可能导致程序在处理大量数据或执行耗时任务时消耗过多内存。这可能会导致操作缓慢，甚至应用程序崩溃。

I/O 密集型操作

最耗时 I/O 操作包括文件读写、网络请求或数据库访问，这些操作会显著影响代码性能，尤其是在没有针对延迟或批处理进行优化时。

低效的数据结构

错误的数据结构也会导致不必要的开销，例如，本应使用集合或字典的地方却使用了列表（效率会更低）。正确选择数据结构对于提高速度和效率至关重要。

低效的算法

使用时间复杂度高的算法（例如 O(n) 及以上，嵌套循环或未优化的排序）会极大地减慢执行速度。在处理大量数据或常规任务时，精简算法是一个非常重要的方面。

不佳的字符串操作实现

由于 Python 字符串是不可变的，在循环中进行大量字符串拼接会导致创建大量中间字符串，这会消耗更多内存并降低性能。

过度使用全局变量

访问全局变量比访问局部变量慢，因为 Python 需要扫描全局命名空间。过度使用全局变量会降低性能。

缺乏并行性

CPython 使用其全局解释器锁 (GIL)，它通过不允许纯粹的多线程来限制并行处理。没有多处理器或异步技术，并发任务可能会损害性能。

忽略内置函数

Python 的内置函数和标准库已经进行了优化。如果我们不使用它们而使用自定义实现编写代码，那么代码会更慢、效率更低。

糟糕的第三方库

依赖未优化好的第三方库可能会降低性能。应该选择干净、快速且适合使用的库。

Python 优化技术

通过优化 Python 代码，可以实现更好的性能、更少的资源使用和更好的可扩展性。以下是一些好的策略：

变量打包

变量打包通过以更小的格式声明相关数据来减少内存使用，从而增强 CPU 缓存的范围并减少获取信息所需的时间。

import struct

# Pack two integers into binary format
packed_data = struct.pack('ii', 10, 20)

# Unpack the binary data
a, b = struct.unpack('ii', packed_data)

存储与内存

了解内存（RAM，快速，易失性）和磁盘（慢速，持久性）之间的区别非常重要。为了提高性能，应减少 I/O 操作，并将常用数据集保留在内存中。

import mmap

# Memory-mapping a file
with open("data.txt", "r+b") as f:
    mmapped_file = mmap.mmap(f.fileno(), 0)
    print(mmapped_file.readline())
    mmapped_file.close()

定长或变长变量

定长变量（至少是需要频繁访问的）占用相邻的内存空间，因此可以更可预测、更快速地访问。动态分配（如变长结构所需）会产生开销。

import array

fixed_array = array.array('i', [1, 2, 3, 4, 5])  # Fixed-length
dynamic_list = [1, 2, 3, 4, 5]                  # Variable-length

私有 vs. 公有函数

内部（私有）函数以高性能为目标进行调整，而公共函数则以高可用性为目标进行调整，其中包含更多检查。

def _private_function(data):
    return data ** 2  # Lightweight, internal use

def public_function(data):
    if isinstance(data, int):
        return _private_function(data)
    raise ValueError("Input must be an integer")

函数修饰器（装饰器）

像 `@lru_cache` 这样的装饰器可以在不更改函数本身逻辑的情况下，为函数添加额外的行为（例如缓存）。

from functools import lru_cache

@lru_cache(maxsize=100)
def compute_heavy_function(x):
    return x ** x  # Cached result improves performance

使用优化的库

像 NumPy 或 SciPy 这样的库是用 C 语言编写的，它们支持高效地执行繁重的计算。

import numpy as np

matrix_a = np.random.rand(1000, 1000)
matrix_b = np.random.rand(1000, 1000)
result = np.dot(matrix_a, matrix_b)  # Efficient matrix multiplication

短路条件判断

短路评估可以提前中断条件判断的评估，从而节省计算时间。设置结构，使其在最短时间内失败或成功。

def complex_condition(x, y):
    return x != 0 and y / x > 2  # Avoids division by zero

清理内存

回收当前不需要的内存可以避免在长期运行的应用程序中出现内存膨胀。在必要时，使用 `del` 或 `gc.collect()`。

import gc

large_data = [i for i in range(1000000)]
del large_data
gc.collect()  # Trigger garbage collection

简短的错误消息

简短的错误消息可以减少磁盘上的日志空间或带宽占用，在内存或带宽有限的情况下很有用。

try:
    result = 10 / 0
except ZeroDivisionError:
    print("Err: Div/0")  # Compact error reporting

优化循环

循环可以通过向量化或通过降低其复杂性和迭代次数来优化。

import numpy as np

array = np.array([1, 2, 3, 4, 5])
result = array * 2  # Vectorised operation is faster than loops

优化技术示例

示例 1：使用内置函数和库

示例

import time 

# Slower (Without map())
start = time.perf_counter()  
s = 'tpt'
U = [] 
for c in s: 
    U.append(c.upper()) 
print(U) 
elapsed = time.perf_counter() 
e1 = elapsed - start 
print("Time spent in function is: ", e1) 

# Faster (Uses builtin function map())
s = 'tpt'
start = time.perf_counter()  
U = map(str.upper, s)  
print(U) 
elapsed = time.perf_counter() 
e2 = elapsed - start 
print("Time spent in builtin function is: ", e2)

输出

['T', 'P', 'T']
Time spent in function is:  0.003006199956871569
<map object at 0x0000022B516273D0>
Time spent in builtin function is:  0.000219999928958714

示例 2：使用键进行排序

示例

a = [1, -3, 6, 11, 5]
a.sort()
print (a)

s = 'tpt'
# Use sorted() if you don't want to sort in-place:
s = sorted(s)
print (s)

输出

[-3, 1, 5, 6, 11]
['p', 't', 't']

示例 3：优化循环

示例

n = [1, 2, 3, 4, 5]
s = []
for num in n:
    s.append(num ** 2)  # Explicit looping and appending
print("Inefficient:", s)

# Optimized Approach
s = [num ** 2 for num in n]  # Faster and more concise
print("Optimized:", s)

输出

Inefficient: [1, 4, 9, 16, 25]
Optimized: [1, 4, 9, 16, 25]

示例 4：尽可能使用局部变量

示例

# run faster
class Test:
    def func(self,x):
        print (x+x)

# Declaring a variable that assigns a class method object
Obj = Test()
mytest = Obj.func # Declaring local variable
n = 2
for i in range(n):
    mytest(i) # faster than Obj.func(i)

输出

0
2

Python 在实际数值优化中的应用

数值优化一直是处理复杂问题和推动各个领域智能决策能力的关键要素。它是大多数改进应用的核心，因为它有助于在给定约束条件下确定最优解决方案。

以下是数值优化适用的几个重点领域列表：

机器学习

机器学习涉及数值优化。模型的训练是通过参数优化过程完成的，目标是最小化一个量化模型预测所需输出的拟合优度的损失函数。通过梯度下降等方法，通常可以实现模型调整以获得更高的准确性。

运筹学

通过优化技术做出战略决策，以提高运营效率。由于问题的目标是在既定约束条件下进行优化，因此问题的解决方案包括供应链管理、生产调度和资源分配。

融资

在金融领域，数值优化被用于投资组合优化。它有助于在资产配置方面做出最佳决策，从而确保最高可能的回报并限制风险，使投资者和金融分析师能够做出明智的决策。

工程设计

优化是工程师在设计系统以在最低成本下以特定方式运行时使用的工具。无论是设计高效的桥梁结构、优化飞机的空气动力学、简化制造过程和能源过程，优化都有助于实现最佳工程解决方案。

结论

总而言之，所描述的优化技术为编写高性能、高效率的 Python 代码奠定了坚实的基础。只需避免使用全局变量、利用内置函数以及采用数据结构（包括列表推导式和生成器表达式），您就可以在显著提高速度和减少内存使用方面取得很大成就。

下一主题Python-try-except

Python 代码优化技术

什么是优化？

为什么我们需要优化？

Python 优化技术

优化技术示例

示例

示例

示例

示例

Python 在实际数值优化中的应用

结论

联系信息

关注我们

教程

面试题

在线编译器

Python

Java

.Net Framework

AI, ML and Data Science

Cloud Technology

B.Tech and MCA

Web Technology

PHP

Software Testing

Technical Interview

Java Interview

Python

Web Interview

Database Interview

B.Tech / MCA

Important Interview

Software Testing Interview

Company Interviews

Online Compilers

Multiple Choice Questions

其他

Python 代码优化技术

什么是优化？

为什么我们需要优化？

Python 优化技术

优化技术示例

示例

示例

示例

示例

Python 在实际数值优化中的应用

结论

相关帖子

将Python应用程序转换为APK

使用Python Pandas和NumPy创建条件列的方法

Python中追加CSV文件

Python中的多行语句

如何下载Python旧版本并安装

理解Python 3中的布尔逻辑

使用Python在计算机视觉中为图像添加水印

Python中的高斯拟合

Python中合并两个文件

使用Python进行抄袭检测

订阅 Tpoint Tech

联系信息

关注我们

教程

面试题

在线编译器