8个不应错过的Python高级日志记录功能

2025 年 1 月 4 日 | 阅读 6 分钟

在软件开发领域，日志记录常常是一个不为人知的英雄。它可以在快速解决问题和漫长而令人沮丧的故障排除之间产生影响。虽然许多 Python 工程师都熟悉基本的日志记录实践，但该语言的 logging 模块提供了大量高级功能，可以显著提高您应用程序的可观测性、性能监控和错误跟踪能力。

Python 的 logging 模块自 2.3 版本引入以来，已经发展成为一个强大的工具，远远超出了简单的 print 语句。它提供了一个灵活的框架来从 Python 程序生成日志消息。这些高级功能允许工程师创建复杂的日志记录系统，能够适应从小型脚本到大型分布式系统的复杂应用程序的需求。

1. 自定义日志级别

Python 的 logging 模块附带预定义的日志级别：DEBUG、INFO、WARNING、ERROR 和 CRITICAL。但是，您可以创建自定义日志级别以满足您的需求。

如何创建自定义日志级别

要创建自定义日志级别，您需要

定义一个新的级别编号
将级别名称添加到 logging 模块
为新级别创建一个方法

以下是一个示例

 
import logging
# Characterize custom log level
VERBOSE = 15
logging.addLevelName(VERBOSE, "VERBOSE")
# Make a strategy for the new level
def verbose(self, message, *args, **kwargs):
    if self.isEnabledFor(VERBOSE):
        self._log(VERBOSE, message, args, **kwargs)
# Add the technique to the Lumberjack class
logging.Logger.verbose = verbose
# Utilize the new log level
logger = logging.getLogger(__name__)
logger.setLevel(VERBOSE)
logger.verbose("This is a verbose message")   

自定义日志级别允许您调整日志记录策略，从而更精细地控制日志输出。

2. 过滤器类

Python 日志记录中的过滤器提供了一种处理超出其日志级别限制的日志记录的方法。您可以使用过滤器添加上下文信息、修改日志记录，甚至阻止某些日志被发出。

创建自定义过滤器

以下是一个自定义过滤器示例，它将当前用户添加到每个日志记录中

 
import logging
class UserFilter(logging.Filter):
    def __init__(self, user):
        self.user = user

    def filter(self, record):
        record.user = self.user
        return True
logger = logging.getLogger(__name__)
logger.addFilter(UserFilter("admin"))
logger.info("User action")   #This log will include the user information   

过滤器是添加日志上下文或实现复杂日志记录逻辑的宝贵工具。

3. 日志记录适配器

日志记录适配器允许您向日志消息添加相关信息，而无需更改基础记录器。当您需要在应用程序的特定部分添加额外信息时，它们特别有用。

使用 LoggingAdapter

这是您可以使用 LoggingAdapter 的方式

 
import logging
from logging import LoggerAdapter
class CustomAdapter(LoggerAdapter):
    def process(self, msg, kwargs):
        return '[%s] %s' % (self.extra['key'], msg), kwargs
logger = logging.getLogger(__name__)
adapter = CustomAdapter(logger, {'key': 'value'}
adapter.info("This is an adapted message")   

日志记录适配器提供了一种干净的方式来添加日志上下文，而不会弄乱您的主要代码。

4. 轮换文件处理器和定时轮换文件处理器

随着应用程序长时间运行，日志文件会急剧增长。Python 的 logging 模块提供了可以自动管理日志文件轮换的处理器。

RotatingFileHandler

此处理器根据文件大小轮换日志文件

 
import logging
from logging.handlers import RotatingFileHandler
logger = logging.getLogger(__name__)
handler = RotatingFileHandler("app.log", maxBytes=2000, backupCount=5)
logger.addHandler(handler)   

TimedRotatingFileHandler

此处理器根据时间轮换日志文件

 
import logging
from logging.handlers import TimedRotatingFileHandler
logger = logging.getLogger(__name__)
handler = TimedRotatingFileHandler("app.log", when="midnight", interval=1)
logger.addHandler(handler)   

这些处理器有助于管理日志文件的大小和组织，这对于长时间运行的应用程序至关重要。

5. 结构化日志记录

虽然传统的日志记录输出文本，但结构化日志记录提供了一种以 JSON 等结构化格式输出日志的方法。这使得日志更容易解析和分析，尤其是在使用日志管理工具时。

使用 structlog 进行结构化日志记录

'structlog' 是 Python 中一个流行的结构化日志库

 
import structlog
logger = structlog.get_logger()
logger.info("User logged in", user_id=123, ip_address="192.168.1.1")   

这将输出一个 JSON 格式的日志条目，使其更容易自动处理和分析日志。

6. 上下文日志记录

上下文日志记录允许您向日志添加在多个日志调用中持久存在的上下文。这在跟踪 Web 应用程序中的请求特定信息时特别有用。

使用 contextlib.ContextDecorator

您可以使用 Python 的 'contextlib.ContextDecorator' 来创建日志记录的上下文管理器

 
import logging
from contextlib import ContextDecorator
class log_context(ContextDecorator):
    def __init__(self, **kwargs):
        self.context = kwargs
    def __enter__(self):
        self.old_context = getattr(logging.getLogRecordFactory(), 'context', {})
        context = self.old_context.copy()
        context.update(self.context)
        logging.setLogRecordFactory(logging.makeLogRecord)
        logging.getLogRecordFactory().context = context
        return self
    def __exit__(self, *exc):
        logging.getLogRecordFactory().context = self.old_context
        return False
logger = logging.getLogger(__name__)
with log_context(user="admin"):
    logger.info("User action")  # This log will include the user context   

此方法允许您为特定代码块内的所有日志添加上下文。

7. 记录到多个目标

在许多应用程序中，您需要在同一时间记录到多个目标。例如，您可能希望将错误记录到文件并将它们通过电子邮件发送出去。

使用不同的处理器

您可以向记录器添加多个处理器来实现此目的

 
import logging
from logging.handlers import SMTPHandler
logger = logging.getLogger(__name__)
# File handler
file_handler = logging.FileHandler("app.log")
logger.addHandler(file_handler)
# Email handler
smtp_handler = SMTPHandler(
    mailhost=("smtp.example.com", 587),
    fromaddr="alerts@example.com",
    toaddrs=["admin@example.com"],
    subject="Application Alert",
)
logger.addHandler(smtp_handler)
logger.error("Critical error occurred")  # This will be logged to file and sent via email   

此设置允许您拥有一个全面的日志策略，以满足不同的需求和场景。

8. Asyncio 兼容的日志记录

随着 asyncio 在 Python 应用程序中越来越普及，拥有不阻塞事件循环的日志记录至关重要。标准 logging 模块可能会阻塞，这在 asyncio 应用程序中很危险。

使用 aiologger

'aiologger' 是一个用于 asyncio 的 Python 日志记录库

 
import asyncio
from aiologger import Logger
from aiologger.formatters.base import Formatter
from aiologger.handlers.streams import AsyncStreamHandler
async def main():
    logger = Logger(name='my_async_logger')
    handler = AsyncStreamHandler(stdout)
    formatter = Formatter('%(asctime)s - %(name)s - %(message)s')
    handler.formatter = formatter
    logger.add_handler(handler)
    await logger.info("This is an async log message")
asyncio.run(main())   

使用与 asyncio 兼容的日志记录库可确保您的日志记录不会影响异步应用程序的性能。

应用

以下是高级 Python 日志记录功能实际应用的关键点

Web 应用程序中的自定义日志级别

创建 USER_ACTION 和 PERFORMANCE 等级别
有助于跟踪特定类型的事件
有助于分析用户行为和性能指标

安全日志记录的过滤器

实现 SensitiveDataFilter
自动屏蔽密码等敏感信息
无需修改应用程序代码即可增强日志安全性

微服务架构中的日志记录适配器

使用 ServiceAdapter 添加服务特定上下文
轻松识别每个日志是由哪个服务生成的
对于分布式系统的故障排除至关重要

高流量 Web 服务器中的日志轮换

使用 TimedRotatingFileHandler
在指定的时间间隔（例如，每小时）创建新的日志文件
自动管理日志文件的大小和保留

用于分析的结构化日志记录

以 JSON 格式输出日志
更易于自动解析和分析
与日志管理工具集成良好

Web 应用程序中的上下文日志记录

将请求特定的信息添加到某个请求内的所有日志中
使用上下文管理器来管理日志上下文
提高跨多个日志条目跟踪用户活动的可视性

用于全面监控的多目标日志记录

将日志记录到文件以供永久存储
将关键错误通过电子邮件发送以立即引起注意
将日志流式传输到集中式日志记录服务以进行实时监控

异步应用程序中的 Asyncio 兼容日志记录

使用 aiologger 等库
防止日志记录阻塞事件循环
在基于 asyncio 的系统中保持应用程序性能

结论

这些高级 Python 日志记录功能提供了增强应用程序日志记录功能的宝贵工具。从自定义日志级别和过滤器到结构化和上下文日志记录，这些功能允许您创建一个强大的日志记录系统，该系统可以提供对您应用程序行为的有价值的见解。

请记住，有效的日志记录不仅仅是输出消息。它关乎创建一个系统，帮助您了解应用程序的行为、快速诊断问题并有效地维护软件。通过利用这些高级功能，您可以创建一个日志记录系统，它不仅有助于开发和故障排除，还有助于生产监控和维护。

在实施这些功能时，请记住您应用程序的特定需求。并非每项功能对每个项目都必不可少，但了解这些功能可以帮助您为特定的日志记录需求选择合适的工具。日志记录是软件开发中一个经常被忽视但至关重要的方面，尤其是在应用程序变得复杂时。通过掌握这些高级日志记录技术，您将能够更好地构建健壮、高效且易于调试的 Python 应用程序。

下一个主题Adobe opentype 字体开发包 (Python)

8个不应错过的Python高级日志记录功能

1. 自定义日志级别

2. 过滤器类

3. 日志记录适配器

4. 轮换文件处理器和定时轮换文件处理器

5. 结构化日志记录

6. 上下文日志记录

7. 记录到多个目标

8. Asyncio 兼容的日志记录

应用

结论

联系信息

关注我们

教程

面试题

在线编译器

Python

Java

.Net Framework

AI, ML and Data Science

Cloud Technology

B.Tech and MCA

Web Technology

PHP

Software Testing

Technical Interview

Java Interview

Python

Web Interview

Database Interview

B.Tech / MCA

Important Interview

Software Testing Interview

Company Interviews

Online Compilers

Multiple Choice Questions

其他

8个不应错过的Python高级日志记录功能

1. 自定义日志级别

2. 过滤器类

3. 日志记录适配器

4. 轮换文件处理器和定时轮换文件处理器

5. 结构化日志记录

6. 上下文日志记录

7. 记录到多个目标

8. Asyncio 兼容的日志记录

应用

结论

相关帖子

Python中等同于'!'运算符的是什么

NLP的Web嵌入

Python中的Oracle数据库连接

如何使用Python构建视频播放器

使用Python requests发送带有标头和主体的POST请求

Python中的名人问题

如何在Python中递归扫描目录

Python在网络安全中的应用

如何在 Python 中安装 Pandas

Python中的k近邻(kNN)算法

订阅 Tpoint Tech

联系信息

关注我们

教程

面试题

在线编译器