使用 Python 和 Pandas 访问 SQLite 数据库

2025年2月28日 | 阅读 5 分钟

引言

SQLite 是一个无服务器数据库引擎，它轻量级且独立，并且在嵌入式数据库操作中得到了广泛应用。SQLite 因其直接在磁盘文件上运行的特性，相比需要专用服务器的其他数据库管理系统 (DBMS)，是需要简单、可靠且高效数据存储的应用程序的理想选择。

另一方面，灵活的编程语言 Python 以其易于理解和易于使用而闻名。它在后端开发、分析和数据处理方面非常强大。Python 的标准库中包含一个名为 `sqlite3` 的模块，它为与 SQLite 数据库交互提供了一个简单的接口。

本文将介绍 SQLite 的基础知识、它受欢迎的原因以及 Python 如何成为处理 SQLite 数据库的出色工具。了解如何使用 Python 处理 SQLite 对于创建小型桌面应用程序、移动应用程序，或仅仅是需要一种快速处理数据的方式都很有用。

使用 Pandas 和 Python 访问 SQLite 数据库的各种方法

使用 Python 的 `sqlite3` 模块
Python 的标准库包含 `sqlite3` 模块，该模块提供了一个用于处理 SQLite 数据库的简单接口。该模块允许您通过连接到 SQLite 数据库来运行 SQL 查询并获取结果。
- 简单的连接和查询处理
  处理 SQLite 数据库的第一步是使用 `sqlite3` 模块连接到数据库文件。连接后，您可以通过创建游标对象来运行 SQL 命令。
  对于数据输入、文件更新和查询执行等简单的数据库任务，此方法效果很好。这是使用 Python 与 SQLite 数据库交互的一种基本方法。

示例代码

 
import sqlite3

conn = sqlite3.connect('example.db')
cursor = conn.cursor()
cursor.execute("SELECT * FROM table_name")
results = cursor.fetchall()
conn.close()   

将 SQLite 表直接导入 Pandas 的 DataFrame
Pandas 是一个强大的 Python 数据分析工具包，它直接支持使用 SQLite 数据库。DataFrame 是高度灵活的数据结构，非常适合修改数据和分析。Pandas 可以将 MySQL 数据库中的数据读取到 DataFrame 中。
- 使用 `pandas.read_sql_query()`
  借助此函数，您可以运行 SQL 查询，然后将结果直接加载到 Pandas DataFrame 中。当您需要处理特定的数据库子集或使用 Python 进行分析和可视化时，这特别有用。

示例代码

 
import sqlite3
import pandas as pd
conn = sqlite3.connect('example.db')
df = pd.read_sql_query("SELECT * FROM table_name", conn)
conn.close()   

使用 `pandas.read_sql_table()`
可以使用此方法将 SQLite 数据库中的整个表加载到 Pandas DataFrame 中。处理 Pandas 环境中的所有数据时，此方法非常有用。

示例代码

 
import sqlite3
import pandas as pd
conn = sqlite3.connect('example.db')
df = pd.read_sql_table('table_name', conn)
conn.close()   

从 Pandas DataFrame 添加数据到 SQLite
Pandas 不仅允许您从 SQLite 数据库读取数据，还可以创建或将数据上传到 SQLite 数据库。当您希望将 Pandas DataFrame 中的数据存储到 SQLite 数据库时，这非常有用。
- 如何使用 `DataFrame.to_sql()`
  您也可以使用此方法从 Pandas DataFrame 创建 SQLite 表。您可以选择创建一个新表，向现有表添加数据，或更新现有表。在需要将数据处理器的输出保存回 SQLite 数据库的情况下，此选项至关重要。

示例代码

 
import sqlite3
import pandas as pd
df = pd.DataFrame({
    'column1': [1, 2, 3],
    'column2': ['A', 'B', 'C']
})
conn = sqlite3.connect('example.db')
df.to_sql('table_name', conn, if_exists='replace', index=False)
conn.close()   

使用 SQLAlchemy 进行高级交互
SQLAlchemy 是一个流行的 Python 对象关系映射 (ORM) 库和 SQL 工具集。它为处理数据库（包括 SQLite）提供了更灵活和抽象的接口。
- Pandas 和 SQLite 之间的中间层：SQLAlchemy
  SQLAlchemy 提供了一个高级 API，用于处理事务、设置数据库连接和运行 SQL 查询。与 Pandas 配对使用时，它允许更高级和高效的数据库交互，包括处理大型数据集和运行复杂的查询。

示例代码

 
from sqlalchemy import create_engine
import pandas as pd
engine = create_engine('sqlite:///example.db')
df = pd.read_sql_query("SELECT * FROM table_name", engine)   

SQLAlchemy 数据插入
此外，还可以使用 SQLAlchemy 将 Pandas DataFrame 中的数据插入到 SQLite 数据库中。尤其是在大型或更复杂的应用程序中，使用 SQLAlchemy 可以简化数据库连接和事务管理。

示例代码

使用上下文管理器以改进资源管理
Python 的上下文管理器可确保像数据库连接这样的资源在使用后得到有效管理和终止。它们通常与 `with` 语句一起使用。保持应用程序的性能和稳定性依赖于此方法。
- 确保正确管理连接
  即使在数据库操作过程中发生错误，通过使用上下文管理器，您也可以确保数据库连接已自动终止。使用此方法可以避免内存泄漏和数据库文件被锁定的潜在问题。

示例代码

 
import sqlite3
import pandas as pd
with sqlite3.connect('example.db') as conn:
    df = pd.read_sql_query("SELECT * FROM table_name", conn)   

执行强大的查询和修改数据
在日益复杂的情况下，您可能需要将 Pandas 强大的数据处理功能与 SQL 查询相结合。
- 整合 Pandas 操作和 SQL 查询
  从 SQLite 数据库获取数据后，可以使用 Pandas 进行进一步的数据处理。例如，您可以将结果与其他数据集合并，计算额外的列，或对数据进行聚合。这种 SQL 和 Pandas 的组合在 Python 中执行复杂的数据分析时特别有效。

示例代码

 
import sqlite3
import pandas as pd
conn = sqlite3.connect('example.db')
df = pd.read_sql_query("""
    SELECT column1, COUNT(*) as count
    FROM table_name
    GROUP BY column1
""", conn)
conn.close()
df['new_column'] = df['count'] * 2   

管理大型数据集
在处理大型数据集时，内存效率变得至关重要。Pandas 具有允许您处理大量数据而不会占用大量 RAM 的功能。
- 分块加载以最大化内存利用率
  由于 Pandas 允许您分块读取数据，因此您可以将大型数据集处理成更易于管理的小块。处理无法一次性放入内存的数据时，此方法很有用。通过分块处理数据，您可以在不耗尽内存的情况下对大型数据集进行分析或修改。

示例代码

 
conn = sqlite3.connect('example.db')
for chunk in pd.read_sql_query("SELECT * FROM large_table", conn, chunksize=1000):
    # Process each chunk
    print(chunk)
conn.close()   

下一主题机器学习中的成本函数

使用 Python 和 Pandas 访问 SQLite 数据库

引言

使用 Pandas 和 Python 访问 SQLite 数据库的各种方法

联系信息

关注我们

教程

面试题

在线编译器

Python

Java

.Net Framework

AI, ML and Data Science

Cloud Technology

B.Tech and MCA

Web Technology

PHP

Software Testing

Technical Interview

Java Interview

Python

Web Interview

Database Interview

B.Tech / MCA

Important Interview

Software Testing Interview

Company Interviews

Online Compilers

Multiple Choice Questions

机器学习

监督式学习

分类

杂项

相关教程

面试题

使用 Python 和 Pandas 访问 SQLite 数据库

引言

使用 Pandas 和 Python 访问 SQLite 数据库的各种方法

相关帖子

TF-IDF 模型

GBM 在机器学习中的应用

交叉验证中的分组

如何选择最佳线性回归模型

线性回归与自回归模型之间的区别

时间序列 - 指数平滑

机器学习工程师与研究员的区别

隐私保护机器学习

编码器-解码器模型

概率密度函数

订阅 Tpoint Tech

联系信息

关注我们

教程

面试题

在线编译器