Python中怎么将CSV文件导入MySQL数据库

在现代数据分析和处理中，CSV（Comma-Separated Values）文件是一种常见的数据存储格式。它简单、易于阅读和编辑，因此在数据交换和存储中被广泛使用。然而，当数据量较大或需要进行复杂查询时，将CSV文件导入到关系型数据库（如MySQL）中是一个更好的选择。本文将详细介绍如何使用Python将CSV文件导入到MySQL数据库中。

1. 准备工作

在开始之前，确保你已经安装了以下工具和库：

• Python 3.x：确保你已经安装了Python 3.x版本。
• MySQL数据库：确保你已经安装并配置好了MySQL数据库。
• MySQL Connector/Python：这是一个用于连接MySQL数据库的Python库。你可以通过以下命令安装它：

  pip install mysql-connector-python

• pandas：这是一个强大的数据处理库，我们将使用它来读取CSV文件。你可以通过以下命令安装它：

  pip install pandas

2. 创建MySQL数据库和表

在将CSV文件导入MySQL之前，首先需要创建一个数据库和相应的表结构。假设我们有一个名为employees.csv的CSV文件，内容如下：

id,name,position,salary
1,John Doe,Software Engineer,75000
2,Jane Smith,Data Scientist,80000
3,Alice Johnson,Product Manager,90000

我们需要在MySQL中创建一个名为company的数据库，并在其中创建一个名为employees的表。可以使用以下SQL语句来创建数据库和表：

CREATE DATABASE company;

USE company;

CREATE TABLE employees (
    id INT PRIMARY KEY,
    name VARCHAR(100),
    position VARCHAR(100),
    salary INT
);

3. 使用Python连接MySQL数据库

在Python中，我们可以使用mysql.connector库来连接MySQL数据库。以下是一个简单的连接示例：

import mysql.connector

# 连接MySQL数据库
conn = mysql.connector.connect(
    host="localhost",
    user="your_username",
    password="your_password",
    database="company"
)

# 创建游标对象
cursor = conn.cursor()

# 测试连接
cursor.execute("SELECT VERSION()")
db_version = cursor.fetchone()
print("Database version:", db_version)

# 关闭游标和连接
cursor.close()
conn.close()

请将your_username和your_password替换为你的MySQL用户名和密码。

4. 读取CSV文件

接下来，我们使用pandas库来读取CSV文件。pandas提供了read_csv()函数，可以轻松地将CSV文件读取为DataFrame对象。

import pandas as pd

# 读取CSV文件
csv_file = "employees.csv"
df = pd.read_csv(csv_file)

# 查看数据
print(df)

5. 将CSV数据插入MySQL数据库

现在我们已经成功读取了CSV文件，接下来需要将数据插入到MySQL数据库中。我们可以使用mysql.connector库的executemany()方法来批量插入数据。

import mysql.connector
import pandas as pd

# 读取CSV文件
csv_file = "employees.csv"
df = pd.read_csv(csv_file)

# 连接MySQL数据库
conn = mysql.connector.connect(
    host="localhost",
    user="your_username",
    password="your_password",
    database="company"
)

# 创建游标对象
cursor = conn.cursor()

# 准备SQL插入语句
insert_query = """
INSERT INTO employees (id, name, position, salary)
VALUES (%s, %s, %s, %s)
"""

# 将DataFrame转换为元组列表
data_to_insert = [tuple(row) for row in df.to_numpy()]

# 执行批量插入
cursor.executemany(insert_query, data_to_insert)

# 提交事务
conn.commit()

# 关闭游标和连接
cursor.close()
conn.close()

print("数据已成功插入到MySQL数据库中。")

6. 处理异常和错误

在实际应用中，可能会遇到各种异常情况，例如数据库连接失败、CSV文件格式错误等。为了确保程序的健壮性，我们需要添加异常处理机制。

import mysql.connector
import pandas as pd

try:
    # 读取CSV文件
    csv_file = "employees.csv"
    df = pd.read_csv(csv_file)

    # 连接MySQL数据库
    conn = mysql.connector.connect(
        host="localhost",
        user="your_username",
        password="your_password",
        database="company"
    )

    # 创建游标对象
    cursor = conn.cursor()

    # 准备SQL插入语句
    insert_query = """
    INSERT INTO employees (id, name, position, salary)
    VALUES (%s, %s, %s, %s)
    """

    # 将DataFrame转换为元组列表
    data_to_insert = [tuple(row) for row in df.to_numpy()]

    # 执行批量插入
    cursor.executemany(insert_query, data_to_insert)

    # 提交事务
    conn.commit()

    print("数据已成功插入到MySQL数据库中。")

except mysql.connector.Error as err:
    print(f"数据库错误: {err}")

except pd.errors.EmptyDataError:
    print("CSV文件为空或格式不正确。")

except Exception as e:
    print(f"发生未知错误: {e}")

finally:
    # 关闭游标和连接
    if 'cursor' in locals():
        cursor.close()
    if 'conn' in locals():
        conn.close()

7. 总结

通过以上步骤，我们成功地使用Python将CSV文件导入到MySQL数据库中。整个过程包括连接数据库、读取CSV文件、准备SQL语句、执行批量插入以及处理异常情况。这种方法不仅适用于小规模数据，也可以处理大规模数据集。

在实际应用中，你可能需要根据具体需求进行调整，例如处理不同的CSV文件格式、优化数据库插入性能等。希望本文能为你提供有价值的参考，帮助你更好地管理和处理数据。