Python数据分析在Ubuntu上如何进行

在 Ubuntu 上进行 Python 数据分析的实操指南

一 环境准备与安装

• 更新系统并安装基础工具：
  • 命令：sudo apt update && sudo apt upgrade -y
  • 安装 Python 与 pip：sudo apt install python3 python3-pip -y
• 方式一 使用系统 Python 与虚拟环境（推荐）
  • 创建虚拟环境：python3 -m venv venv
  • 激活环境：source venv/bin/activate
  • 安装常用库：pip install pandas numpy matplotlib seaborn scikit-learn jupyter
• 方式二 使用 Anaconda（适合科学计算与多环境管理）
  • 下载安装脚本（示例版本）：wget https://repo.anaconda.com/archive/Anaconda3-2024.05-Linux-x86_64.sh
  • 执行安装：bash Anaconda3-2024.05-Linux-x86_64.sh，按提示完成安装后执行：source ~/.bashrc
• 以上步骤完成后，即可在虚拟环境或 Conda 环境中进行数据分析。

二 数据分析常用工作流

• 数据获取
  • 读取 CSV：import pandas as pd; df = pd.read_csv(‘data.csv’); print(df.head())
  • 数据库读取（SQLAlchemy + PyMySQL）：
    • from sqlalchemy import create_engine
    • engine = create_engine(‘mysql+pymysql://user:password@host:port/database’)
    • data = pd.read_sql(‘SELECT * FROM table_name’, engine)
  • 网络抓取（requests + BeautifulSoup）：
    • import requests; from bs4 import BeautifulSoup
    • resp = requests.get(‘https://example.com’); soup = BeautifulSoup(resp.text, ‘html.parser’)
• 数据清洗与预处理
  • 缺失值处理：df.dropna(axis=0, how=‘any’, inplace=True) 或 df[‘col’].fillna(df[‘col’].mean(), inplace=True)
  • 类型转换：df[‘date’] = pd.to_datetime(df[‘date’])
• 探索性数据分析（EDA）
  • 描述性统计：df.describe()
  • 分组聚合：grouped = df.groupby(‘category’).agg({‘value’: ‘mean’})
  • 数据透视表：pivot = df.pivot_table(values=‘value’, index=‘row’, columns=‘col’)
• 可视化
  • Matplotlib：import matplotlib.pyplot as plt; plt.hist(df[‘col’]); plt.show()
  • Seaborn：import seaborn as sns; sns.boxplot(x=‘cat’, y=‘val’, data=df); plt.show()
• 机器学习入门（Scikit-learn）
  • 示例：from sklearn.linear_model import LinearRegression; from sklearn.model_selection import train_test_split
  • 训练测试划分：X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  • 训练与评估：model = LinearRegression(); model.fit(X_train, y_train); score = model.score(X_test, y_test)。

三 交互式开发与可视化

• 启动 Jupyter Notebook：jupyter notebook，默认在浏览器打开 http://localhost:8888
• 在 Notebook 中可直接运行上述 Pandas/可视化/建模代码，便于分步探索与可视化展示。

四 性能与扩展建议

• 处理大数据或需要并行/延迟计算时，可使用 Dask：pip install dask[complete]，与 Pandas 体验相近，适合超出内存的数据集与分布式计算。

五 常见问题与快速排障

• 权限与多版本管理
  • 优先使用虚拟环境（venv/conda）隔离依赖，避免与系统包冲突；必要时使用 python3 -m pip 指向当前环境的 pip。
• 数据库驱动缺失
  • 连接 MySQL 需安装驱动，例如 pip install pymysql，并使用连接串 mysql+pymysql://…。
• Jupyter 端口被占用
  • 指定端口启动：jupyter notebook --port 8889；或关闭占用该端口的进程后再启动。
• 中文与字体显示异常
  • 在 Matplotlib 中设置中文字体（如 SimHei）并开启负号显示，或在 Seaborn 中配合 rcParams 调整。
• 依赖冲突
  • 使用 conda create -n data310 python=3.10 创建干净环境，或在 venv 中重新安装所需库版本。