卡方的原理及Python代码实现

1. 引言

卡方检验（Chi-Square Test）是一种常用的统计方法，主要用于检验分类变量之间的独立性或拟合优度。卡方检验广泛应用于医学、社会科学、市场研究等领域，用于分析两个或多个分类变量之间的关系。本文将详细介绍卡方检验的原理，并通过Python代码实现卡方检验。

2. 卡方检验的基本概念

2.1 卡方统计量

卡方统计量（Chi-Square Statistic）是卡方检验的核心指标，用于衡量观察值与期望值之间的差异。卡方统计量的计算公式如下：

[ \chi^2 = \sum \frac{(O_i - E_i)^2}{E_i} ]

其中，(O_i) 表示观察值，(E_i) 表示期望值。卡方统计量越大，观察值与期望值之间的差异越显著。

2.2 卡方分布

卡方分布（Chi-Square Distribution）是卡方统计量的概率分布。卡方分布的形状取决于自由度（Degrees of Freedom, df）。自由度越大，卡方分布越接近正态分布。卡方分布通常用于计算卡方统计量的p值，从而判断观察值与期望值之间的差异是否显著。

2.3 卡方检验的类型

卡方检验主要有两种类型：

1. 卡方独立性检验（Chi-Square Test of Independence）：用于检验两个分类变量是否独立。
2. 卡方拟合优度检验（Chi-Square Goodness-of-Fit Test）：用于检验观察值的分布是否符合预期的理论分布。

3. 卡方独立性检验

3.1 检验步骤

卡方独立性检验的步骤如下：

1. 建立假设：

   • 原假设（(H_0)）：两个分类变量独立。
   • 备择假设（(H_1)）：两个分类变量不独立。

2. 构建列联表：将两个分类变量的观察值整理成列联表（Contingency Table）。

3. 计算期望值：在假设两个变量独立的情况下，计算每个单元格的期望值。

4. 计算卡方统计量：根据观察值和期望值计算卡方统计量。

5. 确定显著性水平和临界值：根据自由度和显著性水平查找卡方分布的临界值。

6. 做出决策：如果卡方统计量大于临界值，拒绝原假设；否则，接受原假设。

3.2 Python代码实现

下面通过一个例子演示如何使用Python进行卡方独立性检验。

import numpy as np
import pandas as pd
from scipy.stats import chi2_contingency

# 示例数据：性别与购买意愿的列联表
data = np.array([[50, 30], [40, 60]])

# 进行卡方独立性检验
chi2_stat, p_val, dof, expected = chi2_contingency(data)

print(f"卡方统计量: {chi2_stat}")
print(f"P值: {p_val}")
print(f"自由度: {dof}")
print("期望值表:")
print(expected)

3.3 结果解释

• 卡方统计量：衡量观察值与期望值之间的差异。
• P值：如果P值小于显著性水平（通常为0.05），则拒绝原假设，认为两个变量不独立。
• 自由度：自由度的计算公式为 ((行数-1) \times (列数-1))。
• 期望值表：在假设两个变量独立的情况下，每个单元格的期望值。

4. 卡方拟合优度检验

4.1 检验步骤

卡方拟合优度检验的步骤如下：

1. 建立假设：

   • 原假设（(H_0)）：观察值的分布符合预期的理论分布。
   • 备择假设（(H_1)）：观察值的分布不符合预期的理论分布。

2. 计算期望值：根据理论分布计算每个类别的期望值。

3. 计算卡方统计量：根据观察值和期望值计算卡方统计量。

4. 确定显著性水平和临界值：根据自由度和显著性水平查找卡方分布的临界值。

5. 做出决策：如果卡方统计量大于临界值，拒绝原假设；否则，接受原假设。

4.2 Python代码实现

下面通过一个例子演示如何使用Python进行卡方拟合优度检验。

from scipy.stats import chisquare

# 示例数据：观察值与期望值
observed = np.array([50, 30, 20])
expected = np.array([40, 40, 20])

# 进行卡方拟合优度检验
chi2_stat, p_val = chisquare(observed, f_exp=expected)

print(f"卡方统计量: {chi2_stat}")
print(f"P值: {p_val}")

4.3 结果解释

• 卡方统计量：衡量观察值与期望值之间的差异。
• P值：如果P值小于显著性水平（通常为0.05），则拒绝原假设，认为观察值的分布不符合预期的理论分布。

5. 卡方检验的注意事项

1. 样本量：卡方检验对样本量较为敏感，样本量过小可能导致检验结果不准确。通常要求每个单元格的期望值大于5。

2. 数据类型：卡方检验适用于分类数据，不适用于连续数据。

3. 独立性假设：卡方独立性检验假设样本之间是独立的，如果样本之间存在依赖关系，检验结果可能不准确。

4. 多重比较：在进行多个卡方检验时，需要注意多重比较问题，避免假阳性结果的增加。

6. 总结

卡方检验是一种强大的统计工具，适用于分析分类变量之间的关系。通过本文的介绍，读者可以了解卡方检验的基本原理，并掌握如何使用Python进行卡方独立性检验和拟合优度检验。在实际应用中，需要注意卡方检验的适用条件和限制，以确保检验结果的准确性。

7. 参考文献

1. Agresti, A. (2013). Categorical Data Analysis. Wiley.
2. Pearson, K. (1900). On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling. Philosophical Magazine, 50(302), 157-175.
3. Scipy Documentation: https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.chi2_contingency.html
4. Scipy Documentation: https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.chisquare.html

通过本文的学习，读者应能够理解卡方检验的基本原理，并能够使用Python进行卡方检验的实际操作。希望本文对读者在数据分析和统计建模中的工作有所帮助。