怎么使用numpy实现LR算法

逻辑回归（Logistic Regression, LR）是一种广泛应用于分类问题的机器学习算法。尽管名字中有“回归”二字，但逻辑回归实际上是一种分类算法，主要用于二分类问题。本文将介绍如何使用Python的numpy库来实现逻辑回归算法。

1. 逻辑回归简介

逻辑回归通过使用逻辑函数（也称为sigmoid函数）将线性回归的输出映射到0和1之间，从而实现对样本的分类。逻辑回归的核心思想是通过最大似然估计来优化模型参数，使得模型能够更好地拟合训练数据。

1.1 Sigmoid函数

Sigmoid函数的数学表达式为：

\[ \sigma(z) = \frac{1}{1 + e^{-z}} \]

其中，\(z\) 是线性回归的输出。Sigmoid函数将\(z\)映射到(0, 1)区间内，可以将其解释为样本属于正类的概率。

1.2 损失函数

逻辑回归的损失函数通常使用对数损失函数（Log Loss），其数学表达式为：

\[ J(\theta) = -\frac{1}{m} \sum_{i=1}^{m} [y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)}))] \]

其中，\(m\)是样本数量，\(y^{(i)}\)是第\(i\)个样本的真实标签，\(h_\theta(x^{(i)})\)是模型预测的概率。

1.3 梯度下降

为了最小化损失函数，逻辑回归通常使用梯度下降法来更新模型参数。梯度下降的更新公式为：

\[ \theta_j := \theta_j - \alpha \frac{\partial J(\theta)}{\partial \theta_j} \]

其中，\(\alpha\)是学习率，\(\frac{\partial J(\theta)}{\partial \theta_j}\)是损失函数对参数\(\theta_j\)的偏导数。

2. 使用numpy实现逻辑回归

接下来，我们将使用numpy库来实现逻辑回归算法。我们将逐步实现以下几个步骤：

1. 数据预处理
2. 初始化参数
3. 定义Sigmoid函数
4. 计算损失函数
5. 实现梯度下降
6. 训练模型
7. 预测

2.1 数据预处理

首先，我们需要准备数据集。假设我们有一个二分类数据集，包含特征矩阵X和标签向量y。为了简化问题，我们假设X已经进行了标准化处理。

import numpy as np

# 假设我们有一个简单的二分类数据集
X = np.array([[1, 2], [2, 3], [3, 4], [4, 5]])
y = np.array([0, 0, 1, 1])

# 添加偏置项
X = np.c_[np.ones(X.shape[0]), X]

2.2 初始化参数

我们需要初始化模型参数\(\theta\)，通常可以将其初始化为0或随机值。

# 初始化参数
theta = np.zeros(X.shape[1])

2.3 定义Sigmoid函数

接下来，我们定义Sigmoid函数。

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

2.4 计算损失函数

我们实现损失函数的计算。

def compute_cost(X, y, theta):
    m = len(y)
    h = sigmoid(X.dot(theta))
    cost = -(1/m) * np.sum(y * np.log(h) + (1 - y) * np.log(1 - h))
    return cost

2.5 实现梯度下降

我们实现梯度下降算法来更新参数。

def gradient_descent(X, y, theta, alpha, num_iters):
    m = len(y)
    cost_history = []

    for i in range(num_iters):
        h = sigmoid(X.dot(theta))
        gradient = X.T.dot(h - y) / m
        theta -= alpha * gradient
        cost = compute_cost(X, y, theta)
        cost_history.append(cost)

    return theta, cost_history

2.6 训练模型

我们使用梯度下降算法来训练模型。

# 设置超参数
alpha = 0.01
num_iters = 1000

# 训练模型
theta, cost_history = gradient_descent(X, y, theta, alpha, num_iters)

print("训练后的参数:", theta)

2.7 预测

最后，我们使用训练好的模型进行预测。

def predict(X, theta):
    probabilities = sigmoid(X.dot(theta))
    return [1 if p >= 0.5 else 0 for p in probabilities]

# 预测新样本
new_X = np.array([[1, 3], [2, 4]])
new_X = np.c_[np.ones(new_X.shape[0]), new_X]
predictions = predict(new_X, theta)

print("预测结果:", predictions)

3. 总结

本文介绍了如何使用numpy库实现逻辑回归算法。我们从数据预处理、参数初始化、Sigmoid函数定义、损失函数计算、梯度下降实现、模型训练到预测，逐步实现了逻辑回归的核心步骤。通过这个简单的实现，我们可以更好地理解逻辑回归的工作原理，并且可以在此基础上进行进一步的优化和扩展。

逻辑回归虽然简单，但在实际应用中非常有效，尤其是在二分类问题中。通过掌握其基本原理和实现方法，我们可以更好地应用逻辑回归来解决实际问题。