手动实现逻辑回归与Softmax回归

在开始之前，请确保您已经安装了NumPy和matplotlib库。如果尚未安装，请使用以下命令安装：

pip install numpy matplotlib

一、逻辑回归

逻辑回归是一种用于二元分类问题的机器学习算法。它的核心思想是使用逻辑函数将线性回归的结果转换为一个概率值，以便更好地解释模型的输出。

下面是一个简单的逻辑回归实现：

import numpy as np
import matplotlib.pyplot as plt
# 生成模拟数据
X = np.random.rand(100, 2)
y = (X[:, 0] + X[:, 1] > 0).astype(int)
# 初始化参数
theta = np.zeros((3, 1))
alpha = 0.01
# 定义模型函数、损失函数和梯度函数
def model(X, theta):
    return np.dot(X, theta) >= 0
def loss(X, y, theta):
    h = model(X, theta)
    return np.sum(-y * np.log(h) - (1 - y) * np.log(1 - h)) / len(X)
def gradient(X, y, theta):
    h = model(X, theta)
    return np.dot(X.T, h - y) / len(X)
# 迭代优化参数
for i in range(1000):
    theta -= alpha * gradient(X, y, theta)
# 预测新数据点
X_new = np.array([[3, 3]])
y_new = model(X_new, theta) > 0.5
print('预测结果：', y_new)