感知机 Perceptron

JasonH2021

4379人浏览 · 2023-06-04 10:04:18

JasonH2021 · 2023-06-04 10:04:18 发布

前言

感知机是机器学习中有监督学习的一种分类算法。

一、感知机是什么？

感知机（Perceptron，又称感知器）是一种模仿脑神经元结构的二分类的线性分类模型，是人工神经网络的基础，也是深度神经网络的基本构成单元。由输入，激活函数（计算单元），输出三部分构成，对应神经元的树突，神经元细胞和轴突。另外，在输入和计算单元之间，也就是适用激活函数的预激活项，是输入项和权重的线性组合。

二、感知机的优点和缺点

优点：

算法简单，易于实现；
可以在线学习，适用于大规模数据集；
对于线性可分的数据集，感知机可以得到全局最优解；

缺点：

只能处理线性可分的数据集，对于非线性可分的数据集表现不佳；
对于噪声数据非常敏感；
模型无法输出概率估计；

三、感知机的应用场景

图像分类：将图像分为不同的类别；
文本分类：将文本内容分为不同的类别；
垃圾邮件过滤：将邮件分为垃圾邮件和非垃圾邮件；
信用评估：根据客户的信用记录将客户分为高风险和低风险；
医学诊断：根据病人的症状将病人分为患有某种疾病和未患有某种疾病等。
人脸识别：将人脸图像分为不同的人；
语音识别：将语音信号分为不同的语音类别；
推荐系统：将用户分为不同的类别，从而为用户推荐不同的产品或服务；
金融欺诈检测：将金融交易分为欺诈和非欺诈等。

四、构建感知机模型的注意事项

感知机虽然实现简单，易于理解，但在实际的应用中很少单独使用，以感知机为基础搭建ANN，CNN，AGN，RNN等深度神经网络模型，可以灵活应对各种场景下的分类和回归任务，并且可以得到更佳的效果。

五、感知机模型的实现类库

在Python中，实现感知机的具体类库很多，下面是其中几个比较常用的：

NumPy：NumPy是Python科学计算的基础库之一，提供了高效的数组操作和数学函数，可以用于实现感知机和其他机器学习算法。
scikit-learn：scikit-learn是Python中一个广泛使用的机器学习库，提供了许多常用的机器学习算法和工具，其中包括感知机算法的实现。
TensorFlow：TensorFlow是一个强大的机器学习框架，可以用于实现各种机器学习算法，包括感知机算法。
PyTorch：PyTorch是一个基于Python的科学计算库，也是一个开源的机器学习库，可以用于实现各种机器学习算法，包括感知机算法。

这些库都提供了实现感知机算法的类或函数，可以根据具体需求选择使用。

六、感知机模型的评价指标

感知机是一个二分类算法，因此可以使用许多二分类评价指标来评估其性能。下面是几个常用的评价指标：

准确率（Accuracy）：表示模型预测正确的样本数占总样本数的比例，是最常用的评价指标之一。
精确率（Precision）：表示模型预测为正样本的样本中，实际为正样本的比例。
召回率（Recall）：表示实际为正样本的样本中，被模型预测为正样本的比例。
F1值（F1-score）：综合考虑精确率和召回率，是精确率和召回率的调和平均数。
ROC曲线（Receiver Operating Characteristic Curve）：以假正率（False Positive Rate）为横坐标，真正率（True Positive Rate）为纵坐标，绘制出的曲线，可以用于衡量模型预测结果的质量。
AUC值（Area Under Curve）：ROC曲线下面积，是评价二分类模型性能的重要指标之一。

需要注意的是，不同的评价指标适用于不同的场景和问题，应根据具体需求选择合适的评价指标。

七、类库numpy实现感知机的例子

import numpy as np

class Perceptron:
    def __init__(self, learning_rate=0.1, max_iter=1000):
        self.learning_rate = learning_rate
        self.max_iter = max_iter
        
    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.weights = np.zeros(n_features)
        self.bias = 0
        for _ in range(self.max_iter):
            for i in range(n_samples):
                if y[i] * (np.dot(X[i], self.weights) + self.bias) <= 0:
                    self.weights += self.learning_rate * y[i] * X[i]
                    self.bias += self.learning_rate * y[i]
                    
    def predict(self, X):
        return np.sign(np.dot(X, self.weights) + self.bias)

其中，`fit`方法用于训练模型，输入参数`X`是形状为`(n_samples, n_features)`的样本特征，`y`是形状为`(n_samples,)`的样本标签，表示每个样本的类别。`predict`方法用于预测新的样本类别，输入参数`X`是形状为`(n_samples, n_features)`的样本特征，输出是形状为`(n_samples,)`的预测结果。

下面是使用该模型进行训练和预测的示例代码：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
iris = load_iris()
X = iris.data[:100, :2]
y = iris.target[:100]
y[y == 0] = -1

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
clf = Perceptron()
clf.fit(X_train, y_train)

# 预测测试集
y_pred = clf.predict(X_test)

# 计算准确率
acc = accuracy_score(y_test, y_pred)
print('Accuracy:', acc)

该示例代码使用鸢尾花数据集的前两个特征作为输入特征，将类别为0的样本标签改为-1，然后将数据集划分为训练集和测试集。使用Perceptron类训练模型，并预测测试集，最后计算准确率。