神经网络与深度学习课程总结（第二周学习回顾）

本文整理自哈尔滨工业大学屈桢深老师的讲义，旨在对当周课程内容进行系统总结，帮助回顾神经网络的理论基础、线性模型、感知机、多层网络及BP算法原理，并形成学习笔记。

---

一、课程概述与人工智能背景

1. 人工智能与神经网络

人工智能（Artificial Intelligence, AI）是利用机器完成原本需要人类智慧才能完成的任务，包括理论、方法、技术与应用系统的研究。神经网络与深度学习是人工智能最热门的分支之一，目标是模拟人脑神经元的处理方式，实现复杂任务的自动学习与智能决策。

人工智能的主要研究方法：

• 仿生角度：模拟自然生物信息处理过程，如神经网络、深度学习

• 符号学角度：统计、逻辑、博弈搜索等方法实现机器学习

• 行为学角度：控制论方法实现机器自我演化，例如强化学习

• 交叉方法：结合多种角度的方法，形成综合智能策略

2. 机器学习与数据基础

机器学习是人工智能的重要分支，通过数据经验改善系统性能。其主要目标是：

• 预测未知信息

• 理解复杂系统的规律

• 自动优化决策

同时，随着大数据的广泛积累，传统机器学习方法在处理非结构化数据时显得力不从心。特征工程（Feature Engineering）成为关键环节，但其设计依赖经验，存在局限性，例如尺度不变性、旋转不变性、光照不变性等问题。

---

二、线性回归与分类

1. 线性回归

线性回归用于分析输入变量与输出变量之间的定量关系，通过拟合直线或平面，实现预测和解释。

示例数据

面积（㎡）	销售价（万元）
123	250
150	320
87	160
102	220

• 拟合模型：
  

• 代价函数：
  
  通过解析解：
  
  或梯度下降迭代求解，使代价函数最小。

学习流程图

[输入数据] --> [机器学习方法] --> [估计函数] --> [新估计值]

---

2. 线性分类与感知机

线性分类器通过特征线性组合进行分类决策。以苹果分类为例：

• 输入：苹果特征向量（如直径、外观评分）

• 输出：类别标签（0/1）或概率值（0~1）

Sigmoid函数用于将线性组合映射为概率：

• 导数：
  

感知机模型（Perceptron）是早期神经元模拟，通过线性组合和阈值完成简单分类，但对XOR等非线性问题无效，需要多层网络解决。

---

三、多层感知机（MLP）与非线性问题

1. XOR问题与多层结构

单层感知机无法解决非线性可分问题，例如XOR问题。
解决方案：在输入层与输出层之间加入隐藏层，形成多层前馈网络（MLP）：

• 三层网络（输入层、隐藏层、输出层）可以解决XOR问题

• 隐藏层节点输出：
  

• 输出层节点：
  

MLP优势

• 可以表示任意二值逻辑函数（阈值激活）

• 可以逼近紧集上的连续函数（S型激活）

• 更深层网络可识别复杂图形和模式空间

---

2. BP误差反传算法（Backpropagation）

BP算法是多层前馈网络训练的核心方法，目的是通过误差反向传播更新权值，实现模型学习。

算法核心思想

1. 前向传播：计算各层节点输出

2. 误差计算：输出层误差
   

3. 反向传播：梯度下降更新权值
   

4. 迭代训练：重复前向传播和反向传播，直至误差收敛

BP训练流程

[输入样本] --> [前向传播] --> [计算输出误差] --> [反向传播误差] --> [权值更新] --> 循环

BP算法允许多层网络学习复杂函数关系，是深度学习训练的基础。

---

四、课程心得与学习收获

通过本周课程，我对神经网络从基础理论到实际训练方法有了系统认识：

1. 理论理解：

   • 掌握了人工智能、机器学习与深度学习的概念

   • 理解线性回归、线性分类及感知机原理

   • 掌握XOR问题与多层感知机解决方案

2. 算法技能：

   • 熟悉BP算法的前向传播、误差反传及梯度更新机制

   • 掌握代价函数构造和最小化方法

3. 实践启发：

   • 为后续深度神经网络训练、模型优化与应用奠定基础

   • 理解复杂模式识别和非线性函数逼近的网络能力