一、概念

AI： 人工智能  （像人一样模拟代替人类）

ML：机器学习 （从数据中获取规律，来了一个新的数据，产生一个新的预测）

        小结：1.提供数据（历史数据）

                   2.训练模型（公式）

                   3.提供测试数据

                   4.对测试数据进行预测

DL： 深度学习  （大脑仿生，一层一层的神经元模拟万事万物）

发展史：

        1.1956年提出“人工智能”这一术语

        2.1962.                跳棋 

        3.1997                 国际象棋

        4.2016 AlphaGo  围棋

====   大模型预训练模型  ====

        5.2017年，自然语音处理NLP的Transformer框架出现

        6.2022，chatGPT的出现，进入到大模型AIGC发展阶段

AI 发展三要素：

        数据、算法、算力

二、机器学习常用术语：

样本（sample）：一行数据就是一个样本：多个样本组成数据集：有时一条样本被叫成一条记录

特征（feature）：一列数据一个特征，有时也被称为属性

标签/目标(label/target):模型要预测的那一列数据。

特征是从数据中抽取出来的，对结果预测有用信息。。

训练集：用来训练模型的数据集

测试集：用来测试模型的数据集

x_train：训练集特征                        x_test：测试集特征

y_train：训练集标签             预测-> y_test：测试集标签

一般划分比例7:3,    8:2

训练集和测试集

三、机器学习算法分类

1.监督学习               

   (有特征、有标签)    即 (有训练数据 x_train + 有标签 y_train)

（预测结果） ->        案例：“猫狗分类/房价预测”

 有监督问题&回归问题

        如果标签是连续的 即回归

        如果标签是离散的 即分类 

🔹 离散 vs 连续（看输出空间）

类型	特点	典型例子
离散（Discrete）	取值有限或可数，值之间没有“中间状态”，强调“种类”或“状态”	猫/狗、是/否、手写数字0~9、用户等级A/B/C
连续（Continuous）	取值在某个区间内可以是任意实数，理论上无限可分，强调“大小”和“度量”	房价（350.2万）、温度（23.5℃）、点击率（0.037）、身高

🔹 分类 vs 回归（看任务目标）

任务	对应目标类型	预测本质	典型算法	评估指标
分类（Classification）	离散	“是什么”（定性）	逻辑回归、SVM、决策树分类、随机森林、XGBoost分类、神经网络分类	准确率、精确率、召回率、F1、ROC-AUC
回归（Regression）	连续	“是多少”（定量）	线性回归、岭/Lasso回归、决策树回归、SVR、XGBoost回归	MSE、RMSE、MAE、R²

2.无监督学习.     

   (有特征、无标签)   即 聚类分析，发现事务内部的关系

（发现潜在结构）        案例： “物以类聚人以群分”

3.半监督               

 （有特征、部分有标签，部分无标签）

 （降低数据标记的难度）

                大大降低标记成本

        拿部分有标签的数据进行训练 训练出来的模型，让他去给没有标签的数据进行预测标签！！

4.强化学习

（长期利益最大化）   ->  案例： 学下棋

         让机器自己学习，然后给机器奖励，让机器自己学习。

         得到更多奖励，强化去做能得到奖励的事情

        agent 根据环境状态进行行动获得最多的累计奖励。

四、机器学习建模流程

在整个建模流程中，数据基本处理、特征工程一般是耗时、耗精力最多的。

1.获取数据

        获取经验数据、图像数据、文本数据......

2.数据基本处理

        数据缺失值处理、异常值处理......

3.特征工程

利用专业背景知识和技巧处理数据，让机器学习算法效果最好。

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已

        <1> 特征提取

                从原始数据提取和任务相关特征

        <2>特征预处理 

                解决量纲问题：比如身高，体重 单位不统一  （归一化，标准化）

        （ 比如有些特征对模型影响很大，比如房价有朝向，楼层，面积等等特征，其中面积影响就比较大，涉及到权重问题。）

        <3>特征降维    

                原始特征：[x₁, x₂, x₃, ..., xₙ]  (n维)
                    ↓ 降维处理
                新特征：[z₁, z₂, ..., zₖ]  (k维，k << n)

        <4>特征选择   

                从已经有的特征中，找出子集

                比如原来10个特征，选择其中6个来用 

        <5> 特征组合   

                利用已有的特征，组合成新的特征

                比如房子的 （朝向+面积）-> （新特征）

                把多个特征合并成一个特征，利用乘法或者加法来完成

4.机器学习（模型训练）

        <1> 线性回归

        <2> 逻辑回归

        <3> 决策数

        <4> GBDT

5.模型评估

        <1> 回归评测指标

        <2> 分类评测指标

        <3> 聚类评测指标

五、拟合

        1.拟合 fitting 用在机器学习领域，用来表示模型对样本点的拟合情况

        2.欠拟合 under-fitting 模型在训练集上表现很差、在测试集表现也很差

        3.过拟合 over-fitting  模型在训练集表现很好、在测试集表现很差

泛化 Generalization: 模型在新数据集（非训练数据）上的表现好坏能力。

奥卡姆剃刀原则：给定两个具有相同泛化误差的模型，较简单的模型的优先选取。

这里可以理解为：

        开发过程：

                过拟合和欠拟合：模型在训练集和测试集效果

        上线：

                泛化：评估模型在新数据集上的效果