人生不要“过拟合”
一、什么是拟合
拟合是用数学函数或模型来近似描述一组数组点的过程,目标是找到一条曲线或方程,使其尽可能“贴合”这些数据;
1.1、核心思想
现实中的数据往往带有噪声或误差,拟合就是从这些“杂乱”的数据中找出背后的规律;
比如:根据以往的天气数据经验,来预测未来的天气情况;
二、拟合的三种状态
欠拟合
模型太简单,连数据的基本趋势都没抓到;比如用直线去拟合一段抛物线;
恰好拟合
模型复杂度合适,即学到了规律,又不被噪声干扰,对新数据也有良好的预测能力;
过拟合
模型太复杂,把数据中的噪声也记住了,在已知数据上表现完美,但是遇到新数据就失灵了;比如:拉格朗日插值多项式;
三、理解过拟合
过拟合的原因:只注重预测误差,而忽略了假设模型的复杂程度,以及噪声的影响和数据来源的问题等;
例一
下面举个栗子,你也许会从中得到启示;
找出下面数字的规律,1、3、5、7,预测下一个数字是什么?
相信很多人的答案会是:9,这是一个等差数列:f(x)=2x-1;
但是你凭什么认为9更正确,而不是由拉格朗日插值多项式计算得出的:114514 呢,其四次多项式为:
f(x) = (114505/24)x^4 - (572525/12)x^3 + (4007675/24)x^2 - (2862601/12)x + 114504
正如哲学和逻辑学上的奥卡姆剃刀原理=:在所有解释中,最简单的那个往往是最正确的(如无必要,勿增实体);
例二
为什么刷题刷的太多,考试考得反而很差了?
答:本质上就是解题思维,严重过拟合到了练习题和模拟题上,将练习题中不严谨,不合理的地方;都当成了解题思维中不可分割的一块,这样反而容易走火入魔;
例子三
在此声明本人绝不是小黑子,大家喜欢玩ikun的梗,其实也是一种过拟合;
启示
深刻理解过拟合,在追求和理解世界的道路上,就拥有了一种警惕和张力,不应该渴求完美的解释所有的数据和历史;因为历史和经验,包含了巨大的随机性;
不要用过去定义未来,不要用局部否定整体,不要为了一个目标牺牲全部的可能性。
人生最重要的能力,不是在已知的环境中表现完美,而是在未知的世界里依然从容
这,就是人生的泛化能力。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐

所有评论(0)