batch_size要适中,太小或太大都不好
1、如果batch_size太小,每轮迭代次数太多,而epoch又不能减少,因此训练速度变慢;同时,显存或内存利用率不高。
2、如果batch_size太大,每轮迭代次数太少,在epoch不变的情况下,总的迭代次数不足,训练效果不好,想要达到好的训练效果,需要增加epoch,因此训练速度也会变慢;同时,显存或内存可能溢出。
3、epoch关系到所有样本参与训练的次数,不能随意减少,总的迭代次数关系到权重参数优化的次数,也不能随意减少。

GitHub 加速计划 / te / tensorflow
184.55 K
74.12 K
下载
一个面向所有人的开源机器学习框架
最近提交(Master分支:2 个月前 )
a49e66f2 PiperOrigin-RevId: 663726708 2 个月前
91dac11a This test overrides disabled_backends, dropping the default value in the process. PiperOrigin-RevId: 663711155 2 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐