变量消耗显存不多却显存不足

UserWarning: Converting sparse IndexedSlices to a dense Tensor of unknown shape. 
This may consume a large amount of memory.
"Converting sparse IndexedSlices to a dense Tensor of unknown shape. "

今天使用tensorflow,显存总是超,11G啊,说没就没了,可是我使用的变量全算下来,也就才消耗50M的显存。。。
google后,终于发现原因tf.gather(…)函数。
这个函数会初始化数组,保存取得的下标。下标用tf.IndexedSlices类保存,会在gather函数内隐式转换为大Tensor。而如果参数是Tensor,其中至少一维是’?’的话,那么恭喜你,中标了!
解决办法:把参数换成Variable,至少不要存在某个维的大小是’?’。
据说, tf.nn.embedding_lookup() 也有这问题
参考
stackoverflow原帖

GitHub 加速计划 / te / tensorflow
184.54 K
74.12 K
下载
一个面向所有人的开源机器学习框架
最近提交(Master分支:1 个月前 )
a49e66f2 PiperOrigin-RevId: 663726708 1 个月前
91dac11a This test overrides disabled_backends, dropping the default value in the process. PiperOrigin-RevId: 663711155 1 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐