1. Tensorflow中指定程序在哪一块GPU上训练

Python中代码：

import os
# 使用第一张与第三张GPU卡
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 2"

命名行代码：

CUDA_VISIBLE_DEVICES=0,2 python train.py 

2. 按需增加GPU的内存

import tensorflow as tf

#allow growth
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)
# 使用allow_growth option，刚一开始分配少量的GPU容量，然后按需慢慢的增加，由于不会释放内存，所以会导致碎片

Reference：

【1】Allowing GPU memory growth