安装gym[atari]

pip install --no-index -f https://github.com/Kojoley/atari-py/releases atari_py

安装Gym[box2d]

首先到http://www.swig.org/download.html 下载swigwin-4.0.0 ，注意是Windows版。将其解压到某一路径下，并添加到系统环境变量。

管理员模式打开命令行，执行以下语句

pip install box2d-py
pip install gym[box2d]

如果出现PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问的错误，需要打开pip所在路径，并修改文件内容。
我用的是anaconda的虚拟环境，所以pip的位置是C:\Program Files\Anaconda3\envs\ai_gpu\Lib\site-packages\pip\。
修改compat文件夹下的__init__.py，在第75行，把return s.decode('utf_8')改为return s.decode('cp936')，再执行上述命令。