本次在Google Colab(CPU 模式) 试运行谷歌洪水预测模型,完整流程及踩坑问题记录如下:

一、整体操作步骤

  1. 拉取源码 前往项目 GitHub 仓库,在 Colab 中执行git clone命令,下载完整源代码。
  2. 进入项目目录 切换至克隆后的项目根文件夹,后续所有操作均在此目录下执行。
  3. 基础环境安装 使用 pip install -e . 以可编辑模式安装项目内置依赖。
  4. 补全缺失依赖库 初次安装后程序仍报错,依次补齐运行必需的第三方库:ruamel.yamlzarrgcsfsxarraynetcdf4等。
  5. Colab 谷歌云授权 模型数据源存放于谷歌云存储(GCS),Colab 默认无访问权限,先执行账号授权,获取 GCS 访问权限。
  6. 修改配置文件路径 项目配置中数据路径默认使用~(根目录标识),Colab 环境需将~统一改为/content,否则无法识别本地文件。
  7. 启动模型训练 配置与依赖全部就绪后,执行运行命令开始训练。

二、关键踩坑点 & 解决方案

  1. 依赖库缺失 运行时连续触发ModuleNotFoundError,原因是项目依赖未被pip install -e .全部覆盖,按需手动安装ruamel.yamlzarrnetcdf4等库即可解决。
  2. 路径适配问题 原配置用~指代系统根目录,该写法在 Colab 不生效,全局替换为/content 适配 Colab 文件结构。
  3. 谷歌云存储权限不足 模型核心气象数据存放在 GCS 路径 gs://caravan-multimet/v1.1,Colab 默认无访问凭证。 解决:在代码开头添加谷歌账号授权代码,登录账号完成授权后,才可正常读取云端数据。

三、CPU 训练耗时参考

本次使用 Colab 默认 CPU 运行,模型总计训练15 个轮次(epochs)

  • 单轮耗时:约 5 分钟
  • 整体总耗时:75 分钟(1.25 小时)

OpenHydroNet

打开google colab Untitled0.ipynb - Colab

①检查运行模式,有无改成GPU运行

!nvidia-smi
!nvcc --version
Sun Jun  7 14:17:14 2026       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.82.07              Driver Version: 580.82.07      CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Tesla T4                       Off |   00000000:00:04.0 Off |                    0 |
| N/A   43C    P8              9W /   70W |       0MiB /  15360MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Fri_Feb_21_20:23:50_PST_2025
Cuda compilation tools, release 12.8, V12.8.93
Build cuda_12.8.r12.8/compiler.35583870_0

!git clone https://github.com/google-research/flood-forecasting.git

%%shell

cd /content/flood-forecasting/

pip install -e .

!pip install ruamel.yaml zarr netcdf4

修改train-config.yml里面的~为绝对路径/content/

!run train --config-file /content/flood-forecasting/tutorial/configs/train-config.yml/

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐