1.在autodl里面购买实例

AutoDL算力云 | 弹性、好用、省钱，GPU算力零售价格新标杆

2.llamafactory部署+下载大模型

6.llamafactory项目介绍与安装部署-CSDN博客

我下载的是Qwen2.5-7B-instruct

跟着这个教程下载

3.上传数据集

3.1 用xshell+xtfp链接autodl上面的ssh，上传数据

AutoDL+Xshell+Xtfp+部署Qwen2.5-7B大模型-CSDN博客

这个链接，或者找一下xshell和xtfp上传文件的教程

将数据上传到 /root/autodl-tmp/llamafactory/data里面

3.2 注册数据集

3.2.1进入data文件夹

cd autodl-tmp
ls
cd LlamaFactory
ls
cd data

3.2.2 在终端中，使用 vim 命令编辑 dataset_info.json 文件

vim dataset_info.json

在 starcoder_python 的闭合大括号后添加逗号：

• 将光标移动到 starcoder_python 条目最后那个 } 的后面（即 } 之后）。

• 按 i 进入插入模式，然后手动输入一个逗号 ,。

• 在 vim 中，按 G（大写）可以直接跳到文件最后一行

• 按回车换行，开始新的一行。

•  在文件中添加以下内容（请确保 JSON 格式正确，注意逗号），这定义了你的数据集名称、文件位置和数据列对应关系

  "finance_train": {
    "file_name": "train.json",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output"
    }
  },
  "finance_val": {
    "file_name": "val.json",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output"
    }
  },
  "finance_test": {
    "file_name": "test.json",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output"
    }
  }

  

• 先按一次 Esc 键，退出编辑模式。

• 重新输入命令：输入 :（冒号），你会看到左下角出现一个冒号，然后输入 wq，最后按回车。

• 用 python -m json.tool dataset_info.json 验证 JSON 格式。

• 

4.Web UI界面进行微调

4.1进入Web UI

• 在终端输入：GRADIO_SERVER_PORT=6006 llamafactory-cli webui

• cd autodl-tmp
  ls
  cd LlamaFactory
  GRADIO_SERVER_PORT=6006 llamafactory-cli webui
  

  

4.2 链接powershell

• 
• 
• 输入SSH指令及密码，ssh指令及密码在autodl

• 

• 

• 

4.3选择模型，及模型位置查询

• 模型路径查询

cd autodl-tmp
ls
cd Qwen
ls 
cd Qwen2.5-7B-Instruct
pwd

    复制路径到“模型路径”

• 语言：zh
• 模型名称：你自己下载的模型名称

4.4 参数设置

• 
• 
• lora秩一般填8，我这是要做消融实验才选4.
• Swanlab是实验日志，勾选上

4.5运行

• 运行的时候出错了，ctrl+c先退出，是deepspeed版本不兼容的问题
• 先检查pytroch版本

• python -c "import torch; print(torch.__version__)"

• 重新安装deepspeed

• pip uninstall deepspeed -y
  pip install --upgrade deepspeed

• 验证安装

• python -c "import deepspeed; print(deepspeed.__version__)"

• 需要重新进入webui
• 运行
• 运行完文件在
• /root/autodl-tmp/LlamaFactory/saves/Qwen2.5-7B-Instruct/lora
• 

4.6测试

4.7Chat