1. 环境准备

欧拉版本：openouler 22.03 SP4

NPU驱动：Ascend-hdk-910b-npu-driver_24.1.rc3_linux-aarch64.run

NPU固件：Ascend-hdk-910b-npu-firmware_7.5.0.1.129.run

内存：推荐大于500GB

安装部署方法：

参考如下地址

https://support.huawei.com/enterprise/zh/doc/EDOC1100422574/c6904c01?idPath=23710424|251366513|254884019|261408772|252764743

2. 准备工作

2.1 下载权重

登录魔乐社区，自行下载：

魔乐社区

2.2 下载量化工具

步骤 1：

创建并进入如下目录：
mkdir /home/convert_tools;
chmod 755 /home/convert_tools;
cd /home/convert_tools;

步骤 2：

获取代码
git clone https://gitee.com/ascend/msit.git

2.3 下载MindIE

镜像版本：

mindie:2.0.T18.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz

加载镜像：

docker load -i mindie_2.0.T18.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz(下载的镜像名称与标签)

3. 环境部署

3.1 部署MindIE镜像

启动镜像：

docker run -itd --privileged --name= Qwen3-235B-W8A8-T18 --net=host --shm-size=500g \

--device=/dev/davinci0 \

--device=/dev/davinci1 \

--device=/dev/davinci2 \

--device=/dev/davinci3 \

--device=/dev/davinci4 \

--device=/dev/davinci5 \

--device=/dev/davinci6 \

--device=/dev/davinci7 \

--device=/dev/davinci_manager \

--device=/dev/devmm_svm \

--device=/dev/hisi_hdc \

-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \

-v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \

-v /usr/local/sbin/:/usr/local/sbin/ \

-v /var/log/npu/slog/:/var/log/npu/slog \

-v /var/log/npu/profiling/:/var/log/npu/profiling \

-v /var/log/npu/dump/:/var/log/npu/dump \

-v /var/log/npu/:/usr/slog \

-v /etc/hccn.conf:/etc/hccn.conf \

-v /home/convert_tools:/home/convert_tools \

-v /path/weight:/path/weight \

image id /bin/bash

检查镜像是否拉起

docker ps | grep Qwen3-235B-W8A8-T18

3.2 量化权重

3.2.1 安装量化工具

步骤 1进入docker容器
docker exec -it Qwen3-235B-W8A8-T18 bash

【点击阅读全文-华为O3社区】