如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。

以本项目中默认使用的 LLM 模型 THUDM/ChatGLM2-6B 与 Embedding 模型 moka-ai/m3e-base 为例：

下载模型需要先安装 Git LFS，然后运行

参考：通义千问部署搭建_代码浪人的博客-CSDN博客

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

 git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git

拉代码

git clone https://github.com/QwenLM/Qwen-7B.git

pip install -r requirements.txt

pip install -r requirements_web_demo.txt

修改web_demo.py

启动：python web_demo.py

量化：(量化过程 报GPU版本问题 暂时未调通)

GPTQ

请注意：我们更新量化方案为基于 AutoGPTQ 的量化，提供Int4量化模型。该方案在模型评测效果几乎无损，且存储需求更低，推理速度更优。

以下我们提供示例说明如何使用Int4量化模型。在开始使用前，请先保证满足要求（如torch 2.0及以上，transformers版本为4.32.0及以上，等等），并安装所需安装包：

pip install auto-gptq optimum

随后即可使用和上述一致的用法调用量化模型：

下载：git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git

没成功 一直报这个GPU版本的问题

nvidia-smi

Start Locally | PyTorch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

conda  info --envs

conda remove --name ancillary --all

-------------------------------------------------------------

参考：【PyTorch】PyTorch、Cuda 的安装和使用_cuda pytorch-CSDN博客

conda create -n pytorch python=3.8

进入： conda activate pytorch

nvcc --version

查看版本

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

检查：

import torch

print(torch.__version__)
print(torch.version.cuda) # gpu
print(torch.backends.cudnn.version()) # cudnn 
print(torch.cuda.is_available())  # gpu
print(torch.cuda.device_count())

python -c "import torch; print(torch.version.cuda)"

退出：deactivate(参考)

pip install -r requirements.txt

再次启动 GPU 可以使用了。

改用量化的模型

修改模型的路径后

参考：通义千问-7B-Chat-Int4 · 模型库 (modelscope.cn)

pip install modelscope

pip install auto-gptq optimum

cd ..

git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention

cd flash-attention && pip install .

启动成功后 速度不错：

---------------------------------------------------------------------

conda deactivate

#获取版本号
conda --version 或 conda -V

#检查更新当前conda
conda update conda

#查看当前存在哪些虚拟环境
conda env list 或 conda info -e

#查看--安装--更新--删除包

conda list：
conda search package_name# 查询包
conda install package_name
conda install package_name=1.5.0
conda update package_name
conda remove package_name

#创建名为your_env_name的环境
conda create --name your_env_name
#创建制定python版本的环境
conda create --name your_env_name python=2.7
conda create --name your_env_name python=3.6
#创建包含某些包（如numpy，scipy）的环境
conda create --name your_env_name numpy scipy
#创建指定python版本下包含某些包的环境
conda create --name your_env_name python=3.6 numpy scipy
 

conda activate your_env_name

deactivate your_env_name

conda remove -n your_env_name --all

conda remove --name your_env_name --all