Unsloth：本地运行和微调大模型的工具箱

Unsloth 在 GitHub 上已经拿到 65,625 Star 了。

这是一个专门用来在本地运行和训练大模型的开源工具。文本生成、语音识别、图像理解、嵌入模型，它都能处理。提供两种使用方式：Unsloth Studio 是带 web 界面的版本，开箱即用；Unsloth Core 是代码版本，适合喜欢写脚本的人。

1、这玩意儿是干嘛的

一句话：让你在本地机器上搜索、下载、运行和微调各种大模型。

支持 500 多种模型格式，包括 GGUF、LoRA 适配器、safetensors。Inference 和 training 都能做，还能把模型导出到 GGUF、16 位 safetensors 等格式。工具调用、代码执行、API 推理端点这些功能也都有。文本、音频、图像、PDF、DOCX 都可以作为输入。

2、为什么要用它

本地跑大模型，显存是硬门槛。Unsloth 通过自定义 Triton 内核和数学优化，把训练速度提了最多 2 倍，显存占用砍掉 70%，而且不损失精度。强化学习这块，GRPO 训练能省 80% 的 VRAM，FP8 训练也支持。

它还内置了 Data Recipes 功能，可以从 PDF、CSV、DOCX 等文件自动创建数据集，用可视化节点工作流编辑数据。训练过程中可以实时监控 loss 曲线和 GPU 使用率。

3、安装和使用

macOS、Linux、WSL 下一行命令安装：

curl -fsSL https://unsloth.ai/install.sh | sh

Windows 用户用 PowerShell：

irm https://unsloth.ai/install.ps1 | iex

装完启动 Studio：

unsloth studio -p 8888

代码版本用 uv 安装：

uv pip install unsloth --torch-backend=auto

4、适合哪些人

• 需要在本地跑大模型但显存有限的个人开发者
• 要做模型微调或强化学习的研究人员
• 想搭本地 AI 工作流、对数据隐私有要求的团队
• 需要处理多模态数据的工程师

或强化学习的研究人员

• 想搭本地 AI 工作流、对数据隐私有要求的团队
• 需要处理多模态数据的工程师