使用ollama分别在我的window、mac、小米手机上部署体验llama3-8b（文末有福利）
1、## ollama到底是个什么玩意
一句话来说， Ollama 是一个基于 Go 语言开发的简单易用的本地大模型运行框架。可以将其类比为 docker（有类似docker中的一些常规命令list,pull,push,run 等等），事实上确实也制定了类似 docker 的一种模型应用标准，在后边的内容中，你能更加真切体会到这一点。
在管理模型的同时，它还基于 Go 语言中的 Web 框架 gin 提供了一些 Api 接口，让你能够像跟 OpenAI 提供的接口那样进行交互。
2、## 来看看ollama的几个命令
ollama 安装之后，其同时还是一个命令，与模型交互就是通过命令来进行的。
- ollama list：显示模型列表
- ollama show：显示模型的信息
- ollama pull：拉取模型
- ollama push：推送模型
- ollama cp：拷贝一个模型
- ollama rm：删除一个模型
- ollama run：运行一个模型
通过在命令行运行 ollama即可查看到相关命令
如果你用过 docker 的话，那简直就是so easy。 接下来我就在我的window、mac、以及小米手机上分别体验一下。
3、## window上下载及体验
- ollama.com/ 官网首页一进来就可以看到下载按钮，客户端可以在window、mac、linux等进行安装，跨平台的，真的nice啊。
并且上面已经把llama3集成进来了，这速度是真的快。 我这里下载的是window版本，目前213MB,很快就下载下来了。下载完毕即可安装
安装完毕之后你可以在命令行中输入查看版本
我们可以查看文档：[github.com/ollama/olla…]
如上图所示，可以用最简单的方式就可以来启动llama3-8b,不过它可能还要等一会儿，因为模型大小有4.7G左右，需要下载一会儿哟。 甚至你的配置够高，也可以使用70b的模型来尝试，不过我的电脑配置一般估计跑起来太慢。 
看这里下载速度还算可以，四分钟下载完毕，好了，那就先来测试一下吧。
上下文长度过长时确实有幻觉的问题。
这个回答速度真的再优化一下，很多小公司自己来部署大模型并进行创造就很近了。 但是它毕竟是小模型，参数相对较少，运行时所需要的资源就少很多。就像我本地运行的，其实我的电脑配置可以看一下如下图所示
从开发的角度来看还算不错了。另外对翻译的要求不高的话，效果也还过得去的。
同样的你也可以直接进行调用API
4、## mac 上安装以及体验
同样还是在官网首页可以点击直接下载即可，下载下来会是一个压缩包
解压然后安装就可以使用了，然后在命令行中可以查看是否安装成功
通过 ollama -v 来查看安装的版本，如果打印出来也就说明安装成功了 然后再通过 ollama serve 开启 ollama 的服务，注意当前这个命令行窗口暂时不要关闭，关闭了则代表 ollama 服务也暂时停止了，可以打开另外一个命令行窗口进行下载和使用大模型 同样的命令
哇塞，这会的下载速度简直起飞了 跑起来之后，测试就可以跟上面window类似了，这个就不在此多说了
5、## 小米手机再来体验一波
于是我在Termux中执行如下命令进行安装ollama ··· curl -fsSL [ollama.com/install.sh] | sh ··· 发现我的手机没有root,ollama是使用不起来的，必须要先root。
简单搜索发现一个不错的方法： [gitlab.com/st42/termux…]
但是点进去发现是五年前的，不知道能不能用，于是我就又搜索了一下
[github.com/termux/proo…]
proot-distro 是一个用于在 Termux 应用程序中管理和使用 Linux 发行版的项目。Termux 是一个 Android 终端模拟器和 Linux 环境应用，它不需要设备的 root 权限就可以运行。 proot-distro 允许用户在 Termux 中安装、卸载和运行各种 Linux 发行版，包括 Ubuntu、Debian、Arch Linux 等。这样，用户就可以在他们的 Android 设备上使用完整的 Linux 环境，包括安装和运行 Linux 软件包。
接下来要先在手机上打开termux
// 先来安装proot-distro
pkg install proot-distro
//使用proot-distro安装一个debian
proot-distro install debian
// 安装成功后通过login命令就直接进入debian
proot-distro login debian
//进入之后再来安装ollama
curl -fsSL https://ollama.com/install.sh | sh
// 安装完毕可以查看ollama版本进行验证
ollama -v
// 出现版本号之后就可以使用ollama
// 开启ollama服务
ollama serve
// 此时这个命令行的窗口不要关闭，关闭之后ollama服务就停止了
然后再termux左上角向右滑动
点击NEW SESSION,这样就新开了一个命令行，在这里命令行中就可以使用ollama其他命令了
// 这是一个新的命令行，，记得要先进入debian
proot-distro login debian
//下载并运行大模型
ollama run llama3
进行测试就跟上面一样了，这里相当于单独安装了一个模拟运行环境debian,会有一部分性能的消耗吧。有兴趣或者手机性能不错的到时候可以玩玩，感觉小模型在未来的某个时刻还是会有更广泛的应用场景，参数不用那么多，那么大，但是针对特定领域进行微调训练的。
6、## 总结
应该说llama3给与了开源模型更广阔的思考空间，期待开源模型更大的进步让我们拭目以待。同时希望Meta在接下来的时候能将llama3-400的发布。
就在实验此文章的过程中也发现了：
高通与Meta宣布合作，优化Meta新推出的Llama 3大语言模型在骁龙终端上的运行。Llama 3有两种版本，分别为80亿和700亿参数，旨在为智能手机、PC、VR/AR头显和汽车等设备提供强大的开源语言模型支持。合作将使开发者能够利用高通AI Hub的资源和工具，优化Llama 3在骁龙平台上的执行，以缩短产品上市时间，并提升终端侧AI的性能，包括响应能力、隐私性、可靠性和个性化体验。
这才几天过去，在huggingface平台就发现了8个中文微调模型，不得不说社区的力量真的太强大了，全民共享大模型。
从 Llama 3 的发布能看到，好而全的数据，对模型训练的重要性！ HuggingFaceFW 开源的 FineWeb，有 15T tokens 的高质量网络数据，以英文为主，由 CommonCrawl 获取的 2013-2024 年数据。
ollama和huggingface 给与了像我这样的普通人，就能很方便的了解AI大模型，并且在本地运行大模型，真的太高兴了，接下来有机会会继续尝试其他的可能性。好了，本文就到这里，福利也就是这几个中文微调模型也在此了，想体验更好的中文效果，就去玩玩吧。
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
更多推荐
30
0- 0
已为社区贡献8条内容
所有评论(0)