项目 “WinForm_Ollama_Copilot” 是一个使用Windows Forms作为前端的Ollama AI Copilot应用程序。这个项目的目的是提供一个用户界面(UI),通过它,用户可以与Ollama AI进行交互。以下是该项目的一些关键特点和功能:

  • Ollama Copilot: 这是一个为Windows操作系统设计的Ollama AI的用户界面。它允许Copilot响应自动转发到其他应用程序,就像其他付费copilots一样。

  • 集成功能: 该项目包括语音转文本、文本转语音和光学字符识别(OCR)等功能,所有这些都使用免费的开源软件实现。

  • 版本更新: 项目已经经历了多次更新,包括对模型名称中的版本支持、添加打开应用程序文件夹按钮、使用历史记录复选框等功能的增加。

  • 安装程序: 项目包括Windows Installer Setup Project,它包含Python和辅助脚本,以便用户可以轻松安装和运行应用程序。

此外,项目还包括了一些示例脚本和命令,如启动Pyttsx3Server和TesseractOCRServer,这些都是与项目集成的服务。项目还提供了一个安装程序,使用户可以在Windows上安装和运行Ollama Copilot。

测试本地大模型llava:latest

LLaVA(Large Language and Vision Assistant)是一个由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学研究者共同发布的多模态大模型。这个模型结合了语言和视觉处理能力,旨在提供一个通用的助手,能够有效地遵循多模态指令,例如视觉或语言的指令,满足人类的意图,在真实环境中完成各种任务。

LLaVA模型的主要特点包括:

  • 多模态指令数据:使用ChatGPT/GPT-4将图像-文本对转换为适当的指令格式,以支持模型的训练。

  • 大型多模态模型:通过连接CLIP的开源视觉编码器和语言解码器LLaMA,开发了一个大型多模态模型(LMM),并在生成的视觉-语言指令数据上进行端到端微调。

  • 开源:研究者向公众发布了生成的多模式指令数据、用于数据生成和模型训练的代码库、模型检查点和可视化聊天演示。

LLaVA模型在多模态理解和生成方面展现出了强大的能力,尤其是在视觉问答、图像描述等任务上。它已经在多个基准测试中展现出了新的状态最优(SOTA)成绩,成为OpenAI的GPT-4V的有力竞争对手。

5825c934879e18a3d30248a019793248.png

主界面切换到Config 页选择已安装的Ollama模型“llava:latest”

a71d36271759aa1cadf27866308a75ee.png

42c8906a7935bcc6fb70ac340983150d.jpeg

切换到Prompt 进行文本提问(Ctrl+Enter提交)

eb58d29737daa9a0fefd308ba740d154.png

修改提示词,准备对图片进行问答

138853c61e03b5d9d3b54ac0dfdc6cc8.png

切换到Images页面

487b1ce9fa55c4af5075345af6e5af1c.png

复制一张图片,点击Paste,之后Submit

d2b9ff8fa35d5ca5d9b728fda82ef2ee.png

(提示词)识别图片内容,请用中文回答,下面为对图片的描述

这张图片中的内容是:


* 一位腹肌发达的男性,他正站在一个红色的单车上。
* 男性戴着黑色的运动服装和白色的球鞋。
* 周围有一些建筑物和城市环境。
* 男性肌肉发达,展现出来是一个健身人士,可能是一个健身教练或者单车运动员。


无法确定他的具体职业,但他确实有很好的身材和身材健康的生活习惯。

0aab97ab0aec1763bd80426083110b41.png

再复制一张图片,先点击Clear,再点击Paste,最后Submit

f08e7500b3e00c97eb1bf38d80f0a48b.png

这张图片是一张街道上的行走者,她正在过马路,而且有一些交通设施,
比如自行车道和烧瓜机。这个女人身上没有背包,因此不能确定她是否携带物品。
当然,图片中的其他细节也可以看出这是一个公共地区。

图片描述结果

8fca5570f9df0183de9501c19ecfb1b7.png

翻译为中文:
图像显示一名行人在红绿灯处过马路。这个人正在穿过人行横道,人行横道有斑马
线图案。他们穿着蓝色牛仔裤和深色上衣,一只脚抬起,仿佛在跨步中。这个人提
着一个手提包,似乎在向前看。
街道本身非常繁忙,有许多车辆,包括停放和行驶的汽车和卡车。图像左侧有一辆
白色货车,背景中还可以看到其他几辆车。角落里还有一个交通信号灯,表明这是
一个有管制的十字路口。
图像中没有可见的文字。整个场景表明这是一个有正常交通状况的城市环境。这个
人的动作暗示他们正在遵守在指定区域过马路的规则。

英文提示词:Describe this image 或 “What is shown in this image?”

注:中文效果可能没有英文详细。而且每次回答不尽相同

a161a853646dea9d0bad976ece31e375.jpeg

29e0ebe530e64f8f25f40f3af60bebbf.jpeg

2661758563556b0d917c12414060a78d.jpeg

参考网址

https://github.com/tgraupmann/WinForm_Ollama_Copilot/releases/tag/v1.0.5 程序下载地址

GitHub 加速计划 / oll / ollama
82.42 K
6.3 K
下载
启动并运行 Llama 2、Mistral、Gemma 和其他大型语言模型。
最近提交(Master分支:1 个月前 )
01b80e9f add conversion for microsoft phi 3 mini/medium 4k, 128k 1 个月前
bd5e4326 - 1 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐