![cover](https://img-blog.csdnimg.cn/img_convert/cf52fbe57e404f30babcdda6f1ef2c08.png)
国内大语言模型对比评测(三)
国内大语言模型对比评测(三)
针对国产大模型的横空出世并不断打磨其性能,这次评测我们将覆盖国内所有开源的大语言模型(如下),也针对大家常用功能的设计了测试问题,用于评测其生成结果的优劣。测试问题统一为中文,用于为国内用户使用大语言模型提供参考。
我们所用到的国产大语言模型如下:
我们所涉及的测试问题主要涉及以下方面:自然语言理解、推理、创造性、情感和意图分析、语言多样性和翻译、多学科知识融合、偏见和伦理、鲁棒性、数学推理、医学诊断、多模态理解和生成。
评测系列文章:
- 国内大语言模型对比评测(一)
- 自然语言理解
- 推理
- 创造性
- 情感和意图分析
- 国内大语言模型对比评测(二)
- 语言多样性和翻译
- 多学科知识融合
- 偏见和伦理
- 鲁棒性
- 国内大语言模型对比评测(三)
- 数学推理
- 医学诊断
- 多模态理解和生成
九. 数学
测试问题:"找出数列 2,4,8,16,…的下一个数" |
评测结果:国产大语言模型在简单的数学推理结果均正确,其中百度文心3.5、抖音云雀、智谱清言思维链条较为完整 |
百度文心一言3.5
阿里通义千问
腾讯混元
讯飞星火
抖音云雀
![](https://i-blog.csdnimg.cn/blog_migrate/19041eb7f976ca86ec3afb428c7e8864.png)
智谱清言
百川智能
MINIMAX
十. 医学
测试问题:"一名患者出现发热、头痛和关节疼痛,可能的诊断是什么?" |
评测结果:国产大语言模型在医学诊断中结果几乎一致 |
百度文心一言3.5
阿里通义千问
腾讯混元
讯飞星火
抖音云雀
智谱清言
百川智能
MINIMAX
十一. 多模态
测试问题: |
评测结果: |
图像描述 | ![]() |
---|---|
图像故事描述 | ![]() ![]() ![]() |
厨房 | ![]() |
动物 | ![]() ![]() ![]() |
数据图表 | ![]() |
收据 | ![]() |
百度文心一言3.5
![]() |
![]() |
![]() (2) 图像到文本 图像描述 |
![]() |
![]() (3) 交互式问题 解决问题 |
![]() |
![]() |
![]() |
阿里通义千问
![]() |
![]() |
![]() (2) 图像到文本 图像描述 |
![]() |
![]() (3) 交互式问题 解决问题 |
![]() |
![]() |
![]() |
腾讯混元
![]() |
![]() |
讯飞星火
![]() |
![]() |
![]() |
![]() (2) 图像到文本 图像故事描述 |
![]() |
![]() (3) 交互式问题 教育活动 |
![]() (4)数据分析 图表解读 |
![]() |
抖音云雀
![]() |
![]() |
智谱清言
![]() |
![]() |
![]() |
![]() (2) 图像到文本 图像故事描述 |
![]() |
![]() (3) 交互式问题 教育活动 |
![]() (4)数据分析 图表解读 |
![]() |
百川智能
![]() |
![]() |
MINIMAX
![]() |
![]() |
总结
针对国产免费使用的大语言模型,我们基于不同方面的问题去测试模型并给出一个基础结果和主观评价。希望通过该工作以帮助各位读者找到满足自己需求的大语言模型,提高大家的工作学习效率。
对于大模型生成结果给出一个综合排档:
第一档:阿里通义千问、百度文心、智谱清言、讯飞星火
第二档:腾讯混元、百川智能、抖音云雀
第三档:MINIMAX
后续我们仍会继续精进测评结果!!!
更多推荐
所有评论(0)