1 引言

优化模型之后，评估是不可避免的。打榜可以证明模型的能力，同时还有其他一些好处：

  1. 当我们对模型进行微调或进行工程优化后，需要采用相对客观的标准来评估工作成果。
  2. 在选择模型基座或在应用中选择适合自己的模型时，至少要了解一下所选模型在行业内的水平，毕竟论文实验里可能存在田忌赛马的情况。
  3. 如果项目庞大且复杂，可能需要建立自己的评估工具，以进行更有针对性的测试。除了评估大型模型的自动编码效果外，还上可评估我们的代码质量。

以下是一些推荐的评估工具和排行榜。EvalPlus 是一个比较推荐的工具，它是 HumanEval 的增强版，并对程序错误进行了更严格的判断。论文首次提交于 2023 年 5 月，排行榜一直在更新。推荐该工具主要因为排行榜得分与我们主观感受比较一致。

2 HumanEval：LLM 代码生成基准

HumanEval 可以算是代码模型的标准测试，一般论文实验部分都使用它评测，它主要评测的是模型自身的性能。

HumanEval 由 HumanEval 数据集和用于评估 LLM 性能的 pass@k 指标组成。这个手工制作的数据集包含 164 个编程挑战的单元测试，以及用于评估生成代码功能正确性的评估指标。

数据集包含 164 个手写编程问题，用于评估语言理解、算法和简单数学。每个问题都包括：函数签名、文档字符串、正文和多个单元测试，平均每个问题有 7.7 个测试。

pass@k 指标旨在评估生成代码示例的功能正确性。pass@k 指标定义为：在生成代码的前 k 个中至少有一个通过单元测试的概率。

  • 排行榜：https://paperswithcode.com/sota/code-generation-on-humaneval
  • 项目地址：https://github.com/openai/human-eval 1.8k Star
  • 论文：https://arxiv.org/abs/2107.03374（2021.7.7 第一次提交）

3 EvalPlus

EvalPlus 也是一个代码生成基准测试框架，用于严格评估代码生成大模型的正确性。它采用基础评估数据集，并使用自动输入生成步骤来生成大量新的测试输入。此外，它还使用了基于突变和基于突变的输入生成器来生成和多样化大量新的测试输入，以进一步验证生成代码。

EvalPlus 扩展了流行的 HumanEval 基准测试，并额外生成了 81 个测试构建 HumanEval，对 14 种流行 LLMs 产品的进行评估。和以前的基准方法相比，EvalPlus 使用 LLMs 合成了一些错误代码，进行更严格的测试，并捕获了大量以前未检测到的错误代码。

  • github 地址：https://github.com/evalplus/evalplus 695 Star
  • 论文地址：https://arxiv.org/abs/2305.01210（2023.5.2 第一次提交）
  • 排行榜：https://evalplus.github.io/leaderboard.html

（这个排行榜和我们的主观感受比较一致，建议点开看看）

4 CodeBLEU

通过评估 CodeBLEU 与程序员在三个代码合成任务（即文本到代码、代码转换和代码优化）上分配的质量分数之间的相关系数来进行实验。

  • 论文地址：https://arxiv.org/abs/2009.10297（2020.9.22 第一次提交）

5 MBPP（Python 编程测试）

MBPP（Mostly Basic Programming Problems）基准测试旨在评估 LLM 在从自然语言描述中合成简短 Python 程序方面的能力。该数据集包含 974 个编程任务，旨在供初学者解决，涵盖编程基础知识和标准库功能等。每个问题都包含任务描述、代码解决方案和 3 个用于检查功能正确性的自动化测试用例。MBPP 数据集可以在 huggingface 上找到。

  • 论文地址：https://arxiv.org/pdf/2108.07732.pdf

6 SWE-bench 测试 LLM 能否解决 Github 问题

SWE-bench 是一个基准测试，用于评估大型语言模型解决现实世界软件问题的能力。从 GitHub 收集的现实世界软件问题，给定一个代码库和一个问题，语言模型的任务是生成一个补丁来解决所描述的问题。

  • 代码地址：https://github.com/princeton-nlp/SWE-bench 261 Star
  • 论文地址：https://arxiv.org/abs/2310.06770（2023.10.10 第一次提交）

7 参考

LLM Benchmarking: How to Evaluate Language Model Performance

# 测试工具
Logo
GitCode 开源社区

旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。

更多推荐

[转载]在Windows环境下安装GNU Radio

转自：在Windows环境下安装GNURadio_恐弱智_新浪博客GNU Radio是用Python开发的，大部分开源的工程能够在Linux环境下运行良好，而Windows下却运行的很勉强，而且安装配置都很复杂。GNU Radio算是个例外了，不光提供了Windows的二进制安装，还有比较详细的说明。我是Python小白，所以折腾了好久才弄好，特意记录下来，免得以后再装还折腾。GNU Radio的

avatar GitCode 开源社区

centOS 8 使用dnf安装Docker

DNF是什么？CentOS 8使用YUM软件包管理器版本v4.0.4。现在，该版本使用DNF(已删除YUM)。DNF是软件包管理器。它会在Linux发行版上安装，执行更新并删除软件包。使用DNF安装Docker跳过具有损坏依赖性的程序包一个有效的解决方案是使您的CentOS 8系统使用以下--nobest命令安装最符合条件的版本：sudo dnf install docker...

avatar GitCode 开源社区

定时同步数据库表(mysql+linux+crontab)

sync.sh里面的参数需要改变，ip/username/password/database/tablesync.sh#!/bin/sh# Please change the IP and password of the data source db.# Then change the table name.filename=/home/nington/db/$(date +%Y-%m

avatar GitCode 开源社区