---

0. 引言

OpenCompass 模型评测，参考：《OpenCompass 初体验，新手如何跑通第一个模型评测》

OpenCompass github 看这里

OpenCompass 是面向大模型评测的一站式平台，官方介绍看这里。其主要特点如下：

（1）开源可复现：提供公平、公开、可复现的大模型评测方案

（2）全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力

（3）丰富的模型支持：已支持 20+ HuggingFace 及 API 模型

（4）分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测

（5）多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板，轻松激发各种模型最大性能

（6）灵活化拓展：想增加新模型或数据集？想要自定义更高级的任务分割策略，甚至接入新的集群管理系统？

1. 查看模型及数据集

如果没有下载 OpenCompass，先下载 github:

git clone https://github.com/open-compass/opencompass/tree/main

准备好项目之后，下载dataset：

# 下载数据集到 data/ 处
wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip

进入到 OpenCompass 项目中，执行：

# 列出所有配置
python tools/list_configs.py

2. 包含的数据集

OpenCompass 模型评测，请参考：《OpenCompass 初体验，新手如何跑通第一个模型评测》

3. 参考

https://github.com/open-compass/opencompass/blob/main/README_zh-CN.md

---

欢迎关注本人，我是喜欢搞事的程序猿； 一起进步，一起学习；

欢迎关注知乎/CSDN：SmallerFL

也欢迎关注我的wx公众号（精选高质量文章）：一个比特定乾坤