FlagEval（天秤）-术心导航

FlagEval（天秤）

FlagEval（天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用AI方法实现对主观评测的辅助，大幅提升评

标签： AI大模型评测语言大模型评测多语言文图大模型评测文图生成评测

链接直达手机查看

FlagEval（天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用AI方法实现对主观评测的辅助，大幅提升评测的效率和客观性。

目前已推出语言大模型评测、多语言文图大模型评测及文图生成评测等工具，并对广泛的语言基础模型、跨模态基础模型实现了评测。

后续将全面覆盖基础模型、预训练算法、微调/压缩算法等三大评测对象，包括自然语言处理（NLP）、计算机视觉（CV）、音频（Audio）及多模态（Multimodal）等四大评测场景和丰富的下游任务。

类似网站

中文通用大模型综合性测评基准（SuperCLUE），是针对中文可用的通用大模型的一个测评基准

OpenBMB是一个致力于将大型模型技术普及化的平台。

Evidently AI，这是一个AI可观测性和ML监测平台

斯坦福大学推出的大模型评测体系

MMBench是一个用于评估指令微调视觉语言模型（VLM）各种能力的平台

OpenCompass是由上海人工智能实验室（上海AI实验室）于2023年8月正式推出的大模型开放评测体系，通过完整开源可复现的评测框架，支持大语言模型、多模态模型各类模型的一站式评测，并定期公布评测