中文通用大模型综合性测评基准(SuperCLUE),是针对中文可用的通用大模型的一个测评基准
H2O.ai是一家专注于人工智能和机器学习的公司,提供了一系列的AI产品和解决方案。
PubMedQA是一个针对生物医学研究问答的在线平台
FlagEval(天秤)大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用AI方法实现对主观评测的辅助,大幅提升评
斯坦福大学推出的大模型评测体系
MMBench是一个用于评估指令微调视觉语言模型(VLM)各种能力的平台
OpenCompass是由上海人工智能实验室(上海AI实验室)于2023年8月正式推出的大模型开放评测体系,通过完整开源可复现的评测框架,支持大语言模型、多模态模型各类模型的一站式评测,并定期公布评测
CMMLU是一个综合性的汉语评估基准,专门用于评估语言模型在汉语背景下的知识和推理能力
MMLU (Massive Multitask Language Understanding) 是一种新的基准测试