OpenCompass是由上海人工智能实验室(上海AI实验室)于2023年8月正式推出的大模型开放评测体系,通过完整开源可复现的评测框架,支持大语言模型、多模态模型各类模型的一站式评测,并定期公布评测结果榜单。
OpenCompass平台广泛支持超过40+个HuggingFace和API模型,整合了100+个基准测试和大约400,000个问题,以评估八个维度的模型。其高效的分布式评估系统允许对数十亿个规模的模型进行快速、彻底的评估。该平台支持多种评估方法,包括零样本、少样本和链式评估,并采用高度可扩展的模块化设计,可轻松添加新模型、基准测试或自定义任务策略。此外,OpenCompass还包括强大的实验管理和报告工具,用于详细跟踪和实时结果显示。
©️版权声明:如涉及作品内容、版权和其它问题,请联系我方删除,我方将在收到通知后第一时间删除内容!本文只提供参考并不构成任何投资及应用建议。本站拥有对此声明的最终解释权。