StoneX AI导航工具AI模型评测
FlagEval
FlagEval（天秤）是北京智源人工智能研究院（BAAI）推出的科学、公正、开放的大模型评测体系及开放平台，为研究人员提供全面评估基础模型及训练算法性能的工…
FlagEval是什么
- FlagEval（天秤）是北京智源人工智能研究院（BAAI）推出的科学、公正、开放的大模型评测体系及开放平台，为研究人员提供全面评估基础模型及训练算法性能的工具和方法。FlagEval采用“能力-任务-指标”三维评测框架，从多个维度对大模型的认知能力进行评估，涵盖对话、问答、情感分析等多种应用场景，提供超过22个数据集和8万道评测题目。平台支持多模态模型评测，覆盖文本、图像、视频等多种数据类型，兼容多种AI框架和硬件架构。FlagEval提供自动化评测机制，支持主观与客观评测的全自动流水线，帮助研究人员高效、准确地
FlagEval的主要功能
- 多维度评测框架：采用“能力-任务-指标”三维评测框架，从多个维度全面评估大模型的认知能力，涵盖对话、问答、情感分析等多种应用场景。
- 丰富的评测数据集：提供超过22个数据集和8万道评测题目，覆盖不同应用场景、难度级别和语言类型，确保评测的全面性和准确性。
- 多模态支持：支持文本、图像、视频等多种模态的模型评测，满足不同类型模型的评估需求。
- 自动化评测机制：实现主观评测和客观评测的全自动流水线，支持自适应评测机制，用户可根据模型类型和状态选择评测策略，提高评测效率。
- 广泛的模型覆盖：涵盖超过800个开源和闭源模型，支持多种AI框架（如PyTorch和MindSpore）和硬件架构（如NVIDIA、昇腾、寒武纪和昆仑芯等）。
- 排行榜与结果展示：提供详细的评测数据表格和排行榜，展示不同模型的评测结果，帮助研究人员直观了解模型性能。
如何使用FlagEval
- 注册与登录：访问 FlagEval 官网，注册并登录用户账户。
- 准备模型与代码：根据 FlagEval 平台的要求，准备好待评测的模型文件、推理代码及相关配置文件。例如，在计算机视觉（CV）领域，需要提供模型的基本信息，如输入图像的预处理参数、任务相关的批处理大小等。
- 安装 FlagEval-Serving 工具：通过安装 FlagEval-Serving 工具，用户可以上传模型、代码和数据等待评测的文件。
- 上传模型与代码：在 FlagEval 平台上点击“上传模型 & 代码”，获取上传所需的 token，然后使用命令行工具上传模型文件和代码。
- 创建评测任务：在评测任务列表页面，点击“创建评测”，填写相关参数，包括评测领域、模型名称、描述、评测任务、镜像选择、卡型选择等。
- 提交评测任务：完成上述设置后，提交评测任务，平台将自动运行评测流程。