Mi

Mistral-7B-Instruct-v0.3

聊天大模型

Mistral-7B-Instruct-v0.3

发布时间: 2024-05-22

573
模型参数(Parameters)
70.0
最高上下文长度(Context Length)
4K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

是否支持推理过程

不支持

最高上下文输入长度

4K tokens

最长输出结果
暂无数据
模型类型

聊天大模型

发布时间

2024-05-22

模型预文件大小

14GB

开源和体验地址

代码开源状态
预训练权重开源
Apache 2.0 - 免费商用授权
GitHub 源码
暂无GitHub开源地址
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度(满分5分)
暂无数据
接口价格
暂无公开的 API 定价信息。

Mistral-7B-Instruct-v0.3模型在各大评测榜单的评分

综合评估

共 4 项评测
MMLU normal
64.20
58 / 59
BBH normal
56.10
15 / 18
MMLU Pro normal
30.90
105 / 107
GPQA Diamond normal
24.70
131 / 135

数学推理

共 2 项评测
GSM8K normal
36.20
20 / 24
MATH normal
10.20
40 / 41

编程与软件工程

共 2 项评测
MBPP normal
51.10
25 / 27
HumanEval normal
29.30
34 / 36

常识推理

共 1 项评测
ARC normal
60
3 / 4

发布机构

Mistral-7B-Instruct-v0.3模型解读

MistralAI开源的70亿参数规模大语言模型Mistral-7B的v0.3版本,这是基于基座模型进行指令微调得到的。相比较v0.2版本,其主要改进包括三个:

  • 词汇表从32000扩展到32768
  • 支持v3的tokenizer
  • 支持函数调用

从上述改进看,这个版本最大的优化是对函数调用的支持。说明了模型训练过程中应该加入了类似语料,或者是微调阶段使用了相关的数据集。Mistral-7B一直是70亿参数规模大模型中非常优秀的版本。此次v0.3版本支持函数调用更是将70亿参数规模模型往前推动了一大把。

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat