MP

MPT-30B-Instruct

基础大模型

MosaicML Pretrained Transformer - 30B Instruct

发布时间: 2023-06-22

59
模型参数(Parameters)
300.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

是否支持推理过程

不支持

最高上下文输入长度

2K tokens

最长输出结果
暂无数据
模型类型

基础大模型

发布时间

2023-06-22

模型预文件大小

60

开源和体验地址

代码开源状态
预训练权重开源
CC-BY-NC-SA-3.0 - 不可以商用
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度(满分5分)
暂无数据
接口价格
暂无公开的 API 定价信息。

MPT-30B-Instruct模型在各大评测榜单的评分

当前尚无可展示的评测数据。

发布机构

MosaicML Pretrained Transformer - 30B Instruct模型解读

MPT-30B-Instruct是MosaicML开源的MPT-30B系列中针对指令进行微调的大模型。该模型代码依然采用Apache 2.0开源协议开源,但是其预训练结果却是CC-BY-NC-SA-3.0协议,不允许商用


MPT-30B是MosaicML训练的300亿参数规模的大模型,其基础模型相比较7B版本有了很大的改进,在效果和训练推理效率上都有很大的提升。


MPT-30B-Instruct通过在Dolly HHRLHF上对MPT-30B进行微调而建立的,Dolly HHRLHF来源于Databricks Dolly-15k和Anthropic Helpful and Harmless(HH-RLHF)数据集。它还在Competition Math、Duorc、CoT GSM8k、Qasper、Quality、Summ Screen FD和Spider上训练。

Foundation Model

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat