MOSS
目录
开源清单
模型
- moss-moon-003-base: MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x10次浮点数运算。
22
- moss-moon-003-sft: 基座模型在约110万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。
- moss-moon-003-sft-plugin: 基座模型在约110万多轮对话数据和约30万插件增强的多轮对话数据上微调得到，在
moss-moon-003-sft基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。
- moss-moon-003-pm: 在基于
moss-moon-003-sft收集到的偏好反馈数据上训练得到的偏好模型，将在近期开源。
- moss-moon-003: 在
moss-moon-003-sft基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更好的事实性和安全性以及更稳定的回复质量，将在近期开源。
- moss-moon-003-plugin: 在
moss-moon-003-sft-plugin基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更强的意图理解能力和插件使用能力，将在近期开源。
数据
- moss-002-sft-data: MOSS-002所使用的多轮对话数据，覆盖有用性、忠实性、无害性三个层面，包含由
text-davinci-003生成的约57万条英文对话和59万条中文对话。
- moss-003-sft-data:
moss-moon-003-sft所使用的多轮对话数据，基于MOSS-002内测阶段采集的约10万用户输入数据和gpt-3.5-turbo构造而成，相比moss-002-sft-data，moss-003-sft-data更加符合真实用户意图分布，包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数，约含110万条对话数据。目前仅开源少量示例数据，完整数据将在近期开源。
- moss-003-sft-plugin-data:
moss-moon-003-sft-plugin所使用的插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约30万条多轮对话数据。目前仅开源少量示例数据，完整数据将在近期开源。
- moss-003-pm-data:
moss-moon-003-pm所使用的偏好数据，包含在约18万额外对话上下文数据及使用moss-moon-003-sft所产生的回复数据上构造得到的偏好对比数据，将在近期开源。
介绍
MOSS是一个支持中英双语和多种插件的开源对话语言模型，
moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。局限性：由于模型参数量较小和自回归生成范式，MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容，请谨慎鉴别和使用MOSS生成的内容，请勿将MOSS生成的有害内容传播至互联网。若产生不良后果，由传播者自负。
MOSS用例：
Details Details Details
本地部署
下载安装
- 下载本仓库内容至本地/远程服务器
- 创建conda环境
- 安装依赖
其中
torch和transformers版本不建议低于推荐版本。使用示例
单卡部署（适用于A100/A800）
以下是一个简单的调用
moss-moon-003-sft生成对话的示例代码，可在单张A100/A800或CPU运行，使用FP16精度时约占用30GB显存：多卡部署（适用于两张或以上NVIDIA 3090）
您也可以通过以下代码在两张NVIDIA 3090显卡上运行MOSS推理：
命令行Demo
您可以运行仓库中的
moss_cli_demo.py来启动一个简单的命令行Demo：您可以在该Demo中与MOSS进行多轮对话，输入
clear 可以清空对话历史，输入 stop 终止Demo。
通过API调用MOSS服务
如您不具备本地部署条件或希望快速将MOSS部署到您的服务环境，请联系我们获取推理服务IP地址以及专用API KEY，我们将根据当前服务压力考虑通过API接口形式向您提供服务，接口格式请参考这里。
友情链接
- VideoChat with MOSS - 将MOSS接入视频问答
- ModelWhale - 支持在线部署MOSS的算力平台
如果您有其他开源项目使用或改进MOSS，欢迎提交Pull Request添加到README或在Issues中联系我们。
开源协议
本项目所含代码采用Apache 2.0协议，数据采用CC BY-NC 4.0协议，模型权重采用GNU AGPL 3.0协议。如需将本项目所含模型用于商业用途或公开部署，请签署本文件并发送至robot@fudan.edu.cn取得授权，商用情况仅用于记录，不会收取任何费用。如使用本项目所含模型及其修改版本提供服务产生误导性或有害性言论，造成不良影响，由服务提供方负责，与本项目无关。
致谢
- CodeGen: 基座模型在CodeGen初始化基础上进行中文预训练
- Mosec: 模型部署和流式回复支持
- Shanghai AI Lab: 算力支持
Star History
