MindSpore Transformers套件的目标是构建一个大模型预训练、微调、评测、推理、部署的全流程开发套件，提供业内主流的Transformer类大语言模型（Large Language Models, LLMs）和多模态理解模型（Multimodal Models, MMs）。期望帮助用户轻松地实现大模型全流程开发。
MindSpore Transformers套件基于MindSpore内置的多维混合并行技术和组件化设计，具备如下特点：
1、一键启动模型单卡或多卡预训练、微调、评测、推理、部署流程；
2、提供丰富的多维混合并行能力可供灵活易用地进行个性化配置；
3、大模型训推系统级深度优化，原生支持超大规模集群高效训推，故障快速恢复；
4、支持任务组件配置化开发。任意模块可通过统一配置进行使能，包括模型网络、优化器、学习率策略等；
5、提供训练精度/性能监控指标实时可视化能力等。
mindformers大模型开发套件v1.6.0 源码链接：https://www.hycodes.cn/xcx/5052.html
下载说明：本站部分资源供学习交流使用，如商业用途，请购正版。
上一篇：ragflow
