CanFlyhang/llm: LightweightLM 是一个高效、灵活的轻量化语言模型训练架构,基于 Transformer 架构设计,专为资源受限环境打造。
LightweightLM 是一个高效、灵活的轻量化语言模型训练架构,基于 Transformer 架构设计,专为资源受限环境打造。
-
参数量少:相比传统大模型,参数量大幅减少,适合在普通 GPU 或甚至 CPU 上训练
-
推理速度快:优化的模型结构,实现更快的推理速度
-
功能完整:包含从数据处理到模型训练、评估和部署的完整流程
-
易于扩展:模块化设计,支持多种模型配置和训练策略
点击上方绿色文字即可跳转到项目文档页面