LLaMA-Factory简介
LLaMA-Factory是一个易于使用的大型语言模型(LLM)微调框架。它支持多种开源的大型语言模型,如 LLaMA、ChatGLM、Falcon 等。LLaMA-Factory 的主要特点包括:
通过 Web UI 进行 LLM 的微调和训练支持自定义数据集
利用 LoRA 和 4-8 位量化等效率创新,相比 P-tuning 方法,训练速度提高了最多 3.7 倍,GPU 内存使用也得到了减少
导出微调过的模型,可以通过 API、CLI 或 Web 演示轻松部署进行推理
通过大大简化 LLM 实验,LLaMA-Factory 加速了对话 AI 的研究和开发
开源地址:https://github.com/hiyouga/LLaMA-Factory