什么是MedicalGPT

MedicalGPT 是一个基于ChatGPT训练流程的医疗行业语言模型项目，主要包括增量预训练、有监督微调和强化学习。项目旨在通过不同的训练阶段，优化模型以更好地适应医疗数据，提高问答和文本生成的准确性和质量。此外，该项目还引入了直接偏好优化(DPO)和无参考模型的优化(ORPO)技术，使得模型在无需复杂的强化学习框架下，能够有效学习并适应人类偏好。项目通过多种数据集和训练策略，实现了模型的持续进化和功能扩展。

MedicalGPT：https://github.com/shibing624/MedicalGPT

MedicalGPT特点

基于ChatGPT训练流程，本项目实现了一个专注于医疗行业的语言大模型训练：

第一阶段：PT（Continue PreTraining，持续预训练）在海量领域文档数据上进行增量预训练，以使GPT模型适应领域数据分布。

第二阶段：SFT（Supervised Fine-tuning，有监督微调）构建有指令的微调数据集，在已预训练的模型基础上进行指令精调，以匹配指令意图并融入领域知识。

第三阶段包括两部分：

·RM（Reward Model，奖励模型）通过构建人类偏好排序的数据集训练奖励模型，用以模拟人类偏好，主要遵循“有益、诚实、无害”（HHH）的原则。

·RL（Reinforcement Learning，强化学习）利用奖励模型训练SFT模型，使得生成模型通过奖励或惩罚更新其策略，从而生成更高质量、更符合人类偏好的文本。

DPO（Direct Preference Optimization，直接偏好优化）方法通过直接优化语言模型的行为，无需复杂的强化学习流程，有效地学习人类偏好，相较于RLHF，DPO更易实现且训练效果更优。

ORPO（无需参考模型的优化方法）使语言大模型能够同时学习遵循指令和满足人类偏好。