OpenRLHF, лёгкая и эффективная промышленная платформа обучения и выравнивания LLM, поддерживает полнопараметрическое и полнопроцессное обучение RLHF для моделей 70B! Что такое OpenRLHF? С момента появления ChatGPT внимание привлекли методы выравнивания RLHF, такие как InstructGPT, и постепенно появились попытки воспроизвести процесс обучения ChatGPT, включая ColossalChat, DeepSpeed...