框架
TRL
TRL 是 Hugging Face 出品的开源 AI 开发框架，2020 年推出，面向开发者。
用 SFT、DPO、GRPO 等方法对语言模型做后训练的库。
主打：模型微调。开源，可以免费使用。使用方式：自部署、本地离线运行、命令行。
这是 https://godooo.ai/zh/framework/trl 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。
速览
- 类别
- 框架
- 出品方
- Hugging Face
- 推出于
- 2020
- 所属星系
- 模型与 API
- 是否开源
- 是 · Apache-2.0
- GitHub 星标
- 19,377
- 使用方式
- 可自部署 · 可离线本地运行 · 命令行
- 适合谁
- 开发者
- 官网
- hf.co
- 别名
- Transformers Reinforcement Learning
能做什么
模型微调主打待校准
“TRL is a cutting-edge library designed for post-training foundation models using advanced techniques like Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), and Direct Preference Optimization (DPO).”— github.com, 2026-09-24
模型训练支持待校准
“TRL is a full stack library where we provide a set of tools to train transformer language models with methods like Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Reward Modeling, and more.”— huggingface.co, 2026-09-24
待校准由机器提出，尚待校准
平替与同类
- nanoGPT开源免费同样能做：模型微调、模型训练
- Kohya's GUI开源免费同样能做：模型微调、模型训练
- LlamaFactory开源免费同样能做：模型微调、模型训练
- Unsloth开源免费同样能做：模型微调、模型训练
- Axolotl开源免费同样能做：模型微调
- MLX开源免费同样能做：模型训练、模型微调
- PEFT开源免费同样能做：模型微调
- Hugging Face免费版 + 付费升级同样能做：模型微调、模型训练
- ModelScope开源免费同样能做：模型微调、模型训练
- Sentence Transformers开源免费同样能做：模型微调、模型训练
- Together AI付费同样能做：模型微调、模型训练
- Modal付费同样能做：模型微调、模型训练
关系
- 应用了
- RLHF
- 基于…构建
- Transformers
常见问题
TRL 是什么？
TRL 是 Hugging Face 出品的开源 AI 开发框架，2020 年推出，面向开发者。用 SFT、DPO、GRPO 等方法对语言模型做后训练的库。
TRL 免费吗？
免费。TRL 是开源软件（Apache-2.0）。
TRL 开源吗？
开源，许可证是 Apache-2.0。源代码在 https://github.com/huggingface/trl。
TRL 能本地运行吗？
能，可以在自己的电脑上离线运行。也可以部署在自己的服务器上。
TRL 能做什么？
主打：模型微调。也能做：模型训练。
TRL 是谁开发的？
由 Hugging Face 开发。
TRL 有哪些开源替代品？
开源的有：nanoGPT、Kohya's GUI、LlamaFactory、Unsloth、Axolotl、MLX、PEFT、ModelScope。其他：Hugging Face、Together AI、Modal。
来源
- github.com/huggingface/trl核实于 2026-09-24
- huggingface.co/docs/trl/index核实于 2026-09-24
- hf.co/docs/trl