飞桨开源社区博客

本文概述了大型语言模型（LLM）的后训练（post-training）方法，主要包括监督微调（Supervised Fine-tuning, SFT）、直接偏好优化（Direct Preference Optimization, DPO）和在线强化学习（Online Reinforcement Learning, Online RL）。尽量通过通俗易懂的方式介绍这些技术细节，适合对 LLM 有兴趣但非专业的读者。

• 论文链接：vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention | Proceedings of the 30th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 1
• 关键词：KV cache, CUDA

CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens

• 论文链接：https://arxiv.org/pdf/2407.05407
• 项目链接：https://github.com/FunAudioLLM/CosyVoice

“我之前以为 GLCC 就是大厂开放一些边角料课题给在校生练练手，但参与之后发现，飞桨的赛题足够硬核，它的难度、复杂度、完备度都远超我的预期。最终，它给我的收获也远超预期。”