AWS Machine Learning Blog· Mijanur Palash·· 3 小时前AI 评分38
在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod
AI 导读
GPT-OSS-20B 在多语言推理测试中仅 22% 的样本用目标语言推理,法语、西班牙语、意大利语均为 0%。团队在 Amazon SageMaker HyperPod 上用 LoRA 结合 SFT 与 GRPO 微调,结论是 SFT 承担主要工作、GRPO 在有提升空间时进一步优化。另用 Qwen2.5-7B 做对照实验,验证技术选择应与能力差距匹配。
来源:AWS Machine Learning Blog · aws.amazon.com