AMD近日宣布，已将优化的DeepSeek-V3模型集成到Instinct MI300X GPU上，显著提升AI推理性能。DeepSeek-V3是此前最强的开源大型语言模型（DeepSeek-R1是目前最强的开源大型语言模型），采用混合专家（MoE）架构，总参数量达6710亿。
通过SGLang的强化优化，DeepSeek-V3在发布首日即可在AMD GPU上运行。AMD的ROCm平台支持FP8浮点格式，减少内存瓶颈和延迟，提升训练和推理效率。
这一集成在文本生成、视觉识别和自然语言处理等领域展现了强大潜力，为AI开发带来新突破。
#AMD #DeepSeek #人工智能 #SGLang #商业
