DeepSeek发布统一图像理解与生成的Janus-Pro系列模型
1月27日晚，DeepSeek发布了Janus-Pro系列，旨在将图像理解和生成整合至单个模型中。该模型框架采用极简架构，将自回归语言模型与生成建模领域的前沿方法Rectified Flow相结合，在统一图像理解和生成方面取得了重要进展。
据涩橘的Telegram频道，Rectified Flow可以直接在大型语言模型框架内进行训练，无需复杂的架构修改。JanusFlow是一个支持图像多模态的LLM，参数量为70亿（7B），方便本地运行。训练方式采用传统的预训练和SFT，未使用强化学习。现有数据表明，JanusFlow在性能上超越了同参数量的其他模型，并且Janus-Pro在GenEval和DPG-Bench基准测试中击败了OpenAI的DALL-E 3和Stable Diffusion，这是一个重要的性能提升，表明其在文本到图像生成方面具有很强的竞争力。目前，线上演示平台尚未开放，详细技术报告也暂未上传。初步分析认为，JanusFlow旨在实现大模型视觉生成的端到端处理，相较之前的版本有所改进，但在图像生成质量上与专门的图像生成模型（如Stable Diffusion）相比仍有差距。模型输入输出分辨率为384x384。推测其技术实现可能整合了Rectified Flow、SigLIP和SDXL-VAE等架构，并将其集成到Transformer的解码器/编码器中，通过联合训练对齐语义向量。虽然该成果的震撼程度不及V3和R1等重大突破，但仍然值得期待其未来的发展潜力。
DeepSeek持续推动技术创新，即使在除夕也有新成果发布，充分展现了其强大的研发能力。虽然目前的JanusFlow在图像生成方面并非顶尖水平，但它为未来更大规模的多模态模型探索了道路，并为其他模型树立了新的基准。
#DeepSeek #多模态 #图像生成 #人工智能
1月27日晚，DeepSeek发布了Janus-Pro系列，旨在将图像理解和生成整合至单个模型中。该模型框架采用极简架构，将自回归语言模型与生成建模领域的前沿方法Rectified Flow相结合，在统一图像理解和生成方面取得了重要进展。
据涩橘的Telegram频道，Rectified Flow可以直接在大型语言模型框架内进行训练，无需复杂的架构修改。JanusFlow是一个支持图像多模态的LLM，参数量为70亿（7B），方便本地运行。训练方式采用传统的预训练和SFT，未使用强化学习。现有数据表明，JanusFlow在性能上超越了同参数量的其他模型，并且Janus-Pro在GenEval和DPG-Bench基准测试中击败了OpenAI的DALL-E 3和Stable Diffusion，这是一个重要的性能提升，表明其在文本到图像生成方面具有很强的竞争力。目前，线上演示平台尚未开放，详细技术报告也暂未上传。初步分析认为，JanusFlow旨在实现大模型视觉生成的端到端处理，相较之前的版本有所改进，但在图像生成质量上与专门的图像生成模型（如Stable Diffusion）相比仍有差距。模型输入输出分辨率为384x384。推测其技术实现可能整合了Rectified Flow、SigLIP和SDXL-VAE等架构，并将其集成到Transformer的解码器/编码器中，通过联合训练对齐语义向量。虽然该成果的震撼程度不及V3和R1等重大突破，但仍然值得期待其未来的发展潜力。
DeepSeek持续推动技术创新，即使在除夕也有新成果发布，充分展现了其强大的研发能力。虽然目前的JanusFlow在图像生成方面并非顶尖水平，但它为未来更大规模的多模态模型探索了道路，并为其他模型树立了新的基准。
#DeepSeek #多模态 #图像生成 #人工智能
