近日，科技媒体marktechpost报道，苹果工程师与法国索邦大学合作研究显示，在多模态AI领域，从头训练的早期融合模型展现出显著优势。当前多模态AI主要依赖后期融合策略，即将预训练的单模态模型组合使用，但这种方法难以实现真正的跨模态理解，且在大规模任务中计算资源分配复杂。

研究团队对比了早期融合与后期融合模型，发现两者性能相当，但早期融合模型在低计算预算下更高效、更易扩展。此外，专家混合（MoE）稀疏架构被证明能动态分配参数，优化不同模态处理能力，尤其在小规模模型中表现突出。实验结果表明，原生多模态模型结合稀疏架构，可能成为构建高效多模态AI系统的关键路径。这一突破为未来AI技术发展提供了新思路。