南洋理工推出FreeInit：革新AI视频生成，大幅提升内容一致性

南洋理工大学近日发布了一项创新方法——FreeInit，该方法在人工智能视频生成领域取得了重大突破，显著提高了生成内容的时间一致性。据演示显示，该技术流畅度出众，且与现有的SD生态完美兼容。

除此之外，研究团队还发布了与Animatediff结合的新策略。虽然目前需要等待专业人士制作相关插件才能使用，但预计这将为视频生成领域带来另一场革命。为了直观展示FreeInit的效果，视频中提供了使用与未使用FreeInit的Animatediff效果对比。

项目地址：https://tianxingwu.github.io/pages/FreeInit/。

在研究过程中，团队深入探索了视频扩散模型的噪声初始化问题，并发现了一个导致推断质量下降的隐含的训练-推断差距。他们发现，推断时初始潜变量的信噪比（SNR）的时空频率分布与训练时存在明显差异，且去噪过程受到初始噪声的低频分量的显著影响。

受到这些观察的启发，研究团队提出了FreeInit这一简洁而高效的推断采样策略。通过在推断过程中迭代优化初始潜变量的时空低频分量，FreeInit成功缩小了训练和推断之间的初始化差距，从而显著改善了生成视频的时间一致性和主体外观。

具体而言，FreeInit采用迭代方式改进推断初始噪声。通过DDIM采样、DDPM前向和噪声重新初始化，初始噪声的低频成分逐渐得到优化，进而持续提升时间一致性和整体视觉效果。

这一方法的发布无疑为人工智能视频生成领域揭开了新的篇章，预示着视频生成质量和时间一致性将迈上新台阶。随着技术的不断完善和发展，我们有理由相信，FreeInit将为视频内容创作和人工智能应用开辟更广阔的可能性。