Riffusion 是一个用于实时音乐生成的稳定扩散网站。它使用音频频谱图来可视化地表示声音剪辑的频率内容。它能够生成深沉、流畅的合成波,具有梦幻般的氛围。
链接:https://www.riffusion.com/
介绍
Riffusion是一种实时音乐生成模型,正在彻底改变AI生成的音乐世界。Riffusion由Seth Forsgren和Hayk Martiros开发,采用独特而创新的方法,使用音频图像而不是音频本身来制作奇怪而引人入胜的音乐。
Riffusion建立在一种称为Diffusion的机器学习技术之上,该技术通过逐渐用AI认为提示应该是什么样子来替换视觉噪声来生成图像。稳定扩散是最引人注目的扩散模型之一,由Forsgren和Martiros进行微调,以创建可以转换为音频的频谱图图像。
频谱图是音频的视觉表示形式,显示不同频率随时间变化的幅度。然后使用频谱图到音频转换算法将这种视觉表示转换为音频,从而产生由AI生成的独特音乐。
音乐创作新纪元
简单的文字真的不能形容音乐,只有当你去直观的体验它,你才能发现可视化创作的魅力。
下面放几个有趣的demo,有兴趣的小伙伴可以点开来听听。
探索
Forsgren和Martiros开始这个项目仅仅是因为他们热爱音乐,并希望探索在音乐生成中使用AI的可能性。当他们发现这项技术的潜力时,他们对每一步都印象深刻。
总之,Riffusion正在突破人工智能生成音乐的界限。 凭借其独特的方法,它提供了对音乐一代未来的一瞥,并为探索开辟了新的途径。无论您是音乐爱好者还是AI爱好者,Riffusion绝对值得一试。