MusicLM简介
MusicLM是Google研究小组开发的一个从文本生成音乐模型。MusicLM采用了层次化的序列到序列的方法,这使得它能够生成几分钟内一致的音乐。
此外,MusicLM还具备生成长音频序列的能力,即所谓的"故事模式",其中文本描述随时间变化,模型能够在不同的音乐背景之间产生平滑过渡,从而生成讲述故事的音乐。
MusicLM的训练数据非常庞大,包括5百万个音频片段,总共280,000小时的音频。同时,作者还创建了一个包含5500个音乐片段的数据集,并由职业音乐家编写了相应的音乐描述,这些描述都是由四句话组成的,每句话描绘的是音乐的某种特征(风格、情感、节奏等)。
这种大规模的数据集和精细的音乐描述为MusicLM提供了丰富的训练材料,使其能够生成多样化的音乐风格。
MusicLM 模型地址:https://google-research.github.io/seanet/musiclm/examples/