Multi-band MelGAN: Faster Waveform Generation for High-Quality Text-to-Speech
Abstract:
In this paper, we propose multi-band MelGAN, a much faster waveform generation model targeting to high-quality text-to-speech. Specifically, we improve the original MelGAN by the following aspects. First, we increase the receptive field of the generator, which is proven to be beneficial to speech generation. Second, we substitute the feature matching loss with the multi-resolution STFT loss to better measure the difference between fake and real speech. Together with pre-training, this improvement leads to both better quality and better training stability. More importantly, we extend MelGAN with multi-band processing: the generator takes mel-spectrograms as input and produces sub-band signals which are subsequently summed back to full-band signals as discriminator input. The proposed multi-band MelGAN has achieved high MOS of 4.34 and 4.22 in waveform generation and TTS, respectively. With only 1.91M model parameters, our model effectively reduces the total computational complexity of the original MelGAN from 5.85 to 0.95 GFLOPS. Our Pytorch implementation, which will be open-resourced shortly, can achieve a real-time factor of 0.03 on CPU without hardware specific optimization.
Index
Model
Loss
F0
basic MelGAN
feature matching loss + gan loss
F1
+ Pretrain G
feature matching loss + gan loss
F2
+ multi-resolution STFT
multi-resolution stft loss + gan loss
F3
+ Deepen ResStack
multi-resolution stft loss + gan loss
M1
MB-MelGAN
full-band loss + gan loss
M2
MB-MelGAN
sub-band + full-band loss + gan loss
Neutral vocoder
3.3.1 Improvements on basic MelGAN
1. 建议北京也搞一个哟！
F0
F1
F2
F3
target
2. 秋保的脚部等处也负有轻伤。
F0
F1
F2
F3
target
3. 这已不是蔡某首次伸出肮脏之手。
F0
F1
F2
F3
target
4. 目前，四位市民已为自己的爱犬报名。
F0
F1
F2
F3
target
5. 随着关于“收入增长”的陆续吹风，百姓的胃口被越吊越高。
F0
F1
F2
F3
target
6. 于是，他们向乡政府提出，想义务赡养乡里的一些孤寡老人。
F0
F1
F2
F3
target
7. 枪案发生后警方封锁了曼哈顿多条街道。
F0
F1
F2
F3
target
8. 我们从黄海之滨，向青藏高原，向世界屋脊，发去我们最好的祝愿。
F0
F1
F2
F3
target
9. 因华国锋肖鸡，墓地设计根据其属相设计。
F0
F1
F2
F3
target
10. 在狱中，张明宝悔恨交加，写了一份忏悔书。
F0
F1
F2
F3
target
3.3.2 Training strategy for MB-MelGAN
1. 建议北京也搞一个哟！
M1
M2
target
2. 秋保的脚部等处也负有轻伤。
M1
M2
target
3. 这已不是蔡某首次伸出肮脏之手。
M1
M2
target
4. 目前，四位市民已为自己的爱犬报名。
M1
M2
target
5. 随着关于“收入增长”的陆续吹风，百姓的胃口被越吊越高。
M1
M2
target
6. 于是，他们向乡政府提出，想义务赡养乡里的一些孤寡老人。
M1
M2
target
7. 枪案发生后警方封锁了曼哈顿多条街道。
M1
M2
target
8. 我们从黄海之滨，向青藏高原，向世界屋脊，发去我们最好的祝愿。
M1
M2
target
9. 因华国锋肖鸡，墓地设计根据其属相设计。
M1
M2
target
10. 在狱中，张明宝悔恨交加，写了一份忏悔书。
M1
M2
target
Text-to-speech
1. 建议北京也搞一个哟！
F0
F3
M2
2. 秋保的脚部等处也负有轻伤。
F0
F3
M2
.3 随着关于“收入增长”的陆续吹风，百姓的胃口被越吊越高。
F0
F3
M2
4. 于是，他们向乡政府提出，想义务赡养乡里的一些孤寡老人。
F0
F3
M2
5. 枪案发生后警方封锁了曼哈顿多条街道。
F0
F3
M2
6. 我们从黄海之滨，向青藏高原，向世界屋脊，发去我们最好的祝愿。
F0
F3
M2
7. 因华国锋肖鸡，墓地设计根据其属相设计。
F0
F3
M2
8. 在狱中，张明宝悔恨交加，写了一份忏悔书。
F0
F3
M2
9. 他一度梦想参军，但是因没身份而作罢，整日在村内瞎晃。
F0
F3
M2
10. 随后的两天时间里，警方出击，解救了小美、丹丹、可可等女子。
F0
F3
M2
11. 床前明月光，疑是地上霜。 举头望明月，低头思故乡。
F0
F3
M2
12. 主人为什么突然说这个数字啊，是不是有什么特殊的含义呢
F0
F3
M2
Generalization ability of M2 to unseen speakers (Up: predicted; Down: target )
speaker1 (female)
speaker2 (female)
speaker3 (female)
speaker4 (male)
speaker1 (female)
speaker2 (female)
speaker3 (female)
speaker4 (male)
speaker1 (female)
speaker2 (female)
speaker3 (female)
speaker4 (male)
speaker1 (female)
speaker2 (female)
speaker3 (female)
speaker4 (male)
speaker1 (female)
speaker2 (female)
speaker3 (female)
speaker4 (male)
Additional experiment
Neutral vocoder (M2, hop_length=80 VS M2, hop_length=160)
1. 建议北京也搞一个哟！
M2 (hop_length=80)
M2 (hop_length=160)
target
2. 秋保的脚部等处也负有轻伤。
M2 (hop_length=80)
M2 (hop_length=160)
target
3. 这已不是蔡某首次伸出肮脏之手。
M2 (hop_length=80)
M2 (hop_length=160)
target
4. 目前，四位市民已为自己的爱犬报名。
M2 (hop_length=80)
M2 (hop_length=160)
target
5. 随着关于“收入增长”的陆续吹风，百姓的胃口被越吊越高。
M2 (hop_length=80)
M2 (hop_length=160)
target
6. 于是，他们向乡政府提出，想义务赡养乡里的一些孤寡老人。
M2 (hop_length=80)
M2 (hop_length=160)
target
7. 枪案发生后警方封锁了曼哈顿多条街道。
M2 (hop_length=80)
M2 (hop_length=160)
target
8. 我们从黄海之滨，向青藏高原，向世界屋脊，发去我们最好的祝愿。
M2 (hop_length=80)
M2 (hop_length=160)
target
9. 因华国锋肖鸡，墓地设计根据其属相设计。
M2 (hop_length=80)
M2 (hop_length=160)
target
10. 在狱中，张明宝悔恨交加，写了一份忏悔书。
M2 (hop_length=80)
M2 (hop_length=160)
target
Neutral vocoder for 24,000 sample rate (M2, hop_length=120, win_length=240)
