Dev/use vllm

[qi-hua]

目前使用 vllm 的 AsyncLLMEngine 加速推理

增加了 cosyvoice.llm.llm_vllm.VllmQwen2LM ，其他文件主要是简单修改；

VllmQwen2LM目前支持多任务推理，并发需对原接口适当修改；

使用trt的情况下，加速后效果 rtf 能够达到 0.1-0.15。

[wang-TJ-20]

@qi-hua 你好，感谢你的分享，我尝试你这个分支，想问下需要多少显存可以呢。gpu_memory_utilization在代码的哪块加呢

[qi-hua]

@qi-hua 你好，感谢你的分享，我尝试你这个分支，想问下需要多少显存可以呢。gpu_memory_utilization在代码的哪块加呢 !

vllm需要大概3-4G的显存就可以了，gpu_memory_utilization的设置目前放在了cosyvoice/llm/llm_vllm.py:39 ENGINE_ARGS中，还没有暴露设置的位置，需要手动修改。

[wang-TJ-20]

@qi-hua 你好，感谢你的分享，我尝试你这个分支，想问下需要多少显存可以呢。gpu_memory_utilization在代码的哪块加呢 !

vllm需要大概3-4G的显存就可以了，gpu_memory_utilization的设置目前放在了cosyvoice/llm/llm_vllm.py:39 ENGINE_ARGS中，还没有暴露设置的位置，需要手动修改。

哦哦，感谢感谢，另外，我发现一个问题是，我按下面的测试脚本测试出现了下面的错误，


根据报错提示改成下面的调用方式就可以了，请问是vllm版本实现中启动了多进程吗

[qi-hua]

我不了解这两种方式的区别，但默认会启动很多的进程。

[aluminumbox]

@lyblsgo 麻烦帮忙看一下这个代码

[deyituo]

@qi-hua dev/use_vllm 按照speed_test.ipynb加载vllm模型还跑不通。async_cosyvoice可以跑通。
@wang-TJ-20 你改了一些代码？

[wang-TJ-20]

@qi-hua dev/use_vllm 按照speed_test.ipynb加载vllm模型还跑不通。async_cosyvoice可以跑通。 @wang-TJ-20 你改了一些代码？

我没改代码
运行步骤如下：
1、先按requirements_vllm.txt安装环境，建议新建个conda环境，完全按照requirements_vllm.txt里装。
2、在speed_test.ipynb里运行一下，下面这个代码块，注册下模型的类。

3、将async_cosyvoice仓库里的配置文件（如下图）复制到2.0的模型权重文件夹下

4、使用下面的代码进行调用，我是使用的自己的spk_id，指定的是girl，这个根据自己选择，也可以直接用prompt_speech_16k。
`def main():
# 初始化模型
cosyvoice = CosyVoice2(CosyVoice2-0.5B',
load_jit=False,
load_trt=True,
fp16=True,
use_vllm=True)

# 加载提示语音
prompt_speech_16k = load_wav("girl_cut.wav", 16000)
text = "今天天气不错"
for _ in range(20):
    time1 = time.time()
    audio_list = []
    # for i, j in enumerate(cosyvoice.inference_instruct2("今天天气不错", '以悲伤的情感说', prompt_speech_16k, stream=True)):
    for i, j in enumerate(cosyvoice.inference_instruct2_by_spk_id(text, "以悲伤的情感说", 'girl', stream=True)):
        if i == 0:
            logging.info(f"首包耗时: {time.time() - time1}")
        audio_list.append(j['tts_speech'])
    full_tts = torch.cat(audio_list, dim=1)
    torchaudio.save('instruct.wav', full_tts, cosyvoice.sample_rate)

if name == 'main':
main()`