AutoModelVLLM推理出现字符重复的问题

[Cyl147369991]

from funasr.auto.auto_model_vllm import AutoModelVLLM

def main():
# 1. 初始化模型
model = AutoModelVLLM(
model="FunAudioLLM/Fun-ASR-Nano-2512",
tensor_parallel_size=1,
hub="ms",
# 💡 建议加上这个参数，防止 16GB 显存 OOM（之前你遇到过）
gpu_memory_utilization=0.5,
)

# 2. 执行推理
print("开始推理...")
res = model.generate(inputs=["meeting.wav"], language="中文")

# 3. 打印结果结构（用于调试）
# 💡 注意：根据官方文档，离线服务的 SPK（说话人分离）默认是关闭的。
# 我们先打印一下 res 的 keys，看看有没有 sentence_info 和 spk 字段。
print("返回结果的字段:", res[0].keys())

# 4. 尝试提取说话人信息
if "sentence_info" in res[0]:
    for sent in res[0]["sentence_info"]:
        spk_id = sent.get('spk', 'unknown')
        text = sent.get('text', sent.get('sentence', ''))
        print(f"Speaker {spk_id}: {text}")
else:
    print("⚠️ 未找到 sentence_info 字段。SDK 默认可能未开启说话人分离。")
    print("普通识别结果:", res[0].get('text', ''))

⚠️ 核心修复：必须加上这个保护块！

if name == 'main':
main()

代码如上，音频文件如下

meeting.wav

结果1：
开始推理...
返回结果的字段: dict_keys(['key', 'text', 'timestamps'])
⚠️ 未找到 sentence_info 字段。SDK 默认可能未开启说话人分离。
普通识别结果: 你几啊？我给他了。这个你你送来了二十万元人民币，一个清官被诬陷，不是因为他贪，而是因为他不贪，而是因为他不贪。人大主任齐恒寿坚持人大不是橡皮图章，不仅要查市长选举的黑幕，还否决了新任市长。何阳是副市长，主抓什么工作？呃，城建这一年的七月四号有没有人给你送来了二十万元人民币？一个清官被诬陷，不是因为他不贪，而是因为他不贪。任大主任齐恒寿找到张文杰，张文杰说，你要是不答应，我就把你做掉。然后放火烧了你坐的房，你信不信？张文杰说，我我我我我我我我我我我我我我我。我我我我我我我我。然后我我我我我我我我。
结果2：
(EngineCore pid=4032314) INFO 06-25 16:13:17 [vllm.py:790] Asynchronous scheduling is enabled.
开始推理...
返回结果的字段: dict_keys(['key', 'text', 'timestamps'])
⚠️ 未找到 sentence_info 字段。SDK 默认可能未开启说话人分离。
普通识别结果: 你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几啊？这个你几
(EngineCore pid=4032314) INFO 06-25 16:13:20 [core.py:1210] Shutdown initiated (timeout=0)
(EngineCore pid=4032314) INFO 06-25 16:13:20 [core.py:1233] Shutdown complete

[LauraGPT]

@Cyl147369991 字符重复的根因是:你把整个长音频 meeting.wav 一次性喂给了 AutoModelVLLM,没有先做 VAD 分段。

Fun-ASR-Nano 是 LLM-ASR,是按短句/语音段设计的。一段几分钟的会议音频不分段直接解码,模型会在超长序列上退化 → 表现就是字符/词不断重复(以及精度崩)。这不是模型坏,是用法少了 VAD 这一步。

两种正确用法,二选一:

① 最简单 —— 用 AutoModel(自动 VAD + 合并),会议长音频首选:

from funasr import AutoModel
model = AutoModel(model="FunAudioLLM/Fun-ASR-Nano-2512",
                  vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000},
                  device="cuda")
res = model.generate(input="meeting.wav", batch_size_s=300, merge_vad=True)
print(res[0]["text"])

② 要 vLLM 高吞吐 —— 先 VAD 切段,再把所有段一次性 batch 给 vLLM:

from funasr import AutoModel
from funasr.auto.auto_model_vllm import AutoModelVLLM
import soundfile as sf

vad = AutoModel(model="fsmn-vad", device="cuda")
audio, sr = sf.read("meeting.wav")
segs = vad.generate(input="meeting.wav")[0]["value"]   # [[start_ms, end_ms], ...]
clips = [audio[int(s*sr/1000):int(e*sr/1000)] for s, e in segs]

engine = AutoModelVLLM(model="FunAudioLLM/Fun-ASR-Nano-2512", hub="ms", gpu_memory_utilization=0.5)
results = engine.generate(inputs=clips, language="中文")   # 每段一条结果,按 segs 顺序拼回即可

另外两点:

• 请确认 funasr >= 1.3.10(pip install -U funasr)。1.3.9 的 vLLM 路径硬编码了 repetition_penalty=1.3,在 prompt-embeds 模式下会触发 CUDA 越界,也会表现成输出重复/异常(fix: avoid CUDA crash from repetition_penalty in Fun-ASR-Nano vLLM prompt-embeds mode (#2948) #2974 已修)。
• 说话人分离:AutoModelVLLM 这条离线推理路径不带 diarization。要 spk/sentence_info,用上面①的 AutoModel 再加 spk_model="cam++",或用流式服务 serve_realtime_ws.py。

先按 ① 跑一遍长音频,字符重复应该就消失了。

[LauraGPT]

补充:我用你这个 meeting.wav(125.9s)在 GPU 上实际复现测了一遍,有两个明确结论,更正一下我上一条的说法:

1. 那个"我我我我"灾难性重复,在当前 funasr(1.3.12)+ 最新 checkpoint 上复现不出来了。 我跑你的整段音频,最长连续重复字只有 2,输出末尾是连贯的(...有没有人给你送来了？),没有退化成"我我我"。

几乎可以确定:你看到的"我我我"是旧版 1.3.9 的一个已知 bug——那版 vLLM 路径把 repetition_penalty 硬编码成 1.3,而 Fun-ASR-Nano 用 prompt-embeds 模式(没有 prompt token IDs),vLLM 施加该惩罚时会 scatter 一个空的 token-id 张量 → CUDA 越界 → 输出损坏/重复(#2948)。这个已经在 #2974 / 1.3.10 修了。所以第一步:pip install -U funasr 升级到最新,"我我我"应该就消失。

2. 升级后,长音频不分段的真正问题是"静默截断"。 我实测:整段 125s 直接解码只出 328 字;先 VAD 分段再解码出 **680 字(多一倍)**且更完整连贯。原因是单次解码会先撞上 max_new_tokens,音频还没念完就停了,而且不报错——所以你会拿到一份"看着正常但其实少了一半"的结果。

正确用法(二选一):

• 想省事 → 用高层 AutoModel(自动 VAD+合并):AutoModel(model="FunAudioLLM/Fun-ASR-Nano-2512", vad_model="fsmn-vad"),直接喂 meeting.wav 就行;
• 想要 vLLM 高吞吐 → 先 fsmn-vad 切段,把段一次性 batch 给 AutoModelVLLM.generate(我上一条贴了代码)。

另外我刚提了个改进 #3033:AutoModelVLLM 收到超长单段音频时会明确告警提示用 VAD,避免再有人被"静默截断"坑到。

谢谢你带音频来报问题,这让我能真复现 👍

[Cyl147369991]

非常感谢你的解答。我用第二种方法（先切分再推理）解决问题了。
至于你提到的funasr版本，我确定是最新版本1.3.14. 然后我的显卡是RTX5080，如果我用我原来的代码跑，第一种情况偶尔输出来的是看似正常的字，就是你说的情况"静默截断"，第二种就是还是重复文字。
基于你的第二种方法，我想提一个小小的建议，就是先切分后推理，如果可以模型只加载AutoModelVLLM,里边有参数支持自动切分，这样的话，就更好了。再次感谢你们团队对STT做出的贡献 🌸🌸