会考虑支持流式吗

[rebron1900]

Use case

Proposed solution

Alternatives or workarounds

Expected impact

Willing to contribute?

• I can submit a PR
• I can help test
• I can provide data, logs, or benchmark results

[LauraGPT]

FunASR 已经支持流式识别 👍

1. Paraformer 流式（在线 2-pass）

from funasr import AutoModel
model = AutoModel(model="paraformer-zh-streaming")
# chunk_size=[0,10,5] 约 600ms 流式块；2-pass：流式先出字，句尾再回看修正

2. 生产级实时服务
runtime/ 下提供 C++ 的 online / 2pass WebSocket 服务，Docker 一键部署，支持多并发，适合实时字幕、会议转写等场景。

3. Fun-ASR-Nano（LLM-based）流式
chunk 级流式解码我们正在做，后续会放出。

请问你想要哪种模型的流式（Paraformer 还是 Fun-ASR-Nano）、什么场景？说一下我可以给更具体的部署建议。

[qinshulin]

我们部署工业级流式ws服务，想要精度最好的效果， 又能做到速度最快， 能给一下建议吗，谢谢

[LauraGPT]

@qinshulin 工业级流式 WS、要"精度最好 + 速度最快",首选 2pass 架构——它就是为这个权衡设计的:

1. 用 2pass(而不是纯 online)

• online 流式(paraformer-zh-streaming,chunk ~600ms)先低延迟吐字,用户立刻看到结果;
• 句尾 offline 回看(paraformer-zh 大模型)对整句重新解码、纠正,拿到最高精度。
• 效果 = 实时字幕的低延迟 + 离线模型的准确率,二者兼得。

2. 运行时选型

• C++ 版 runtime/websocket:生产环境吞吐/延迟最好,Docker 一键起,支持多并发——追求极致速度选这个。
• Python 版 runtime/python/websocket(funasr_wss_server.py):现已支持多客户端并发(--concurrent_vad/asr_online/asr_offline/punc/sv 信号量),迭代/二开更方便。

3. 标准模型组合(2pass 服务里配齐)
fsmn-vad(切句) + paraformer-zh-streaming(online) + paraformer-zh(offline 2nd-pass) + ct-punc(标点),需要的话再加 cam++(说话人)。

4. 调优旋钮

• chunk_size:[0,10,5]≈600ms;调小→延迟更低但 online 首遍精度略降(反正句尾 offline 会纠正);
• 并发信号量按 GPU 显存/QPS 压测调;offline 模型放 GPU。

一句话:2pass + C++ runtime + 上面这套模型组合,就是 FunASR 现成的"又快又准"工业流式方案。部署细节见 runtime/ 下的文档。需要我针对你的并发量/硬件再细化参数也可以贴上来。

[qinshulin]

@LauraGPT 您推荐的组合，精度跟qwenasr1.7b 相比呢， 在我们的数据集上测试感觉qwenasr1.7b精度是最高的，您推荐的还没尝试

[LauraGPT]

@qinshulin 这里要分清**"离线最高精度"和"流式实时"**两个不同目标:

• 纯离线比精度:LLM-based 的 ASR(Qwen3-ASR-1.7B、以及 FunASR 自家的 Fun-ASR-Nano)确实通常比 Paraformer/SenseVoice 更准,这符合预期 —— 大模型解码能力强。你在数据集上感觉 qwenasr1.7b 最准是合理的。
• 但你的场景是工业级流式 WS:Qwen3-ASR-1.7B 这类 LLM-ASR 是自回归、离线的,延迟高,并不适合低延迟实时流式。所以拿它的离线精度跟流式方案比,其实不是同一个赛道。

给你两条路,看你更看重哪个:

1. 要低延迟流式 → 还是 2pass(paraformer-streaming online 先出字 + offline 模型句尾回看纠正)。想把精度再往上拉,可以把 2pass 的 offline 那一遍换成 Fun-ASR-Nano(FunASR 原生支持),相当于"流式低延迟 + LLM 级离线纠正",兼顾。
2. 能接受离线/准实时、只要最高精度 → 直接上 Fun-ASR-Nano(FunASR 自家的 LLM-ASR,精度跟 Qwen3-ASR-1.7B 同档,且在 FunASR 里能直接跑、还有 vLLM 加速)。

建议你先在自己数据集上把 Fun-ASR-Nano 跟 qwenasr1.7b 对比一下精度(同档),再按延迟要求决定用 2pass 还是纯 Fun-ASR-Nano。需要 Fun-ASR-Nano 的流式/vLLM 部署细节我可以再给。