在华为昇腾310I Duo上跑，巨慢，60秒的wav文件跑了30多秒，模型是sensevoicesmall

[ppgod]

代码如下：from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess

model = AutoModel(
model='/home/model/u8_model',
trust_remote_code=True,
remote_code="/home/model/model.py",
vad_kwargs={"max_single_segment_time": 10000},
device="npu:0",
disable_update=True
)

========== 正式推理计时 ==========

start = time.time()
res = model.generate(
input='/root/C_JSSR055116_20241016102013_18079131618_otalk.wav',
cache={},
language="zh",
use_itn=True,
batch_size_s=30,
merge_length_s=30,
)
end = time.time()

text = rich_transcription_postprocess(res[0]["text"])
print(text)
print(f"耗时: {end - start:.2f} 秒")

[ppgod]

unasr version: 1.3.13.
WARNING:root:trust_remote_code: True
Loading remote code successfully: /home/cintel/model/model.py
[W624 10:36:33.016424249 compiler_depend.ts:80] Warning: make compile cache directory error: No such file or directory (function MakeCompileCacheDirAndSetOption)
0%| | 0/1 [00:00<?, ?it/s]..[W624 10:37:09.476693793 compiler_depend.ts:47] Warning: The oprator of ne is executed, Currently High Accuracy but Low Performance OP with 64-bit has been used, Please Do Some Cast at Python Functions with 32-bit for Better Performance! (function operator())
rtf_avg: 0.347: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:36<00:00, 36.71s/it]
喂，志勇哎对我我在我在呃对我在抓媒体包，我看一下能抓到不抓媒体包业务包就可以了，是吧？啊，我们我们打久一点，看一下是不是过了40秒，大最后断，你现在你现在听我话清楚不？可以是吧？我给你念段话吧，中华呃，我给你念一段话吧，行吧？好，中华人民共和国，人民共和国12345中华人民共和国1234民共和国1234中华啊，人民共和国123455656秒了，听得清吗？有丢包的情况。那我那我感觉还是跟之前那个一开始那个你听主教包的情况吧，是吧？志勇喂志勇。
耗时: 36.72 [秒[](

[ppgod]

使用华为的ATC工具，把模型转成OM格式后 就超级快，大概0.5秒左右。参考如下链接 https://gitcode.com/Ascend/ModelZoo-PyTorch/blob/master/ACL_PyTorch/built-in/audio/SenseVoice/README_onnx.md

[LauraGPT]

@ppgod 你自己找到的方向就是对的 👍,我确认一下并补充背景:

为什么 device="npu:0" 这条 PyTorch 路径慢:这是 torch_npu 的 eager(逐算子) 执行——SenseVoice 里不少算子在 310I Duo 上没有融合/优化的 NPU kernel,会回退或反复在 host↔device 间同步,所以 60s 音频要跑 30 多秒(RTF~0.5,几乎没加速)。这条路只适合快速验证能不能跑,不适合上生产。

昇腾上的正确做法 = 导出 ONNX → 用 ATC 转 OM → 用 ACL/CANN 推理,正是你贴的那个 Ascend ModelZoo SenseVoice README_onnx 的流程,转完 ~0.5s 完全合理(OM 是昇腾图编译+融合后的离线模型)。

FunASR 侧怎么拿到 ONNX:

from funasr import AutoModel
m = AutoModel(model="iic/SenseVoiceSmall")
m.export(type="onnx", quantize=False)   # 产出 model.onnx,再喂给 ATC 转 OM

然后按 Ascend ModelZoo 那篇用 ATC + ACL 推理即可。

所以结论:昇腾部署别用 torch_npu eager,走 ONNX→OM(ATC)。谢谢你把这个 OM 方案和链接分享出来,对其他昇腾用户很有参考价值 🙏 —— 这个 issue 可以按"已解决"关掉了,有别的问题再开。