海光DCU适配

[TZJ12]

是否有海光DCU版本的适配？什么时候有？

[LauraGPT]

目前 FunASR 没有官方验证过的海光 DCU 版本，也没有可以直接承诺的适配时间。

支持边界大致是：

• 普通 PyTorch/AutoModel 路径：理论上取决于海光 DTK/PyTorch 栈是否完整支持 FunASR 里用到的算子、音频前端和模型权重加载；这部分有机会先做兼容验证。
• Fun-ASR-Nano 的 vLLM 路径：当前主要依赖 CUDA/vLLM 生态，不能直接认为可在 DCU 上运行。

如果你方便提供下面信息，我们可以先判断是否能走 PyTorch 路径：

python - <<'PY'
import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.cuda.is_available())
print(torch.cuda.device_count())
print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else "no cuda device")
PY

也欢迎社区贡献 DCU 适配 PR，建议先从 AutoModel(model="paraformer-zh"/"iic/SenseVoiceSmall", device=...) 的离线推理链路开始验证，再推进到服务化路径。

[TZJ12]

目前 FunASR 没有官方验证过的海光 DCU 版本，也没有可以直接承诺的适配时间。

支持边界大致是：

• 普通 PyTorch/AutoModel 路径：理论上取决于海光 DTK/PyTorch 栈是否完整支持 FunASR 里用到的算子、音频前端和模型权重加载；这部分有机会先做兼容验证。
• Fun-ASR-Nano 的 vLLM 路径：当前主要依赖 CUDA/vLLM 生态，不能直接认为可在 DCU 上运行。

如果你方便提供下面信息，我们可以先判断是否能走 PyTorch 路径：

python - <<'PY'
import torch
print(torch.version)
print(torch.version.cuda)
print(torch.cuda.is_available())
print(torch.cuda.device_count())
print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else "no cuda device")
PY
也欢迎社区贡献 DCU 适配 PR，建议先从 AutoModel(model="paraformer-zh"/"iic/SenseVoiceSmall", device=...) 的离线推理链路开始验证，再推进到服务化路径。

python - <<'PY'

import torch
print(torch.version)
print(torch.version.cuda)
print(torch.cuda.is_available())
print(torch.cuda.device_count())
print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else "no cuda device")
PY
/root/miniforge3/lib/python3.12/site-packages/torch/cuda/init.py:63: FutureWarning: The pynvml package is deprecated. Please install nvidia-ml-py instead. If you did not install pynvml directly, please report this to the maintainers of the package that installed pynvml for you.
import pynvml # type: ignore[import]
2.8.0+cu128
12.8
False
0
no cuda device
(base) [root@localhost ~]# hy-smi

================================= System Management Interface ==================================

HCU Temp AvgPwr Perf PwrCap VRAM% HCU% Mode
0 53.0C 109.0W auto 400.0W 41% 0.0% Normal
1 54.0C 109.0W auto 400.0W 41% 0.0% Normal

======================================== End of SMI Log ========================================

[LauraGPT]

从这组输出看，当前 Python 环境还没有接上海光 DCU 的 PyTorch 栈：

torch 2.8.0+cu128
torch.version.cuda = 12.8
torch.cuda.is_available() = False
torch.cuda.device_count() = 0

这里的 +cu128 是 NVIDIA CUDA wheel，不是海光 DCU/DTK 对应的 PyTorch 构建。hy-smi 能看到 HCU，只能说明驱动/设备在系统层面可见；但 FunASR 走 PyTorch 推理时，最终取决于 PyTorch 能不能识别并调度到 DCU。

建议先把问题拆成两步验证：

1. 先验证 PyTorch 是否能用 DCU
   • 安装海光官方 DTK/对应 PyTorch wheel 或适配包；
   • 确认在 Python 里能看到 DCU 设备，而不是现在的 device_count() = 0。

可以补充跑一下：

python - <<'PY'
import torch
print("torch", torch.__version__)
print("cuda", getattr(torch.version, "cuda", None))
print("hip", getattr(torch.version, "hip", None))
print("cuda available", torch.cuda.is_available())
print("cuda count", torch.cuda.device_count())
try:
    print("device 0", torch.cuda.get_device_name(0))
except Exception as e:
    print("get_device_name failed:", repr(e))
PY

2. PyTorch 层可用后，再验证 FunASR 普通离线推理

建议先不要从 Fun-ASR-Nano/vLLM 路径开始，因为 vLLM 当前主要是 CUDA 生态。可以先测普通 PyTorch 路径：

from funasr import AutoModel

model = AutoModel(
    model="paraformer-zh",
    vad_model="fsmn-vad",
    device="cuda:0",  # 前提是海光 PyTorch 栈能把 DCU 暴露给 torch
)
res = model.generate(input="test.wav")
print(res)

如果 PyTorch 层仍然是 torch.cuda.is_available() = False，FunASR 这边没有办法直接把计算发到 DCU，只能走 CPU 或等底层 PyTorch/DTK 环境先配好。

[TZJ12]

从这组输出看，当前 Python 环境还没有接上海光 DCU 的 PyTorch 栈：

torch 2.8.0+cu128
torch.version.cuda = 12.8
torch.cuda.is_available() = False
torch.cuda.device_count() = 0

这里的 +cu128 是 NVIDIA CUDA wheel，不是海光 DCU/DTK 对应的 PyTorch 构建。hy-smi 能看到 HCU，只能说明驱动/设备在系统层面可见；但 FunASR 走 PyTorch 推理时，最终取决于 PyTorch 能不能识别并调度到 DCU。

建议先把问题拆成两步验证：

1. 先验证 PyTorch 是否能用 DCU

   • 安装海光官方 DTK/对应 PyTorch wheel 或适配包；
   • 确认在 Python 里能看到 DCU 设备，而不是现在的 device_count() = 0。

可以补充跑一下：

python - <<'PY'
import torch
print("torch", torch.version)
print("cuda", getattr(torch.version, "cuda", None))
print("hip", getattr(torch.version, "hip", None))
print("cuda available", torch.cuda.is_available())
print("cuda count", torch.cuda.device_count())
try:
print("device 0", torch.cuda.get_device_name(0))
except Exception as e:
print("get_device_name failed:", repr(e))
PY
2. PyTorch 层可用后，再验证 FunASR 普通离线推理

建议先不要从 Fun-ASR-Nano/vLLM 路径开始，因为 vLLM 当前主要是 CUDA 生态。可以先测普通 PyTorch 路径：

from funasr import AutoModel

model = AutoModel(
model="paraformer-zh",
vad_model="fsmn-vad",
device="cuda:0", # 前提是海光 PyTorch 栈能把 DCU 暴露给 torch
)
res = model.generate(input="test.wav")
print(res)
如果 PyTorch 层仍然是 torch.cuda.is_available() = False，FunASR 这边没有办法直接把计算发到 DCU，只能走 CPU 或等底层 PyTorch/DTK 环境先配好。

(base) [root@localhost ~]# python - <<'PY'

import torch
print("torch", torch.version)
print("cuda", getattr(torch.version, "cuda", None))
print("hip", getattr(torch.version, "hip", None))
print("cuda available", torch.cuda.is_available())
print("cuda count", torch.cuda.device_count())
try:
print("device 0", torch.cuda.get_device_name(0))
except Exception as e:
print("get_device_name failed:", repr(e))
PY
/root/miniforge3/lib/python3.12/site-packages/torch/cuda/init.py:63: FutureWarning: The pynvml package is deprecated. Please install nvidia-ml-py instead. If you did not install pynvml directly, please report this to the maintainers of the package that installed pynvml for you.
import pynvml # type: ignore[import]
torch 2.8.0+cu128
cuda 12.8
hip None
cuda available False
cuda count 0
get_device_name failed: RuntimeError('Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from http://www.nvidia.com/Download/index.aspx')

res = model.generate(input="asr_en.wav")
rtf_avg: 0.014: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.78it/s]
rtf_avg: 0.189: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.82s/it]
rtf_avg: 0.187, time_speech: 15.051, time_escape: 2.822: 100%|██████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.92s/it]
avg: 0.187, time_speech: 15.051, time_escape: 2.822: 100%|██████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.91s/it]

print(res)
[{'key': 'asr_en', 'text': "hh oh yeah yeah he wasn't even that big when i started listening to him but in his solo music didn't do overly well but he did very well when he started writing for other people", 'timestamp': [[550, 950], [990, 1270], [1270, 1610], [1610, 2070], [2210, 2430], [2430, 2810], [2810, 3050], [3090, 3330], [3330, 3570], [3870, 4030], [4030, 4270], [4290, 4710], [4710, 5090], [5090, 5270], [5270, 5510], [6030, 6270], [6570, 6710], [6710, 6950], [7010, 7430], [7530, 8110], [8110, 8570], [8650, 8890], [9530, 10150], [10150, 10390], [11030, 11230], [11230, 11390], [11390, 11630], [11770, 12010], [12290, 12530], [12670, 12770], [12770, 12910], [12910, 13330], [13330, 13630], [13630, 13790], [13790, 14030], [14090, 14595]]}]

[LauraGPT]

这次输出仍然说明当前环境没有真正接上海光 DCU 的 PyTorch 栈：

torch 2.8.0+cu128
cuda 12.8
hip None
torch.cuda.is_available() = False
torch.cuda.device_count() = 0
get_device_name failed: Found no NVIDIA driver

后面 model.generate() 能跑通，基本只能说明 FunASR 在当前环境可以走 CPU/默认设备路径完成推理；不能说明已经用上 DCU。要判断是否用了 HCU/DCU，建议推理时同时观察 hy-smi 里的 HCU%/VRAM 变化，或者在 Python 里确认海光 DTK 对应的 PyTorch 能暴露设备。

现在这个 +cu128 是 NVIDIA CUDA wheel，不是海光 DTK/ROCm/HIP 方向的 PyTorch 构建；hip None 也说明不是 HIP 构建。FunASR 普通离线推理最终依赖底层 PyTorch 设备能力，如果 PyTorch 看不到 DCU，FunASR 这层就无法把计算调度到 DCU。

建议下一步先解决底层环境：

1. 安装海光官方 DTK/对应 PyTorch wheel 或适配包，避免继续使用 torch 2.8.0+cu128 这类 NVIDIA CUDA wheel。
2. 先用最小 PyTorch 脚本确认能看到并使用 DCU，再测试 FunASR。
3. FunASR 路径建议先从普通 PyTorch 离线模型开始，例如 Paraformer/SenseVoice + VAD；Fun-ASR-Nano 的 vLLM 路径目前不建议作为 DCU 适配起点。

如果你后面换成海光 PyTorch 栈后，torch 侧已经能看到设备但 FunASR 推理还有算子或模型加载报错，可以继续把新的最小复现贴出来，我们再看 FunASR 层需要适配什么。