JEV-Speech:语音推理提速2.18倍

视频加载中

视频加载中

Oruk Labs 的 Orukeet 衍生运行时:24 层编码器全部保留,在 A100 热启动 batch 1 下把p95 请求延迟从 91.93ms 压到 42.23ms,即 2.18 倍加速。不改权重与精度的稳妥版本拿到1.66 倍且 250 条录音转写完全一致;更快的版本加了 BF16 与编码器适配,代价是七语种测试多 15 个词错。