pytorch与turbomind推理速度对比

[zhuchen1109]

新版pytorch支持了cuda graph，速度提升明显。那么现在pytorch是否赶上或超过turbomind的推理速度了呢？这个有正式的对比数据吗供参考吗？

[grimoire]

目前还有一定差距

• 一方面 triton 实现一些特别细粒度的 kernel 优化还比较困难，比如高性能的 w4->f16 cast；还有 prefill 的 attention 优化的也不太好导致长文本性能糟糕
• 另一方面 schedule 以及前后处理逻辑依然是 python 实现的，tokenizer 也会抢占一定的 cpu 资源，影响 gpu 利用率

数据的话可以看下 https://github.com/InternLM/lmdeploy/actions/runs/11051851005 ，rps 一般差 15% 左右，长文本差距依然很大

如果有什么关于这个的建议或者看法欢迎交流

[grimoire]

也许可以，需要实验验证下

[zhuchen1109]

好的，期待！

[sitabulaixizawaluduo]

话说这个schedule 使用python处理和使用c++处理性能会差很多吗，注意到scalellm项目，基本上可以等价于vllm的c++版本，但是性能上二者感觉差距并不大

[grimoire]

@sitabulaixizawaluduo 对小模型影响更大一些，这边 schedule 和 forward 是串行的。
重点其实说想说协程的 cpu 资源有限，如果有过多的 cpu 运算可能会导致 gpu 等待 cpu 的情况。

[sitabulaixizawaluduo]

@sitabulaixizawaluduo 对小模型影响更大一些，这边 schedule 和 forward 是串行的。 重点其实说想说协程的 cpu 资源有限，如果有过多的 cpu 运算可能会导致 gpu 等待 cpu 的情况。

我在测试小模型低并发情况下，SGLang和turbomind基本上有差不多的goodput, 但是小模型高并发的情况下，turbomind几乎可以达到SGLang的一倍，看起来跟这个现象有关。

[zhuchen1109]

还想多问一个，Chunk Prefills有计划支持吗？

[grimoire]

目前没有

[zhuchen1109]

好的，想听听你对这个的理解，是已知的效果不好的吗

[grimoire]

和技术没啥关系，主要是人力不足

[zhuchen1109]

好的，明白