IT 之家 3 月 14 日音尘，清华大学高性能缱绻谈论所翟季冬解释团队、清华系科创企业清程极智本日集和会告欧洲杯体育，大模子推理引擎"赤兔 Chitu "现已开源。

据先容，该引擎初次结束在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运转 FP8 精度模子，结束 DeepSeek 推理老本镌汰一半、性能翻番。其定位为"坐蓐级大模子推理引擎"，提供如下特质：

多元算力适配：不仅因循 NVIDIA 最新旗舰到旧款的多系列产物，也为国产芯片提供优化因循。

全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大范畴集群部署，赤兔引擎提供可彭胀的惩处有操办。

弥远踏实运转：可诈欺于本色坐蓐环境，踏实性足以承载并发业务流量。

官方示意，现时开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，比较部分海外开源框架，结束了 GPU 使用量减少 50% 的同期，推理速率普及 3.15 倍。

IT 之家附开源地址：https://github.com/thu-pacman/chitu欧洲杯体育