ZenteiQ 利用 GKE Inference Gateway 实现 4 倍批量推理扩展

ZenteiQ 通过 Google Kubernetes Engine (GKE) 和 GKE Inference Gateway，实现了批量推理吞吐量的 4.07 倍提升，每日输出量从 1.47 亿增长到 5.97 亿个生成的 token。GKE Inference Gateway 利用开源的 llm-d 分布式推理框架，优化了数据生成和模型训练流程，提高了推理效率。