Skip to content
Hot StoryDeveloping

vLLM支持Recursive的Flint模型更新

1 reports1 sourcesUpdated 18 小时前

Understanding the Event

AI Digest

vLLM从第一天起就支持Recursive的Flint智能体功能。最新报道显示,vLLM的NVFP4和BF16检查点在单个GPU上运行,单个请求在GB200上以约500个token/s的速度解码,即使有100K个token的上下文。

Generated by AI from coverage · Updated 1 小时前

Coverage Timeline

Explore different perspectives across coverage.

Oct 21
  1. vLLM Team Blog精选
    vLLM 支持Flint智能体功能

    vLLM从第一天起就支持Recursive的Flint智能体。其NVFP4和BF16检查点在单个GPU上运行,单个请求在GB200上以约500个token/s的速度解码,即使有100K个token的上下文。

Story Heat Trend

还没有足够的连续观测数据,暂不绘制趋势。