Hot StoryDeveloping
vLLM支持Recursive的Flint模型更新
1 reports1 sourcesUpdated 18 小时前
Understanding the Event
AI Digest
vLLM从第一天起就支持Recursive的Flint智能体功能。最新报道显示,vLLM的NVFP4和BF16检查点在单个GPU上运行,单个请求在GB200上以约500个token/s的速度解码,即使有100K个token的上下文。
Generated by AI from coverage · Updated 1 小时前
Latest Update10月21日 08:00
vLLM更新支持Recursive的Flint智能体功能,性能提升显著。Coverage Timeline
Explore different perspectives across coverage.
Oct 21
- vLLM Team Blog精选vLLM 支持Flint智能体功能
vLLM从第一天起就支持Recursive的Flint智能体。其NVFP4和BF16检查点在单个GPU上运行,单个请求在GB200上以约500个token/s的速度解码,即使有100K个token的上下文。
Story Heat Trend
还没有足够的连续观测数据,暂不绘制趋势。