跳到正文
原文
AI 极客新闻· Mark Bartlett·· 3 小时前AI 评分55

在8美元芯片上运行大模型:ESP32-S3性能提升至22.6 tok/s

在 8 美元的芯片上跑大模型:ESP32-S3 从 10.3 提到 22.6 tok/s

Edge-TTS 广播级有声
全员无门槛畅听
点击合成广播级音频
00:00
00:00
AI 导读

ESP32-S3芯片在运行TinyStories模型时,通过优化和补丁,将每token处理速度从10.3 tok/s提升至22.6 tok/s,展示了在低成本芯片上运行大模型的可能性。

一手信源
开源仓库

ESP32-S3性能提升至22.6 tok/s

“简要回答: 跑这个模型时,ESP32-S3 大部分时间都在等 PSRAM,而不是 CPU:经过缓存,它大约只能拿到 62 MB/s。五个精准的补丁把 esp32-ai 的 TinyStories 模型从每 token 94.7 ms 降到 43.3 ms,从 10.3 tok/s”

来源:AI 极客新闻 · aigeeknews.com

关联产品与深度拆解

原创·站长/Quantara 团队·约 3 分钟深度解析

Cursor Agent 架构全景拆解:从影子工作区到多文件推演引擎

全面剖析 Cursor 在 Agent 模式下的底层技术实现,解析影子分支隔离、LSP 上下文剪枝以及预测性补全的核心架构细节与工程实践经验。

深入理解底层架构与行业变量阅读拆解 →
精选·Vercel Changelog·约 1 分钟深度解析

Vercel v0 推出全新多 Agent 协作画布与实时全栈部署预览

动态速评:v0 正在从单一组件生成器演进为全栈应用搭建协作台,尤其是与 Neon/Postgres 的直连极大降低了全栈原型验证成本。

深入理解底层架构与行业变量阅读拆解 →