难以置信:这个 AI 模型仅占 14 兆字节(Needle 2)
介绍Needle 2,一个仅14兆字节、4500万参数的AI模型,专为工具调用设计,可在微控制器上运行。演示其在ESP32-S3上执行灯光控制命令,并解释其架构创新。
文化语境
14 MB / 8 MB ESP32:模型文件、flash 与 PSRAM 不是同一口径
这里不是把一个 14 MB 文件塞进“只有 8 MB 内存”的裸芯片:演示板从 16 MB flash 映射读取模型权重,另用 8 MB octal PSRAM 放工作内存。这个移植只针对一种特定配置,并非任意 ESP32-S3 都能运行。
confidence score:门控信号不等于“工具调用正确率”
这个分数可以用来决定何时执行、重问或升级处理,但不能读成“调用有多少概率正确”。片中 0.57 的低分调用完全正确,0.46 的调用却把 display 误解成 flash,正好展示了两者并不等价。
