12GB 显存可实现 128K 上下文 5 并发会话，IBM 预览 Granite 4.0 Tiny 模型

GoodNav 报道，IBM 于5月2日发布了其Granite 4.0系列模型中内存占用最小的版本：Granite 4.0 Tiny 的预览版。

Granite 4.0 Tiny 预览版凭借极高的计算效率和极低的内存需求脱颖而出：在FP8精度下，同时处理5个128KB上下文窗口的对话，仅需12GB显存，即使使用售价329美元（约合人民币2383元）的消费级英伟达GeForce RTX 3060 12GB显卡也能轻松满足需求。

Granite 4.0 Tiny 的训练参数（Token）计划