Thinking Machines Lab(Mira Murati 创办的 AI 公司)11 月 20 日发布开放权重模型 Inkling 2 Mini:总参数 26.4B、激活参数仅 3.4B,checkpoint 约 20GB,一台 32GB 内存的 MacBook 就能离线跑。Apache 2.0 协议,权重已上架 Hugging Face。
「循环 Transformer」是最大看点
Inkling 2 Mini 是业内首批采用循环架构(looped transformer)的开放权重模型之一:24 层解码器 + 稀疏 MoE 前馈层,中间 12 层对每个 token 循环跑 3 次(共享权重),相当于用 24 层权重做 48 层计算。循环让模型「思考更多、输出更少」——推理可以不落在思维链文本里完成,官方也同步放出了 1-5 次可变循环的研究模型(TML-d24-varloop-research),供社区研究循环深度与可监控性的关系。
性能:同级开源第一梯队
官方口径下(厂商自报,未经独立验证),Inkling 2 Mini 在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等智能体编码基准上,拿下 100B 总参数以下开放权重模型的第一名; BrowseComp、DeepSearchQA、MCP Atlas 等搜索与工具类基准也领先同规模模型。每 token 约 5.4B 有效激活参数,能效表现突出(第三方「每焦耳智能」测算约为同级模型的数倍)。
短板也很明确:事实性知识不随循环次数增加(知识主要取决于总参数量),多轮对话与复杂约束指令跟随弱于 Qwen3.8-27B;官方特别提醒它在 agentic 场景下可能误删文件或不按项目约定行事,工具调用场景要加约束。
本地部署门槛
权重以 NVFP4 为主、最后 4 层 MXFP8 的混合精度发布,单 checkpoint 约 20GB。官方列的支持硬件:1x NVIDIA DGX Spark、32GB 以上内存的 Apple Silicon(演示中在 M5 Pro MacBook Pro 上离线几分钟写出了一个可玩的飞行模拟器);其他 GPU 建议 32GB 以上显存。推理框架支持 Ollama、llama.cpp、vLLM、SGLang 等,量化 GGUF 已有第三方发布。
模型卡与权重:thinkingmachines.ai / Hugging Face thinkingmachines/Inkling-2-Mini,Apache 2.0。