Qwen4 还没出KDJ超买，架构先开源了。
阿里发布 Qwen3.8-Flash-Next 的全部权重， 同时也是 Qwen4 新架构的早期预览版。
这个新架构它确实够新。
除了常规的 125B 参数 MoE 模型配 6B 激活参数，关键是还附加了 51B 的 N-gram Embedding 参数。
这是个啥呢？
发布公告明确写着，受 DeepSeek 的 Engram 启发，进一步扩展了这种设计。
它的主要优势在于，它可以添加大量参数，而每个 token 几乎不需要额外的计算。
Qwen3.8-Flash-Next 大幅降低了训练和推理成本，训练时间仅为原来的九分之一，却在代码和办公任务方面表现出色。
排名前五配资公司Qwen3.8-Flash-Next 的跑分可以总结在小模型里超过 DeepSeek V4 Flash 正式版，向上多项测试可以挑战 Claude-Opus-4.6（Max）。
模型权重公开后，也确实有人在 24GB 显存的 4090+128G 内存上成功部署，而且不用量化。
虽然之前发布的密集模型 Qwen3.8-27B 在消费硬件上体验更好。
但这一次，Qwen3.8-Flash-Next 证明了在消费级硬件上跑满血版 MOE 模型也是完全可行的。
DeepSeek Engram 更复杂，Qwen 更精简
传统 Transformer 只有一个词嵌入层，每个 token 对应一个向量。
而 Qwen 的 N-gram Embedding 和 DeepSeek 的 Engram 都是利用当前 token 及其前面若干 token 组成的局部上下文作为 key，通过确定性的哈希函数在一张巨大的嵌入表中查到对应的向量，时间复杂度为 O ( 1 ) 。
DeepSeek 的 Engram 论文首次将这一思路形式化为"条件记忆"（conditional memory），并将其定位为与 MoE 的"条件计算"（conditional computation）平行的第二种稀疏方式。
Engram 论文通过 Sparsity Allocation 实验发现了一条 U 形缩放定律：在总参数和 FLOPs 固定的前提下，把大约 20% – 25% 的稀疏参数预算从 MoE 专家重新分配给 Engram 嵌入表，能获得比纯 MoE 更低的验证损失。这一分配比例在 5.7B 和 9.9B 两个规模上保持稳定，最优点均落在 75% – 80% 分配给 MoE 的区间。
Qwen3.8-Flash-Next 在技术报告中直接引用了 Engram 论文和 Gemma 3n 的 Per-Layer Embedding 作为灵感来源，并在最终模型中配置了 51B 的 N-gram 嵌入参数，附加在 125B 主模型之上。
Engram 的设计有四个关键组件。
第一是 Tokenizer Compression，通过 NFKC 归一化和小写映射把 128k 词表压缩 23%，消除" Apple "和" apple "这类语义等价但 ID 不同的冗余。
第二是 Multi-Head Hashing，对每个 N-gram 阶数使用 K 个独立哈希头映射到素数大小的嵌入表中以缓解冲突，最终把所有检索到的向量拼接成一个记忆向量。
第三是 Context-aware Gating，用当前层的隐藏状态作为 Query、检索到的记忆作为 Key 和 Value，通过 RMSNorm 归一化后的缩放点积计算出一个标量门控值，决定是否采纳这条记忆——如果记忆与当前上下文矛盾，门控趋近于零自动抑制噪声。
第四是一个核大小为 4、膨胀率等于最大 N-gram 阶数的深度可分离因果卷积，用于扩展感受野并增加非线性。此外，Engram 还专门设计了与多分支架构的集成方案：多个分支共享一张嵌入表和一个 Value 投影矩阵，但各自拥有独立的 Key 投影以实现分支级别的差异化门控。
元股证券:ygzq.hk
Qwen3.8-Flash-Next 的 N-gram Embedding 在公开博客中没有披露同等细节深度的设计说明，但从已公布信息可以看出几点差异。
Qwen 最终只使用了一个 N-gram Embedding 层，而 Engram 在 27B 模型中部署于第 2 层和第 15 层两个位置。
DeepSeek 的 Engram 论文在严格的等参数、等 FLOPs 条件下完成了对照实验。在 26.7B 总参数规模上，Engram-27B 相比纯 MoE-27B 基线在知识任务上提升了 MMLU +3.0、CMMLU +4.0，在推理任务上提升了 BBH +5.0、ARC-Challenge +3.7，在代码数学上提升了 HumanEval +3.0、MATH +2.4。
Engram 论文还通过 LogitLens 和 CKA 分析揭示了增益来源：Engram 让模型的第 5 层表示在功能上等价于纯 MoE 基线的第 12 层，相当于在不增加实际层数的情况下增加了网络的有效深度。
Qwen 的 51B 嵌入参数远超 Engram 论文中验证过的最大规模（Engram-40B 的嵌入参数为 18.5B），这意味着 Qwen 在实践中把 Engram 论文中观察到的"嵌入槽数量与验证损失呈对数线性关系"这一结论推到了更大的尺度。
不过由于 Qwen3.8-Flash-Next 同时引入了 QSA 稀疏注意力、Gated Residual 和 Muon 优化器等多项改动，N-gram Embedding 的单独贡献无法从最终结果中精确隔离。
四项架构升级，从注意力到优化器全换了
除了嵌入层外，Qwen3.8-Flash-Next 还在注意力、残差、和优化三个维度上做了系统性升级。
注意力层面，模型延续了 Qwen3-Next 以来" GDN+ 注意力"的混合设计。
48 层网络中，每 4 层有 3 层使用门控 DeltaNet 将历史信息压缩进固定大小的状态，剩余 1 层负责全局精确检索。
但这次全局注意力从之前的 Gated Attention 升级为全新的 Qwen Sparse Attention（QSA）。
QSA 的做法是先用一个轻量索引器把序列聚合成"微块"，在块级别估计上下文重要性，再只对最相关的区域做注意力计算。这不仅降低了注意力本身的开销，连索引过程的计算量也一并压了下去。
在 100 万 token 的长上下文场景下，QSA 的注意力内核在预填充和解码阶段分别实现了 7.6 倍和 4.9 倍的加速。在 90% 前缀缓存命中率的在线服务场景中，Qwen3.8-Flash-Next 在 100 万 token 上下文长度下的预填充吞吐量达到了 Qwen3.7-Plus 的 8.6 倍。
残差连接方面，引入了 Gated Residual（GR），把传统 Transformer 的单条残差流扩展为 4 条并行分支，通过动态门控机制控制每一层对各分支的读写。这样做的效果是加强了跨层信息流动和训练稳定性，同时残差状态还支持 FP8 存储以降低显存带宽开销。
优化器方面，用 Muon 替代 AdamW 作为主优化器，并围绕正交化精度、Muon 与 AdamW 的分工以及融合参数的拆分做了改进。
Qwen 还公布了一个新发现：大规模训练中常见的 Batch Size Warmup 在新架构上不再必要，直接用目标 Batch Size 开训的效果一样，反而省掉了 18.8% 的优化器步数。
百万 token 上下文，每百万输入 token 定价 0.16 美元
Qwen3.8-Flash-Next 原生支持 262144 token 上下文，通过 YaRN 可扩展至 100 万 token。模型权重已在 HuggingFace 和 ModelScope 开放下载。
在 QwenCloud 上，这个模型以" qwen3.8-flash "提供 API 服务，也是加入了 100 万上下文默认支持和官方内置工具的版本，输入定价为每百万 token 0.16 美元，输出为每百万 token 0.47 美元。
作为参照，同门旗舰 Qwen3.8-Max 的输入和输出定价分别是 2.00 和 6.00 美元，Flash-Next 的成本约为旗舰的十二分之一。
部署生态方面，通义千问这次直接兼容了 Anthropic 和 OpenAI 两套 API 协议，可以直接插入 Claude Code、OpenAI Codex 等主流编程助手使用。
团队还同步推出了 Qoder CLI 和 Qwen Code 两个自研编程工具，以及与 OpenClaw 的集成。
阿里 AI 办公平台 QwenWork 也已将 Qwen3.8-Flash-Next 集成为其" Standard "模式的底层模型。
至于未来的 Qwen4 本体，只能说，还会更强。
参考链接：
[ 1 ] https://qwen.ai/blog?id=qwen3.8-flash-next
[ 2 ] https://x.com/analogalok/status/2092697021790708148
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见KDJ超买
全国配资开户通道提示：本文来自互联网，不代表本网站观点。