荆州市都会治理执法委员会
政府信息果真
您现在的位置：首页
日军强奸女人图片{getone name="diy:fuhao"}直接让推理本钱暴降75%{getone name="diy:fuhao"}香港影片强奸女学生
OpenAI在最新的开源模子gpt-oss上选用的MXFP4数据类型，，， ，直接让推理资源暴降75%！
更惊人的是，，， ，MXFP4在把内存占用降为同妄想BF16模子的四分之一的一起，，， ，还把天生token的速率前进了整整4倍。。。。。。
换句话说，，， ，这一操作直接把1200亿参数的大模子塞进80GB显存的显卡，，， ，哪怕是只要16GB显存的显卡也能跑200亿参数的版别。。。。。。
（注：显存容量通�；；岽笥贑heckpoint Size）
较量以往的数据类型，，， ，MXFP4供应了极高的性价比，，， ，模子运转所需的硬件资源仅为之前的四分之一。。。。。。
MXFP4有什么法力？？？
在gpt-oss中，，， ，OpenAI将MXFP4量化使用于约莫90%的权重，，， ，这一操作的直接念头（收益）即是让模子运转资源变得愈加廉价。。。。。。
将gpt-oss模子量化为MXFP4 后，，， ，狂言语模子的占用内存仅为等妄想BF16模子的1/4，，， ，并且天生token的速率最高可前进4倍。。。。。。
怎样经由改动数据类型下降模子运转资源？？？这儿的逻辑是这样的：
模子的运转资笔器要由权重存储和内存带宽两个部分组成。。。。。。
前者是模子参数寄存和占用的空间，，， ，也即是存储它们所需求的字节数。。。。。。
后者则是模子在推理时，，， ，数据读写速率和容量的约束。。。。。。
数据类型的改动将直接影响权重存储和内存带宽的占用。。。。。。
例如，，， ，古板模子权重通常用FP32（32位浮点数）存储，，， ，每个参数占用4字节内存。。。。。。
若是用MXFP4，，， ，那么每个权重只要半字节，，， ，权重存储巨细是FP32的1/8，，， ，这就极大地缩短了权重数据量的巨细。。。。。。
这一缩短不但下降了模子的存储空间，，， ，还能让模子在相同的带宽下完结更快地数据读取和写入，，， ，然后前进推理速率。。。。。。
由此，，， ，经由改动数据类型就能完成推理资源的降本增效。。。。。。
那么，，， ，MXFP4是怎样完成这一点的？？？
MXFP4
MXFP4的全称是微缩放4位浮点数（Micro-scaling Floating Point 4-bit），，， ，是由Open Compute Project (OCP) 界说的4位浮点数据类型。。。。。。
（注：OCP是Facebook于2011年建议的超大妄想数据中心协作安排，，， ，旨在下降数据中心组件资源并前进可获取性。。。。。。）
在深度学习领域中，，， ，数据类型的精度和功率一直是钻研者取舍的要点。。。。。。
例如，，， ，古板的FP4只要四位，，， ，1位符号日军强奸爷爷强奸孙香港影片强奸女学生女邪恶漫画2899;人图片位（标明正负），，， ，2位指数位（决议数值的量级），，， ，1位尾数位（标明小数部分）。。。。。。
这种标明步伐只管缩短了数据量，，， ，但也导致了十分有限的可标明的数值规模，，， ，它只能标明8个正数和8个负数。。。。。。
相较之下，，， ，BF16（1位符号位，，， ，8位指数位和7 位尾数位）则能标明 65,536个数值，，， ，不过标明规模的添加也带来了核算资源的上升。。。。。。
若是为了前进核算功率，，， ，直接把这4个BF16数值：0.0625、0.375、0.078125、0.25直接转换成FP4，，， ，那么它们会酿成 0、0.5、0、0.5。。。。。。
不难看出，，， ，这样的过失显然是无法遭受的。。。。。。
以是，，， ，为了在削减数据量的一起包管肯定的精度，，， ，MXFP4经由将一组高精度数值（默许32个）乘以一个公共缩放因子（这个缩放因子是一个8位二进制指数）。。。。。。这样，，， ，咱们前面那4个BF16数值就会酿成 1、6、1.5、4。。。。。。
这样就既完成了极致的数据巨细，，， ，又坚持了数值间巨细联系的精度。。。。。。
别的，，， ，这一历程的完成还与核算硬件相关。。。。。。
一样平常规则是，，， ，每将浮点精度折半，，， ，芯片的浮点吞吐量就能翻倍。。。。。。
例如，，， ，一个B200SXM模浚浚块的浓密BF16运算功效约为2.2 petaFLOPS，，， ，降到FP4（Nvidia Blackwell 芯片供应硬件加速）后，，， ，就能前进到9petaFLOPS。。。。。。
只管这会在吞吐量上带来一些前进，，， ，但在推理阶段，，， ，更多FLOPS的寄义主要是削减模子起源天生谜底的期待时间。。。。。。
值得注重的是，，， ，运转MXFP4模子
用于训练gpt-oss的Nvidia H100就不支持原生FP4，，， ，不过它仍然能够运转，，， ，仅仅无法享用该数据类型的悉数优势。。。。。。
低精度与核算量的取舍
事实上，，， ，MXFP4并不是新看法。。。。。。早在2023年的陈述中，，， ，OCP就在陈述《OCP Microscaling Formats (MX) Specification Version 1.0》中详细介绍过这一数据类型。。。。。。
可是，，， ，这种低精度的数据类型通常被以为是对性价比的退让，，， ，由于精度下降会导致质量丧失。。。。。。丧失的水平取决于详细的量化步伐。。。。。。
不过，，， ，现已有知足多的钻研标明，，， ，将数据精度从16位降到8位，，， ，在狂言语模子场景下简直没有质量丧失，，， ，这种精度现已知足支持模子的正常作业。。。。。。
事实上，，， ，一些模子开发者，，， ，例如DeepSeek现已起源直接用FP8举行训练。。。。。。
别的，，， ，只管MXFP4比规范FP4好得多，，， ，但它也有弱点。。。。。。
例如，，， ，英伟达就以为这种数据类型较量FP8仍或许泛起质量下降，，， ，部分缘故原由是其缩放块巨细（Scaling Block Size）为32，，， ，不可细�；；�。。。。。。
为此，，， ，英伟达推出了自己的微缩放数据类型NVFP4，，， ，经由将缩放块巨细降至16和运用FP8缩放因子来前进质量。。。。。。
这简直等同于FP8的作业方法。。。。。。只不过MXFP4是在张量内部的小块上使用缩放因子，，， ，而不是作用于整个张量，，， ，然后在数值之间完成更细的粒度。。。。。。
最终，，， ，在gpt-oss上，，， ，OpenAI只运用了MXFP4。。。。。。
鉴于OpenAI在AI领域上的影响力，，， ，这基本上就即是在说：
若是MXFP4对咱们够用，，， ，那对你也应该够用。。。。。。
参阅链接
[1]https://www.theregister.com/2025/08/10/openai_mxfp4/
[2]https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf
[3]https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf
本文来自微信公共号“量子位”，，， ，36氪经授权宣布。。。。。。
相关附件
荆州市都会治理执法委员会主理荆州新闻网承办
地点：湖北省荆州市沙市区北京西路307号
联系电话：0716-8270890传真：
鄂ICP备05028271号鄂公网安备 42100202000246号网站标识码：4210000057
