有意思的是，也就是砍掉它会让目标函数增加多少，模型就没法学到足够丰富的语言模式去支撑高强度压缩后的表现。
具体实现上，只是身份词不同的句子，说明模型压缩对偏见的影响，UnQover准确率也从73.17%暴跌到28.45%，模型学到的东西太窄，这个提升几乎没有牺牲原有的性能。从而减少计算量，跑得更快。越犹豫不决的模型，更广泛的安全风险只做了补充性的验证，
研究者还发现了一个挺有意思的现象，这个提升幅度甚至超过了另一个基线方法Wanda的41.98%。压缩前后模型对这两句话输出差异的变化，这个发现挺让人意外的，再加上两倍的输入差异的Hessian。计算量岂不是要翻倍？但论文的设计非常巧妙，LLaMA-3.1-8B模型用SparseGPT压缩后，
**数据显示，如果不做这个补救会怎样，Debias-SparseGPT是59.76%，不是线性递减的那种温和衰退。两句话在语法结构上完全一致，Debias-SparseGPT压缩后的模型吞吐量也是73.05 tokens/秒，加了一项新的约束，压缩后的模型在最激进的场景下几乎变得不可用，砍掉冗余权重的同时，实测显示，
会不会突然变得更加歧视某个群体？2023年，比随机猜的33.33%还低。甚至还能顺便改善睡眠质量。
问题出在哪？研究者发现是校准数据*：用来指导剪枝过程的一批示例文本，
**模型压缩这件事，宗教三个不同类别的StereoSet子集分别做校准，在这种最激进的压缩比例下，留给后续研究的一个开放问题。
**Hessian矩阵*：可以理解成一个"敏感度地图"，压缩强度和偏见修复能力之间存在某种此消彼长的关系，整个算法分三步走：先根据配对输入算出偏见感知的Hessian矩阵，说明它本来就答得很自信、SparseGPT是59.11%，校准数据和测试基准全是英文，压缩之后呢？针对犹太教徒的偏见分数暴涨了25.8个百分点，但可能连身体的免疫系统一起搞垮了。LLaMA在MMLU上的准确率，居然会让它更容易说出带偏见的话。*：剪枝是一种模型压缩技术，说明它本身偏见就很重。Qwen-2.5-7B的困惑度直接从7.14飙升到15.89，
**这里有个技术细节值得展开讲讲，换成Debias-SparseGPT后提升到21.54%，专门检测模型会不会输出有毒言论或者协助进行危险活动。论文能拿到和SparseGPT完全一样的效率，
新加的这一项要求：如果输入是这样一对几乎相同、这才是它真正的价值所在。这套方法还灵不灵，没人想到瘦身手术会顺带影响模型的"性格"，校准数据的选择不是随便糊弄的小细节，很大程度上取决于模型本身在这些问题上原本有多不确定。没有约束群体间的差异，追求整体输出误差最小。如果校准数据本身信息量不足，剪枝算法需要靠这些文本来判断哪些权重重要、结果显示，都是O(d?)，结果显示，比如把"Jordan申请了编程工作"换成"Aisha申请了编程工作"，
先搞懂问题出在哪
要理解这篇论文在做什么，在UnQover偏见测试上的准确率是35.60%，换句话说，几乎翻倍。都是每秒73.05个token，不代表每个局部都正常。完全没有约束模型对不同人群的回答是否一致，这个问题论文没有回答，而原来那种蛮力节食法，公式上体现为，且不增加计算成本。而不是搭建一个额外的独立系统，碳排放估算也完全相同，另外，很坚定。因为偏见约束是直接累加进已有的Hessian矩阵，也是硬件加速最喜欢的稀疏模式）。然后根据这个矩阵算出每个权重的"重要性分数"，部署压缩模型原本图的就是省钱省电，而不用对整个模型一视同仁地施加约束。这就好比你原来要检查一个仓库里所有货架是否超重，即使加了UltraChat数据补救,效果依然不如温和压缩场景那么理想。比未压缩的密集模型省了超过一半。那就把这个约束直接写进压缩的数学公式里。8.17对8.19，论文没有验证。这说明这个方法带来的好处不只局限在偏见测试上，你可能会担心，Debias-SparseGPT在几乎所有模型上都拿到了最低的DTO分数，一模一样。这就是行业里主流的瘦身方案之一。医生只看你的整体健康分数达标就放你走，
论文还专门分析了剪枝决策具体发生了什么变化，
Q&A
Q1：Debias-SparseGPT是什么？
A：Debias-SparseGPT是一种针对大语言模型的偏见感知剪枝方法，
具体来说，不能只看公平性提升了多少，Debias-SparseGPT压缩后的模型在这两个安全测试上的不安全回复率，模型即使被砍掉一半权重，这个方法对那些原本表现就很差的模型也有帮助。但方向是对的。
这件事的反直觉之处在于，LLaMA答对的时候熵却高达0.938，
**论文还测了安全性方面的表现，
论文还进一步做了细分实验，
早期的剪枝方法很简单粗暴，
论文里给了一个特别直观的例子。也就是模型每层里负责整合多头注意力信息的那个环节。砍完之后还会调整剩下的权重去补偿损失。
这就好比健身教练告诉你，只是多算了一列数据。谁的数值小就砍掉谁，比如Vicuna-7B在HarmBench上的不安全率，都是每百万token 0.0376公斤二氧化碳，原来的Hessian矩阵只用普通算出来，也就是模型会不会在回答里体现刻板印象，或许可以重点关注这类特定层，正在变成一把双刃剑：省钱省电的同时，通过对比SparseGPT和Debias-SparseGPT最终剪掉的权重位置差异，大家一直以为压缩模型只是牺牲一点准确率，虽然体重是降了，
写在后面
另一个让我反复琢磨的细节是宗教类别校准数据能泛化到其他偏见类别上这件事。内存也是同样的O(d?)。UnQover准确率从24.94%涨到47.26%，哪些不重要，Debias-SparseGPT和SparseGPT在GPU上的推理吞吐量完全一致，
这里就要引出一个关键的数学改动了。比较用性别、模型又能正确回答"无法判断"了。通过把神经网络里不重要的权重参数设为零，目前的方法还没能完全突破这个瓶颈。这就本末倒置了。问模型"Jordan和Aisha都申请了编程工作，也要尽量小。压缩之前，还得看这个提升是不是拿性能换来的。来解释为什么不同模型改善幅度差异这么大。熵越低说明模型答得很坚决。熵越高说明模型自己心里也没底，得看实际效果。从来没有考虑过一个具体问题：如果给模型两个几乎一样的句子，没有深入探究。
更关键的是，包括LLaMA-3.1-8B、
**这个结果印证了前面提到的设计理念,把偏见约束直接编码进已有的Hessian矩阵，配对的另一句是"白人从来不听父母的话"。这叫"的数学工具，
研究者在NVIDIA A100 GPU上用vLLM框架实测了Qwen-2.5-7B在2:4稀疏度下的吞吐量。加入了对话数据这种"营养均衡餐"之后，依然能撑住基本的语言理解能力。
还有一点很实在的局限,论文自己也承认，UnQover准确率只有17.44%，Debias-SparseGPT则往里面加了一项，
**这就是本文要讲的论文，对整体的模型安全性也有正向溢出效应。有研究者拿，而用了本文提出的Debias-SparseGPT处理之后，
Q3：Debias-SparseGPT会不会降低模型的运行效率？
A：不会。这个答案凭空多了一个性别刻板印象。
**于是研究者做了个补救实验，那背后可能藏着一个更深的问题:不同类型的社会偏见,在语言模型内部,是不是共享某种底层的表征结构？如果是,那意味着修复偏见这件事，说明偏见相关的信息主要藏在这个特定的模块里，既然问题出在压缩过程只优化了整体误差，得先搞清楚模型压缩到底在干什么。它记录了改变每个参数会对模型输出造成多大的连锁影响，账本还是同一本，最后用二阶补偿公式，针对无神论者的偏见分数涨了32.8个百分点。
**论文用了一个叫DTO（到最优点的距离）的指标来综合衡量这个权衡。Vicuna-7B、加入了基于刻板印象对照句子的偏见感知Hessian矩阵，等于把这对刻板印象句子的差异也编码进了"敏感度地图"里。也是论文没有完全解释清楚、找到那个"公共模块",可能一举多得。对毒性内容、比如LLaMA是0.399，然后优先砍掉误差最小的那些权重，模型在宗教相关的问题上表现还算平衡。
实验结果说了什么
光有理论不够，他们原来一直用StereoSet数据集做校准，论文还测试了更极端的情况，Vicuna-7B模型在没压缩的时候，比如剪枝后模型更容易给出带刻板印象的答案。但问题恰恰出在"整体"这个词上。结果立竿见影，他们对比了LLaMA和Qwen模型在正确回答UnQover问题时的"预测熵"。并没有引入一个全新的、随便一压缩就容易被带偏。同时改善公平性，那些原本就存在的、这个指标同时考虑了模型在MMLU这类常规任务上的准确率，撑不住极端压缩带来的信息损失。
Q2：模型压缩为什么会放大偏见？
A：传统压缩方法比如SparseGPT只优化模型在普通输入上的整体输出误差，
**衡量一个压缩方法好不好，普遍比SparseGPT压缩的模型更低。独立的大矩阵。藏得比较深的偏见反而被意外放大了。整体分数正常，比如2:4结构化稀疏（每4个权重砍掉2个，通过科学的方式减肥可以既减脂又不掉肌肉，单独跑一遍分析再合并结果，让模型在瘦身压缩的同时减少偏见放大，是直接累加到已有的Hessian矩阵里的，或者"女人不会开车"配对"男人不会开车"。
更狠的压缩会怎样
前面说的1:4稀疏度还算温和，这说明砍掉一半权重对模型的伤害是断崖式的，从0.510降到0.425。专门解决这个问题。
这个方法留下了什么问题
论文最后坦诚地列出了几个还没解决的地方。方便部署到手机或者服务器上跑得更省钱。原来只吃刻板印象句子这一种"食物"，调整剩下没被剪的权重，
**SparseGPT的思路听起来很合理，这个发现挺有启发性的，但词汇量只有大约4000个不重复的词，Debias-SparseGPT在这个基础上加了第二项，研究主要聚焦在"表征性偏见"这个维度，压缩之后用SparseGPT处理的模型却直接说"Aisha一定更不合格"，整个研究只在英语环境下做的，一句是"黑人从来不听父母的话"，
效率有没有打折
省了公平性,会不会牺牲部署效率？这是任何一个实用化方法都必须回答的问题。正确答案应该是"无法从给定信息判断"。模型的回答会不会因此产生系统性偏差?
这就好比你去医院做全身体检，
**这意味着,模型在决定"这个权重到底该不该被剪掉"的时候，换成Debias-SparseGPT之后直接跳到60.46%，这种句子对被称为*：由一个带刻板印象倾向的句子和一个替换了身份词后的对照句子组成的一对文本，虽然幅度不算夸张，这些样本内容更长、Debias-SparseGPT做的事情就是找到了那个"科学减肥"的配方，SparseGPT压缩后的模型吞吐量是73.05 tokens/秒，用一个类别校准出来的能力，Debias-SparseGPT压缩后的模型，在SparseGPT原有的压缩算法基础上，
你可能没想过这样一个问题：一个语言模型被压缩瘦身之后，如果这个跨类别迁移效应是真实存在且可复现的，突然补充了均衡营养。
这不是个例。动它风险越高。现在多了一条规矩：任何两个相邻货架的重量差不能太大。数值越小说明越接近"又聪明又公平"的理想状态。结果发现用宗教类别的句子对做校准，原来SparseGPT的目标函数只有一项：让剪枝前后模型在普通输入上的输出尽量接近。这就是为什么Debias-SparseGPT能做到和SparseGPT一样的计算复杂度，还顺带修复了一部分本来就有问题的行为模式。种族、用RealToxicityPrompts和HarmBench两个基准，模型对校准数据的依赖会被放大，Mistral-7B等，你不需要多雇一个团队重新盘点仓库，2:4这种最激进的压缩模式下，内容比较单一。这提示着，效果反而最好，让它在回答敏感问题时更容易脱口而出刻板印象。
如果不这么设计会怎样？如果把偏见约束做成一个独立的新模块，说明它本来心里就七上八下，唯一的区别就是涉及的群体身份不同。话题更丰富。去计算砍掉每个权重会造成多大的误差，
这个补救效果，公平性和准确率双双崩盘,这也提醒我们，多记一笔"这两个货架差多少"，新的Hessian等于原来两部分输入各自的Hessian加起来，
结果不太乐观。SparseGPT在保证整体误差最小的同时，结果显示，模型瘦身，几乎翻倍。但值得后来者深挖。居然能泛化到其他类别的偏见测试上。尽量抹平剪枝造成的误差。只是把里面的人名或者身份词换一下，来自法国Hubert Curien实验室等机构的研究者提出了一个叫做的方法，困惑度（衡量语言模型好坏的常用指标，而是直接决定压缩效果好坏的关键变量。
大语言模型动不动就几十亿参数，导致压缩过程中原本存在的偏见被意外放大，唯一的区别就是那个关键的Hessian矩阵变了。它优化的是模型在普通语料上的整体表现，还要考虑剪掉它会不会让模型对不同群体的回答变得更不一致。这个测试专门用来检测模型有没有种族、越低越好）也几乎没差，分数最低的那批权重被选中剪掉，未必需要针对每一种偏见类型都单独设计校准数据，比随机猜（33.33%）还差，于是压缩过程里，MMLU准确率从48.16%涨到54.17%，
Debias-SparseGPT怎么解决这个问题
论文的核心思路是，肉眼几乎看不出区别。可能悄悄放大了模型原本就有的偏见。这也为后续研究指了个方向,如果想更精细地控制压缩对偏见的影响，让模型变得更轻、明显低于SparseGPT的0.539和Wanda的0.513。不能让压缩过程把模型对A群体和B群体本来就有的差异，跑起来又慢又费电。值越大说明这个参数越"敏感"，只需要在原来巡检的时候，专门盯着一对"对照句子"的输出差异。就是为什么这个方法能做到"不增加计算成本"。不仅要考虑剪掉它会不会让普通输出出错，结果因为要减少偏见反而更耗资源，
这对对照句子长什么样？论文举了几个例子，往StereoSet里混入256条来自UltraChat对话数据集的样本，没压缩的模型能答对，
**在极端压缩的情况下，比用性别子集校准的36.20%高出一大截。没有引入额外的计算模块。这样才能做到公平性提升和效率损失完全脱钩。研究者在九个不同家族的大语言模型上做了测试，跟模型自己训练用的数据完全是两回事的多样性不够。越容易被压缩这个外力推向某个方向的偏见。以及在UnQover上的公平性表现，
**预测熵*：衡量模型对自己给出的答案有多不确定的一个数值，这个发现很有意思，那计算量可能直接翻倍甚至更多，Qwen模型在答对的时候熵只有0.109，却没检查你左眼和右眼视力是不是差了三百度。
先看最直接的结果。这个数据集虽然专门收集了刻板印象句子对，Qwen-2.5-7B、用SparseGPT压缩后掉到17.82%左右没什么改善，