做公司网站公司,网站做301跳转需解析,企业网站如何设计网页,360网站收录提交我们手动实现BitNet的编写#xff0c;并进行的一系列小实验证实#xff0c;看看1.58bit 模型是否与全精度的大型语言模型相媲美#xff01;
什么是量化以及为什么需要它#xff1f;
量化是用更少的比特数表示浮点数的过程。当两个数字使用不同的比特数进行量化时#xf…我们手动实现BitNet的编写并进行的一系列小实验证实看看1.58bit 模型是否与全精度的大型语言模型相媲美
什么是量化以及为什么需要它
量化是用更少的比特数表示浮点数的过程。当两个数字使用不同的比特数进行量化时浮点运算的计算成本几乎按照减少的比特数的比例降低理论上。这使我们能够提高速度并减少机器学习模型的内存消耗。但这通常会导致信息丢失从而降低准确性我们可以通过对量化模型进行更多的微调来一定程度上恢复这种损失。 现有的量化方法与 BitNet 1.58bit 对比
大多数量化算法都需要一个全精度的预训练模型。人们通常会应用后训练量化PTQ和量化感知训练QAT等技术以使这些算法有效运行。
PTQ 是一种量化技术模型在训练完成后进行量化。QAT 是对 PTQ 模型的进一步微调即在考虑量化的情况下进一步训练模型。
而BitNet 采用了一种截然不同的方法即从头开始训练模型时就进行量化
BitNet 的量化算法 上图中通过取绝对值的平均值的一半假设 n2来计算权重裁剪阈值 γ。然后权重矩阵 W 被相同的值除导致新的权重矩阵在原始权重值 ≥ γ 时的值 ≥ 1原始权重值 ≤ -γ 时的值 ≤ -1。对于 -γ 和 γ 之间的值它们被映射到 -0.99999… 到 0.9999…
当执行 roundclip 时
对于原始值 ≥ γ新值为 1.0原始值 ≤ -γ新值为 -1.0原始值在 -γ 和 γ 之间的新值为 0.0。
理论上结果值可以用信息编码理论表示为 1.58 位。由于位数不能是分数我们可以用 2 位来表示。
量化函数在Pytorch中的实现
阈值计算: def compute_adjustment_factor(self, input_tensor: torch.Tensor):absmean_weight torch.mean(torch.abs(input_tensor))adjustment_factor 1e-4 absmean_weight * 2 # 1e-4 to avoid zero divison errorreturn adjustment_factor这里没有把绝对值减半而是乘以了2。但是实验还是成功了!
RoundClip (1.58~ 2bit) def compute_2bit_quantized_tensor(self, input_tensor: torch.Tensor):twobit_matrix torch.clip(inputtorch.round(input_tensor), min-1, max1)return twobit_matrixdef compute_1bit_quantized_tensor(self, input_tensor: torch.Tensor):return torch.sign(input_tensor)def compute_quantized_tensor(self, input_tensor: torch.Tensor):if self.quantization_mode QuantizationMode.two_bit:return self.compute_2bit_quantized_tensor(input_tensor)else:return self.compute_1bit_quantized_tensor(input_tensor)量化步骤 weight_adjustment_factor self.compute_adjustment_factor(self.weight)adjusted_weight self.weight / weight_adjustment_factorquantized_weight self.compute_quantized_tensor(adjusted_weight)线性层操作 F.linear(weight_adjustment_factor * x, quantized_weight, self.bias)将调整因子与输入相乘并将其除以量化权重
如果在将权重传递给线性层函数之前对其进行量化则对量化矩阵的更新不会通过量化函数(因为大多数更新将在1e-4到1e-2之间当通过量化步骤反向传播时将变为零)。因为原始的权重矩阵永远不会更新模型永远不会学习!!
但有一个巧妙的工程技巧可以做到这一点完整的前向传播是这样的 def forward(self, x):weight_adjustment_factor self.compute_adjustment_factor(self.weight)adjusted_weight self.weight / weight_adjustment_factorif self.training:quantized_weight (adjusted_weight (self.compute_quantized_tensor(adjusted_weight) - adjusted_weight).detach())else:quantized_weight self.compute_quantized_tensor(adjusted_weight)return F.linear(weight_adjustment_factor * x, quantized_weight, self.bias)量化权重块的值无论
self.training是否设置为
True都是相同的。但是当
self.training设置为
True时计算得到的梯度会被优雅地复制到调整后的权重中。这允许在训练过程中更新调整后的权重同时也更新原始的权重矩阵。
这是从谷歌 DeepMind 的 VQ VAE PyTorch 实现中借鉴的简单却实用的技巧
自定义Pytorch实现的实验结果
下面的实验选择了一个小型模型和一个相对于小型模型来假设足够大的数据集。此外为了创建目标模型的量化变体我简单地使用以下代码块将
nn.Linear模块替换为这个自定义实现 import copydef create_quantized_copy_of_model(input_model: nn.Module, quantization_mode: QuantizationMode):model_copy copy.deepcopy(input_model)hash_table {n: m for n, m in model_copy.named_modules()}for key in list(hash_table.keys()):if isinstance(hash_table[key], nn.Linear):new_module BitNetLinearLayer(in_featureshash_table[key].in_features,out_featureshash_table[key].out_features,biashash_table[key].bias is not None,quantization_modequantization_mode,)name_chain key.split(.)parent_module_attr_name ..join(name_chain[:-1])parent_module hash_table[parent_module_attr_name]setattr(parent_module, name_chain[-1], new_module)for n, m in model_copy.named_modules():assert not isinstance(m, nn.Linear)return model_copy结果如下
4层FFN的Mnist结果 128维6层VIT版本训练Fashion MNIST的结果 128维8层VIT在 CIFAR100上的结果 我们可以看到除了第一个实验外2位和1位版本的模型与全精度的常规版本的模型表现得一样好。在第一个实验中量化模型可能发生了灾难性遗忘。
这些实验并未使用大型语言模型LLMs进行但足以证明论文关于这样的系统能与全精度模型竞争的说法。
我们的实验与论文的唯一一个区别是这个实现并没有将量化权重存储在2位矩阵中计算仍以fp32执行的要真正看到计算速度的提升需要为此专门的计算内核我们目前没有能力编写所以实现仅验证了论文的潜在的论点。
以上实验的所有代码和模块代码都可以在github repo中找到
https://avoid.overfit.cn/post/131875e588ac4f4aa4f15d2dfa5b46db
作者:Chidhambararajan R
