酒泉市城乡建设局网站,wordpress开发手册chm,做常州美食网站首页的背景图,wordpress无法发邮件slavahead 一、介绍 Transformer 在 NLP 方面取得了进化进步#xff0c;这已经不是什么秘密了。基于转换器#xff0c;许多其他机器学习模型已经发展起来。其中之一是BERT#xff0c;它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外#… slavahead 一、介绍 Transformer 在 NLP 方面取得了进化进步这已经不是什么秘密了。基于转换器许多其他机器学习模型已经发展起来。其中之一是BERT它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外BERT在构建词嵌入表示词的语义含义的数字向量方面也越来越受欢迎。 以嵌入的形式表示单词具有巨大的优势因为机器学习算法不能处理原始文本但可以对向量的向量进行操作。这允许通过使用欧几里得或余弦距离等标准度量来比较不同单词的相似性。 问题在于在实践中我们经常需要构造嵌入而不是为单个单词而是为整个句子。但是基本的 BERT 版本仅在单词级别上构建嵌入。因此后来开发了几种类似 BERT 的方法来解决此问题本文将对此进行讨论。通过逐步讨论它们我们将达到称为 SBERT 的最先进的模型。 为了深入了解 SBERT 在后台的工作原理建议您已经熟悉 BERT。如果没有本系列文章的前一部分将对此进行详细解释。 二、Bert
首先让我们提醒一下 BERT 如何处理信息。作为输入它采用一个 [CLS] 令牌和两个句子由一个特殊的 [SEP] 标记分隔。根据型号配置多头注意力块会处理 12 或 24 次此信息。然后将输出聚合并传递到简单的回归模型以获取最终标签。 BERT架构
有关 BERT 内部工作原理的更多信息您可以参考本系列文章的前一部分
2.1 交叉编码器架构
可以使用BERT来计算一对文档之间的相似性。考虑在大型集合中查找最相似的句子对的目标。为了解决这个问题每个可能的对都被放在BERT模型中。这会导致推理过程中的二次复杂度。例如处理 n 10 000 个句子需要 n * n — 1 / 2 49 995 000 次推理 BERT 计算这实际上不可扩展。
2.2 其他方法
分析交叉编码器架构的低效率为每个句子独立预计算嵌入似乎是合乎逻辑的。之后我们可以直接计算所有文档对上所选的距离度量这比将二次数的句子对提供给 BERT 要快得多。
不幸的是这种方法在BERT中是不可能的BERT的核心问题是每次同时传递和处理两个句子时很难获得仅独立表示单个句子的嵌入。
研究人员试图通过使用 [CLS] 标记嵌入的输出来消除这个问题希望它包含足够的信息来表示一个句子。然而事实证明[CLS]对这项任务根本没有用因为它最初是在BERT中预先训练的用于下一个句子预测。
另一种方法是将单个句子传递给 BERT然后对输出标记嵌入进行平均。然而获得的结果甚至比简单地平均GLoVe嵌入还要糟糕。 推导独立的句子嵌入是BERT的主要问题之一。为了缓解这一方面开发了SBERT。 三、SBERT
SBERT 引入了连体网络概念这意味着每次两个句子通过同一个 BERT 模型独立传递。在讨论 SBERT 架构之前让我们先看一下关于连体网络的一个微妙的注释 大多数时候在科学论文中暹罗网络架构被描述为几个模型接收如此多的输入。实际上可以将其视为具有相同配置和权重的单个模型这些配置和权重在多个并行输入之间共享。每当为单个输入更新模型权重时它们也会为其他输入同样更新。 左边是非连体交叉编码器架构右边是连体双编码器架构。主要区别在于在左侧模型同时接受两个输入。在右侧模型并行接受两个输入因此两个输出不相互依赖。
回到 SBERT在通过 BERT 传递句子后将池化层应用于 BERT 嵌入以获得其低维表示最初的 512 个 768 维向量被转换为单个 768 维向量。对于池化层SBERT的作者建议选择均值池化层作为默认层尽管他们也提到可以使用最大池化策略或者简单地采用[CLS]令牌的输出。
当两个句子都通过池化层时我们有两个 768 维向量 u 和 v。通过使用这两个向量作者提出了三种优化不同目标的方法这些方法将在下面讨论。
3.1 分类目标函数 此问题的目标是在几个类之一中正确地对给定的一对句子进行分类。 在生成嵌入 u 和 v 之后研究人员发现生成从这两个源得出的另一个向量作为元素绝对差 |u-v| 是有用的。他们还尝试了其他特征工程技术但这种技术显示出最好的结果。 最后将三个向量 u、v 和 |u-v| 连接起来乘以可训练的权重矩阵 W并将乘法结果输入 softmax 分类器该分类器输出对应于不同类的句子的归一化概率。交叉熵损失函数用于更新模型的权重。 用于分类目标的 SBERT 架构。参数 n 代表嵌入的维度默认为 768 作为 BERT base而 k 表示标签的数量。 NLI自然语言推理是用于解决该目标的最流行的现有问题之一其中对于定义假设和前提的给定句子 A 和 B 对有必要预测假设是真蕴涵、假矛盾还是未确定中性给定前提。对于此问题推理过程与训练相同。 如本文所述SBERT模型最初是在SNLI和MultiNLI两个数据集上训练的这两个数据集包含一百万个句子对具有相应的标签蕴涵、矛盾或中性。之后论文研究人员提到了有关SBERT调谐参数的细节 “我们用一个 3 分 softmax 分类器目标函数对 SBERT 进行微调用于一个时期。我们使用了 16 个批处理大小、学习率为 2e−5 的 Adam 优化器以及超过 10% 的训练数据的线性学习率预热。我们默认的池化策略是卑鄙的。 3.2 回归目标函数 在此公式中在获得向量 u 和 v 后它们之间的相似性分数由所选的相似性指标直接计算。将预测的相似度分数与真实值进行比较并使用 MSE 损失函数更新模型。默认情况下作者选择余弦相似度作为相似度指标。 回归目标的SBERT架构。参数 n 代表嵌入的维数默认为 768 作为 BERT 基数。
在推理过程中可以通过以下两种方式之一使用此体系结构
通过给定的句子对可以计算相似度分数。推理工作流与训练完全相同。对于给定的句子可以提取其句子嵌入在应用池化层之后以供以后使用。当我们得到大量句子以计算它们之间的成对相似性分数时这特别有用。通过仅通过 BERT 运行每个句子一次我们提取了所有必要的句子嵌入。之后我们可以直接计算所有向量之间选择的相似度指标毫无疑问它仍然需要二次比较但同时我们避免了像以前那样使用 BERT 进行二次推理计算。
3.3 三重目标函数 三元组目标引入了三元组损失该损失由三个句子计算通常称为锚正和负。假设锚句和肯定句彼此非常接近而锚句和否定句则非常不同。在训练过程中模型会评估对锚正与对锚负相比的接近程度。在数学上以下损失函数最小化 原始论文中的三元组损失函数。变量 sₐ、sp、sn 分别表示锚嵌入、正嵌入和负嵌入。符号 ||小号||是向量 s 的范数。参数 ε 称为边距。
边距 ε 确保肯定句比否定句更接近锚点至少ε。否则损失将大于 0。默认情况下在此公式中作者选择欧几里得距离作为向量范数参数 ε 设置为 1。
三元组 SBERT 架构与前两个架构的不同之处在于该模型现在并行接受三个输入语句而不是两个。 回归目标的SBERT架构。参数 n 代表嵌入的维数默认为 768 作为 BERT 基数。
四、代码
SentenceTransformers 是一个最先进的 Python 库用于构建句子嵌入。它包含用于不同任务的多个预训练模型。使用 SentenceTransformer 构建嵌入很简单下面的代码片段中显示了一个示例。 使用 SentenceTransformer 构造嵌入 然后构造的嵌入可用于相似性比较。每个模型都是针对特定任务进行训练的因此通过参考文档选择适当的相似度指标进行比较始终很重要。
五、结论 我们已经介绍了一种用于获取句子嵌入的高级 NLP 模型。通过将 BERT 推理执行的二次次数减少到线性SBERT 在保持高精度的同时实现了速度的大幅增长。 为了最终理解这种差异有多显着参考论文中描述的例子就足够了研究人员试图在n 10000个句子中找到最相似的一对。在现代 V100 GPU 上使用 BERT 时此过程大约需要 65 小时使用 SBERT 时只需 5 秒这个例子表明 SBERT 是 NLP 的巨大进步。
