如何做社团网站,怎么引流推广,有哪些好的网站建设公司,layui wordpress随着大型语言模型#xff08;LLMs#xff09;在理解和生成复杂数学内容方面的能力显著提高#xff0c;通过利用所有公开数据以及相当一部分私有数据#xff0c;已经取得了进展。然而#xff0c;高质量、多样化和具有挑战性的数学问题来源正在逐渐枯竭。即使是寻找新的评估… 随着大型语言模型LLMs在理解和生成复杂数学内容方面的能力显著提高通过利用所有公开数据以及相当一部分私有数据已经取得了进展。然而高质量、多样化和具有挑战性的数学问题来源正在逐渐枯竭。即使是寻找新的评估问题也变得越来越困难因为新发布的人类考试与过去的考试相似可能已经包含在LLMs的训练数据集中。因此迫切需要创新的方法来创造新的、多样化的和具有挑战性的问题。 本文提出一个结合 LLM 和人类专家的框架用于生成多样且具有挑战性的数学题目。该框架利用 LLM 的元认知技能提取现有数学数据集中的核心技能并使用这些技能生成新题目。人类专家验证并进一步改进 LLM 生成的题目以提高其质量和难度。
1 方法 AI 辅助题目生成流程分为五个步骤旨在利用 LLM 和人类专家的互补优势生成新颖且具有挑战性的数学题目。 (A) 技能对验证Skill Pair Validation - 模型首先验证给定的技能对是否不同且不相似。如果技能太相似它们将被标记并排除在问题生成之外。
(B) 问题生成Question Generation - 使用经过验证的技能对模型生成一个需要应用两个技能的问题。问题生成时模型需要尝试解决该问题同时采取一种对抗性方法。
(C) 尝试解决方案Attempted Solution - 给定生成的问题模型尝试解决问题同时采取一种对抗性方法以识别可能的问题例如信息不足、歧义、自相矛盾或过度计算。
(D) 问题验证Question Validation - 根据尝试解决方案模型验证生成的问题检查正确性、技能严谨性、清晰度和其他质量标准。
(E) 最终解决方案Final Solution - 有效的问题将由模型重新解决使用高级技术如上下文提示和多数投票以提高最终解决方案的准确性。
人类专家对 LLM 生成的题目进行进一步审查以确保其质量和难度。该流程有效地结合了 AI 和人类监督的优势以确保生成的题目具有高质量和挑战性。 2 MATH2数据集 MATH2数据集是通过将大型语言模型LLMs的能力和人类专业知识相结合生成的高质量数学问题集合。这一数据集的创建过程始于从MATH数据集中提取数学技能然后利用这些技能生成需要综合运用两种技能解决的问题。这些问题随后由人类标注者进行验证和进一步细化以确保它们的挑战性和创造性。 MATH2数据集的特点包括
多样性和难度MATH2数据集中的每个问题都结合了MATH数据集中不同部分的两种技能这样的组合为问题带来了更高的多样性和难度。人类参与人类专家在问题生成过程中扮演了关键角色。他们通过识别LLM生成的问题中的错误或不完整的想法并对这些问题进行改进以提高问题的质量。性能评估实验结果表明与原始的MATH数据集相比所有模型在MATH2数据集上的性能都有所下降这表明MATH2数据集对模型来说更具挑战性。作为上下文示例的有效性当MATH2中的问题用作其他语言模型的上下文示例时它们能够比MATH数据集中的标准示例更有效地提高模型在MATH数据集上的性能。生成问题的质量人类标注者在验证过程中对MATH2中的180个问题-解决方案对中的79个进行了修改以增加问题的难度或纠正问题/解决方案。这些修改包括对问题的轻微更改以提高清晰度以及对问题的显著更改使其对人类更具吸引力。技能覆盖MATH2数据集覆盖了从MATH数据集中提取的97种技能中的多种技能。尽管MATH2数据集的规模有限但它所包含的技能分布并不均匀有些技能只由一个问题所代表。 3 实验
3.1 模型性能比较
在 MATH2 数据集上评估了各种语言模型包括 MetaMath、MAmmoTH、Gemmma、Llama-3 系列、Phi-3、deepseek-math 和 Mixtral-8×7B-Instruct以及大型专有模型例如 GPT-4o、GPT-4 Turbo、Gemini-1.5-Pro、Claude 3.5 Sonnet 和 Claude 3 Opus。将这些模型在 MATH2 上的表现与其在 MATH 数据集上的表现进行了比较。
结果表明所有测试的模型在 MATH2 上的性能都显著低于 MATH 数据集。 3.2 模型性能与 MATH 性能的平方关系
模型在 MATH2 上的成功率大约是其 MATH 成功率的平方。这种关系表明MATH2 数据集中的每个问题都要求非平凡地应用两种不同的数学技能。
这为创建更具挑战性的评估数据集提供了启示例如通过将 k 种技能组合在一起来创建问题可能会进一步放大模型之间的性能差异。
3.3 MATH2 题目作为上下文例子的有效性
使用 MATH2 题目作为上下文例子可以显著提高模型在 MATH 上的性能。这表明 MATH2 题目具有高质量和相关性可以作为评估模型数学推理能力的有效工具。
3.4 开源模型的表现
开源模型在 MATH2 数据集上的表现不佳但这也表明它们的表现可以通过中等难度的创新题目得到提高。该框架可以生成大量此类题目从而帮助开源模型取得进步。
