InfiX.ai: InfiAlign以12%数据实现顶级AI

这项由InfiX.ai公司和香港理工大学联合开展的研究发表于2025年8月，研究团队由InfiX.ai的蔡硕、杨柯静、桑志杰、谢聪恺，以及香港理工大学的卢苏、周琦、杨红霞教授等人组成。有兴趣深入了解的读者可以通过arXiv:2508.05496v1访问完整论文，模型检查点已在https://huggingface.co/InfiXai/InfiAlign-Qwen-7B-SFT发布。

当我们讨论人工智能模型的训练时，就像培养一个天才少年一样，传统做法往往是给他们堆积如山的书籍，希望通过海量阅读来提升能力。但这种"填鸭式"的训练方法不仅耗费巨大的计算资源，就像需要无数个昂贵的私人教师，而且效率并不理想。研究团队面临的核心问题是：能否像一位经验丰富的家教一样，精心挑选最有价值的学习材料，让AI模型用更少的数据达到同样优秀的推理能力？

这个问题的重要性不言而喻。目前的大语言模型训练就像建造摩天大楼，需要消耗天文数字般的计算资源和训练数据。对于大多数研究机构和公司来说，这种成本是难以承受的。更关键的是，在数学推理、编程和科学问题解决这些需要深度思考的任务中，模型的表现往往取决于训练数据的质量而非数量。就好比学习解数学题，做一百道精心设计的习题远比盲目刷一千道重复题目更有效果。

研究团队提出的InfiAlign框架就像一位睿智的教育专家，它不是简单地给AI模型塞入海量信息，而是建立了一套完整的"因材施教"体系。这个体系的核心理念是通过多维度的数据筛选，从庞大的开源数据集中自动识别出最有价值的训练样本。这种方法就像从图书馆的千万本书中精选出最适合学生当前水平和需求的教材，既保证学习效果又大幅提升效率。

InfiAlign的创新之处在于它将监督微调和直接偏好优化两种训练方法有机结合，创建了一个可扩展的后训练框架。研究团队将这个框架应用到Qwen2.5-Math-7B-Base模型上，取得了令人瞩目的成果。他们的SFT模型仅使用约12%的训练数据（92K对比800K），就达到了与DeepSeek-R1-Distill-Qwen-7B相当的性能水平，这种效率提升就像用一本精选习题集达到了刷十本普通习题集的效果。

更令人印象深刻的是，通过进一步应用DPO技术，模型在数学推理任务上获得了显著改进。在AIME2024和AIME2025这两个权威数学竞赛基准测试中，模型平均提升了3.89%，这种提升幅度在AI领域是相当可观的。这就像一个学生通过精准的学习方法，不仅在模拟考试中表现优异，在真正的竞赛中也能脱颖而出。

一、数据精选的智慧：多维质量评估体系

InfiAlign框架的核心就像一位经验丰富的图书管理员，她不仅知道每本书的内容，更了解哪些书籍最适合不同水平的读者。这个智能筛选系统包含四个关键环节，每个环节都像精密仪器一样发挥着不可替代的作用。

数据收集和预处理阶段就像整理一个庞大的图书馆。研究团队从十多个开源推理数据集中收集了超过1000万个原始对话样本，包括OpenThoughts-114K、AM-DeepSeek-R1-Distilled-1.4M、NuminaMath-CoT等知名数据集。这些数据集就像来自不同出版社的书籍，质量参差不齐，格式各异。为了确保训练效果，团队首先进行规则化过滤，移除非英语或不完整的问答对，就像筛除破损或内容不全的书籍。

对于缺乏思维链推理过程的问题，研究团队采用了一种巧妙的方法。他们使用DeepSeek-Distill和Qwen3等先进模型来生成详细的推理过程，这就像请资深教师为简单的题目补充完整的解题步骤。这种做法的好处是显而易见的：原本只有答案的题目变成了包含完整思路的教学材料，大大提升了训练价值。

多样性采样策略可以比作为学生制定均衡的学习计划。研究团队设计了双层粒度的多样性采样策略，既考虑领域层面的多样性，又兼顾语义层面的差异。在领域层面，他们使用基于提示的大语言模型分类器为每个问题分配特定的领域标签。对于数学和编程这样的结构化领域，还进一步细分为更具体的子类别，比如将数学分为代数、几何、概率统计等，将编程分为动态规划、贪心算法、深度优先搜索等。

在语义层面，团队采用了更加精妙的方法。他们将所有问题编码为密集的向量表示，然后使用无监督聚类算法在嵌入空间中进行聚类，从每个聚类中均匀采样。这种做法就像确保学生接触的题目不仅涵盖不同知识点，在表达方式和思维角度上也足够丰富。两种采样结果最终合并，并通过n-gram重叠匹配进行去重，确保既保持多样性又避免重复。

难度控制采样是这套系统最具创新性的部分。传统的难度评估方法往往需要昂贵的推理成本或依赖于特定任务的启发式规则，研究团队另辟蹊径，发现了一个简单而有效的规律：回答长度与问题难度之间存在显著的正相关关系。

通过对数学和编程问题的深入分析，团队绘制了详细的难度分布图。从这些图表中可以清楚地看到，随着问题难度从"非常简单"到"非常困难"递增，模型生成回答的平均长度也相应增加。这种现象背后的逻辑很容易理解：复杂问题需要更多的推理步骤、更详细的解释和更全面的验证过程，自然会产生更长的回答。

基于这一发现，团队将回答长度作为难度的代理指标，在每个语义或主题聚类中优先选择回答较长的样本。这种方法的优势在于既保持了多样性，又确保了足够的难度挑战。就像一位优秀的教师，既不会让学生只做简单题目失去挑战性，也不会让他们面对过于困难的问题而丧失信心。

后采样质量过滤阶段就像最后的质量检查环节。团队首先进行格式级别的验证，确保回答完整且结构良好，比如数学问题的最终答案是否用boxed标记包围。对于有明确答案的任务，他们使用专门的自动验证器进行正确性检查，如数学验证器MathVerify和编程沙盒环境。

当回答未通过验证时，系统会调用大语言模型使用结构化的纠正模板重新生成答案，这个过程最多迭代八次，直到通过所有验证检查或达到最大尝试次数。对于开放式或部分可验证的任务，团队采用基于大语言模型的评估协议，评估问题清晰度、答案冗余度和整体信息价值。当回答模糊或置信度较低时，样本会被保守地丢弃以维持数据集的可靠性。

为了避免测试集污染，团队还实施了严格的数据去污染程序。他们过滤掉与公开基准数据集存在显著词汇或语义重叠的问答对，使用n-gram重叠和基于句子嵌入的余弦相似度作为判断标准。这种做法确保了评估指标能够准确反映模型的泛化能力，而不是简单的记忆能力。

二、因材施教的训练策略：课程学习与领域均衡

就像培养一个全才学生需要合理安排学习计划一样，InfiAlign采用了精心设计的训练策略，确保模型能够在各个推理领域都达到优异表现。这套训练方法包含数据配比优化和两阶段课程学习两个核心要素。

在数据来源和组合方面，研究团队构建了两个不同规模的高质量指令语料库：InfiAlign-SFT-92K和InfiAlign-SFT-165K，分别包含95K和165K个专注于推理的问答对。这些数据集就像精心策划的教材，从超过1000万个原始对齐样本中提取，涵盖十个主要的开源数据集，包括OpenThoughts-114K、AM-DeepSeek-R1-Distilled-1.4M、NuminaMath-CoT等知名资源。

通过大量实验观察，团队发现了一个重要规律：数学和编程任务展现出强大的迁移学习能力，对数据规模的扩展更加敏感，而通用领域和特定领域的样本在数量增加时收益递减。基于这一发现，他们采用了数学：编程：科学=4:4:3的领域混合比例，既优先考虑推理密集型任务，又保持广泛的主题覆盖。

两阶段课程学习策略体现了"循序渐进"的教育智慧。在第一阶段，模型接受70%相对简单的数据训练，主要包括数学和编程指令，这些内容提供了结构化且相对容易理解的推理模式。这个早期阶段让模型在稳定的优化环境中获得基础推理技能，就像学生先掌握基本概念再进入更复杂的学习内容。

第二阶段将训练集扩展到完整的InfiAlign-SFT-165K语料库，引入更多样化和领域特定的指令，特别是来自科学和开放性领域的内容。关键的是，这个阶段保留了第一阶段的样本，确保分布连续性并避免灾难性遗忘。这种渐进式课程使模型能够从结构良好的推理任务平滑过渡到更开放的推理任务，最终在各个领域都获得改进的泛化能力。

这种训练策略的效果就像一位经验丰富的教师，先让学生在熟悉的环境中建立信心和基础技能，然后逐步引入更具挑战性的内容，确保学习过程既高效又稳定。整个过程中，领域感知的数据组合和基于课程的训练计划形成了统一且有原则的策略，在有限的数据预算下实现有效的推理对齐。

三、偏好优化的精进之路：DPO数据精选与训练

当基础训练完成后，就像一个学生已经掌握了基本知识，接下来需要的是更精细的指导来区分好的答案和不够好的答案。InfiAlign框架的DPO阶段就承担了这样的角色，通过直接偏好优化进一步提升模型的推理能力。

DPO的核心思想可以用一个简单的比喻来理解：假如你有一道数学题的两个解答，一个是正确且推理清晰的，另一个是错误或推理混乱的。DPO训练就是教会模型识别并偏好前者。具体来说，给定一个提示和一对回答，其中包含正确答案和SFT模型生成的错误答案，DPO通过最大化正确答案与错误答案之间的对数似然差距来优化模型。

为了构建高质量的DPO训练数据集，研究团队采用了系统性的方法。他们利用OpenMathReasoning、Mixture-of-Thoughts和OpenScience等数据集，这些数据集包含涵盖数学、科学和编程领域的问答对。所有样本都包含由DeepSeek-R1和QwQ-32B等强大推理模型生成的经过验证的推理解答，确保了正确答案的质量。

DPO数据筛选过程就像精心策划一场考试。首先进行数据去污染和去重，确保训练数据不会与评估基准重叠，也不会与SFT训练数据集重复。接着，团队使用Qwen2.5-32B-Instruct模型为每个样本标注特定领域的标签，然后在每个类别中选择解答最长的问题，这些问题代表了最具挑战性的内容。

拒绝采样阶段是整个过程的关键环节。研究团队让SFT模型为这些精选问题生成回答，然后使用Qwen2.5-32B-Instruct模型评估数学和科学问题的回答质量，使用内部沙盒服务验证编程相关答案的正确性。对于每个领域，他们选择回答错误且解答较长的样本作为负例，确保各类别样本数量平衡。

这种做法背后有着深刻的考虑。前期研究发现，对于具有挑战性的问题，使用来自显著更强模型的正确答案能够获得更好的结果。因此，团队直接使用强模型生成的解答作为正例，与筛选出的错误样本配对构成训练对。这就像让学生对比标准答案和自己的错误解答，从差异中学习改进。

DPO训练的技术细节也经过精心设计。团队构建了两个不同的DPO训练集：InfiAlign-DPO-9K（包含4k数学、3k编程、2k科学样本）用于训练InfiAlign-Qwen-7B-SFT-92K模型，InfiAlign-DPO-10K（包含3.5k数学、3.5k编程、3k科学样本）用于训练InfiAlign-Qwen-7B-SFT-165K模型，保持与SFT训练相同的数据混合策略。

训练过程使用360-LLaMA-Factory框架，在16块NVIDIAH800GPU上进行序列并行训练。具体参数设置包括3个训练轮次，批大小16，学习率5e-7，余弦学习率调度器，预热比例0.1，序列并行度4。训练过程最小化带有β=0.1的sigmoid偏好损失，确保模型能够有效学习偏好关系。

四、实验验证：小数据大能力的惊人表现

研究团队设计了全面的实验来验证InfiAlign框架的有效性，就像为一位学生安排各种考试来全面评估他的能力水平。这些实验不仅证明了方法的有效性，更揭示了在数据效率方面的巨大优势。

评估基准的选择涵盖了推理能力的各个维度。在数学推理方面，团队选择了AIME2024/2025和MATH500作为评估标准，这些都是国际权威的数学竞赛问题。编程能力通过LiveCodeBench进行测试，这是一个动态更新的编程挑战平台。通用推理能力使用MMLU-Pro进行评估，科学问答能力则通过GPQA-Diamond基准测试。这样的评估体系就像为学生安排文理科全面考试，确保能够客观反映真实能力水平。

实验结果令人印象深刻。InfiAlign-Qwen-7B-SFT-92K模型达到了54.70的平均准确率，与使用800K训练数据的DeepSeek-Distill-Qwen-7B（54.43）基本持平，但仅使用了12%的训练数据。这种效率提升就像一个学生用一本精选习题集达到了别人刷十本习题集的效果。

更值得注意的是模型的泛化能力表现。在AIME2025测试中，InfiAlign达到了43.39的成绩，明显超过DeepSeek-Distill-Qwen-7B的38.70。在科学推理方面，GPQA测试中的48.48分也超过了对比模型的47.00分。这些结果表明，精心筛选的少量高质量数据不仅能够匹配大规模数据的效果，在某些任务上甚至表现更佳。

为了验证方法的可扩展性，研究团队进一步将训练数据扩展到165K样本。InfiAlign-Qwen-7B-SFT-165K模型获得了57.52的更高平均准确率，在大多数基准测试中都超过了92K版本，包括在AIME2024上提升7.29分，在GPQA上提升5.12分，在LiveCodeBench上提升2.15分。这种上升趋势证明了方法的稳健性和可扩展性，让从业者可以根据资源可用性平衡训练成本和性能。

DPO训练带来了额外的性能提升，特别是在数学领域。与各自的SFT基线相比，InfiAlign-Qwen-7B-DPO-9K和InfiAlign-Qwen-7B-DPO-10K分别获得了1.62%和1.18%的平均改进。在AIME2024测试中，DPO-9K模型获得了4.58分的显著提升（从56.46提升到61.04），而DPO-10K模型在AIME2025上达到47.45分（提升5.26分），在MATH500上达到93.45分，超越了所有基线模型。

五、深入分析：揭秘数据筛选的奥秘

为了深入理解InfiAlign成功背后的原因，研究团队进行了详尽的消融实验，就像解剖一个精密机器，分析每个零件的作用。这些分析不仅验证了设计选择的合理性，更为未来的研究提供了宝贵见解。

通用推理能力的消融实验揭示了不同采样策略的效果差异。研究团队从AM-1.4M数据集中固定采样17.1K个样本，比较了八种不同的采样策略。随机采样作为基线，在MATH500上获得75.60分，在GPQA-Diamond上获得33.21分。仅基于回答长度的采样策略展现出强大的效果，在MATH500上达到83.30分，比随机采样提升了7.7分，在GPQA上也达到35.81分。

这一发现证实了回答长度作为推理复杂度代理指标的有效性，特别是在符号推理领域。相比之下，基于模型估计提示难度的复杂性感知采样在科学任务如GPQA-Diamond上表现更佳（42.17分），有效捕捉了长度单独无法反映的细致知识密集型挑战。

关于多样性策略的比较同样富有启发性。研究团队提出的长度与双重多样性相结合的方法，整合回答长度启发式与领域级和语义级多样性，在所有基准测试中都保持了平衡的性能提升。该方法在SuperGPQA上获得最高性能，在其他测试中也保持竞争力，优于单轴多样性策略。这证明了混合多粒度多样性在覆盖真实世界指令分布异质性方面的重要性。

科学和数学领域的专门实验提供了更深入的洞察。在科学领域，与通用数据不同，多样性成为更关键的因素，这是由于不同科学子领域的独特特征所致。虽然双重多样性在GPQA上的得分仅略高于研究团队的方法，但长度与双重多样性的结合在其他基准测试中始终产生平衡的性能。

数学领域的实验显示，随着数据质量和实例难度的提升，性能得到改善。来自NuminaMath-CoT的更长、更多样的样本明显优于较短样本，在AIME25上提升6.3%，在GPQA上提升5.9%。从s1-59K抽取的样本进一步超越单独使用NuminaMath-CoT的效果，表明更高的源质量。重要的是，使用双启发式策略组合两个数据源获得了最佳整体结果，突出了该方法在多源对齐设置中的稳健性和可扩展性。

32B模型规模的验证实验证明了InfiAlign的可扩展性。研究团队在Qwen2.5-32B-Instruct上进行微调，使用从共享59K数据池中抽取的1K样本子集，严格通过15-gram过滤和嵌入相似度去重。高质量监督的重要性得到明显体现：使用QwQ-32B监督替代DeepSeek-R1后，s1K-QwQ在所有基准测试中都优于s1.1，特别是在AIME2024上提升了7.29分。

语言学分析显示，QwQ-32B生成的回答平均长度增加20%，包含78%更多的推理相关话语标记，如深思熟虑提示、验证短语和补充表达。这表明更长的回答编码了更强的内省信号，增强了下游蒸馏效果。InfiAlign展现出稳健性和可扩展性，在不需要任务特定启发式的情况下匹配s1K-QwQ性能，且始终优于随机基线。

六、技术创新的深层价值

InfiAlign框架的技术创新远不止于表面的性能提升，它代表了AI训练范式的一次重要转变。这种转变就像从工业时代的大批量生产转向个性化定制，体现了对质量与效率并重的深度思考。

自动化数据筛选管道是这项研究最具实用价值的贡献之一。传统的数据筛选往往依赖人工制定的启发式规则或任务特定的策略，就像需要专家逐一挑选教材。InfiAlign的管道能够自动化这个过程，通过多维质量指标从大规模开源语料中识别高价值的对齐数据。这种自动化不仅大大降低了人工成本，更重要的是提供了一种可复制、可扩展的解决方案。

模块化设计理念使得InfiAlign能够无缝集成新的数据源和任务。这种设计就像搭建积木一样灵活，每个组件都可以独立优化和替换，允许研究者根据具体需求调整系统配置。这种灵活性对于快速发展的AI领域特别重要，因为新的数据集和评估标准不断涌现。

多阶段训练策略的创新在于它成功平衡了数据混合、课程指导式SFT和DPO的优势。这种策略就像为学生制定个性化学习计划，先建立坚实基础，再逐步提升挑战难度，最后通过偏好学习精雕细琢。这种循序渐进的方法不仅提高了训练效率，也增强了模型的稳定性和泛化能力。

回答长度作为难度代理指标的发现具有深远的理论意义。这一发现表明，复杂推理任务的内在特征可以通过相对简单的表面指标来捕捉。这种发现不仅为难度评估提供了一种经济有效的方法，也启发我们思考其他可能的代理指标，为未来的研究开辟了新方向。

数据效率的巨大提升对整个AI社区都有重要意义。在当前计算资源日益昂贵的背景下，InfiAlign证明了通过智能数据选择可以显著降低训练成本，同时保持甚至提升模型性能。这种效率提升使得更多研究机构和公司能够参与到高质量模型的开发中来，有助于推动整个领域的民主化发展。

跨领域泛化能力的验证展示了方法的通用性。InfiAlign不仅在数学推理上表现优异，在科学问答、编程挑战和通用推理任务上也展现出强大的能力。这种跨领域的成功表明，优质数据筛选的原理具有普遍适用性，不局限于特定任务或领域。

七、实际应用与未来展望

InfiAlign框架的成功为AI模型训练领域带来了实际可行的解决方案，同时也为未来发展指明了方向。它的影响力不仅体现在技术层面，更在于为整个行业提供了一种新的思考方式。

对于企业和研究机构而言，InfiAlign提供了一条经济高效的模型开发路径。传统的大规模模型训练需要巨额投资，就像建造一座需要大量钢筋水泥的摩天大楼。而InfiAlign的方法更像是精工细作的建筑师，用更少的材料建造出同样坚固美观的建筑。这种效率提升使得中小型机构也能参与到先进AI模型的开发中来，促进了技术的普及和创新的多样化。

在教育领域，InfiAlign的理念可以启发个性化学习系统的设计。就像为不同学生匹配最适合的学习材料一样，教育AI系统可以运用类似的多维筛选机制，为学习者提供既有挑战性又不会过于困难的内容。这种精准匹配不仅能提高学习效率，还能增强学习者的参与度和成就感。

在科学研究辅助方面，InfiAlign训练的模型展现出的强大推理能力为科研工作者提供了有力工具。无论是数学证明的验证、科学假设的推理，还是复杂问题的分析，这些模型都能提供高质量的辅助。更重要的是，由于训练效率的大幅提升，研究机构可以更频繁地更新和定制模型，以适应特定研究领域的需求。

然而，研究团队也坦诚指出了当前方法的局限性。虽然选择框架具有领域无关性，但它依赖于需要针对未见领域进行调优的手动定义指标。这就像一位经验丰富的教师，虽然有很好的教学方法，但面对全新的学科时仍需要时间适应和调整。

另一个值得探讨的问题是，虽然回答长度和推理指示性标记与模型性能呈正相关，但研究团队尚未系统地调查这些表面特征如何影响学生模型蒸馏的有效性。这为未来的研究提供了重要方向：深入理解响应多样性和语言标记对知识传递过程的影响机制。

展望未来，InfiAlign的研究思路可能催生更多创新发展。研究人员可能会探索更多维度的质量指标，开发更精细的难度评估方法，或者设计更智能的课程学习策略。同时，随着多模态AI的发展，这种数据筛选思路也可能扩展到图像、音频等其他模态的数据处理中。

从更广阔的视角来看，InfiAlign代表了AI发展从"大力出奇迹"向"巧力出精品"的重要转变。它证明了在AI训练中，智慧的数据选择比简单的数据堆积更为重要。这种理念转变不仅有助于降低AI开发的环境成本，也为构建更可持续的AI生态系统奠定了基础。随着全球对AI能耗和环境影响的关注日益增加，像InfiAlign这样注重效率的方法将变得越来越重要。

说到底，InfiAlign的成功告诉我们一个朴素而深刻的道理：在AI的世界里，就像在现实生活中一样，精心的准备和智慧的选择往往比盲目的努力更有价值。当我们面对海量信息和有限资源时，学会筛选和优化比简单堆积更为重要。这项研究不仅为AI技术发展提供了新工具，更为我们思考如何在快节奏的技术进步中保持理性和效率提供了启示。对于那些希望在AI领域有所建树但资源有限的团队来说，InfiAlign展现了一条切实可行的道路：通过智慧的数据选择和精心的训练策略，小团队也能创造出与大厂相媲美的成果。这种可能性本身就是对整个AI生态系统最有价值的贡献之一。

Q&A

Q1：InfiAlign框架的核心创新是什么？它是如何工作的？

A：InfiAlign的核心创新是建立了一套自动化的数据精选系统，就像一位智能图书管理员，能从海量开源数据中自动筛选出最有价值的训练样本。它通过多维度质量评估（包括多样性采样、难度控制和质量过滤）、两阶段课程学习（先简单后复杂）、以及DPO偏好优化三个步骤，让AI模型用更少的数据达到更好的效果。

Q2：为什么InfiAlign只用12%的数据就能达到同等效果？

A：关键在于"精选胜过海选"的理念。传统方法像填鸭式教学，给模型堆积海量数据；而InfiAlign像个性化家教，精心挑选最适合的学习材料。它发现了一个重要规律：回答越长的问题通常越有挑战性，包含更丰富的推理步骤。通过这种巧妙的筛选机制，加上确保数据多样性和质量验证，少量精选数据的效果远超大量普通数据。

Q3：普通研究机构能使用InfiAlign技术吗？需要什么条件？

A：可以使用。InfiAlign特别适合资源有限的机构，这正是它的设计初衷。需要的条件包括：基本的GPU计算资源（研究中使用8-16张NVIDIAH800），开源数据集访问权限，以及Python编程能力。模型检查点已在HuggingFace开源（https://huggingface.co/InfiXai/InfiAlign-Qwen-7B-SFT），代码框架基于360-LLaMA-Factory，大大降低了使用门槛。