2024年大模型发展回顾与展望（下）

Jan 04, 2025

展望2025年，AI技术的发展将不再仅仅追求模型的规模和复杂度，而是更加注重应用的实际效果，如何将AI技术与具体业务紧密结合，如何提升模型在实际任务中的性能，才是最重要的目标。

大模型落地Pipeline方式依旧主流

在复杂任务的处理过程中，pipeline方式依然是主流的实现模式。流水线方式通过将复杂任务分解为多个阶段，每个阶段由不同的模型进行处理，从而使得每个模型可以在其擅长的领域内发挥最大的效能。

在实际应用中，如何将大模型有效地集成到业务流程中仍然是一个挑战。大模型的推理速度和计算资源消耗是影响其广泛应用的瓶颈之一，因此，现阶段，流水线方式通过模块化管理复杂任务，依然是主流的解决方案。

大模型的推理能力不会有太大突破

自从GPT-o1提出CoT方式以来，这一推理方法成为了大模型推理的重要方向。CoT模拟了人类的思考过程，允许模型在执行任务时逐步推理，生成更长的思维链条，从而提高推理的准确性。GPT-o1的CoT方式尤其在解决复杂问题时表现出色，能够通过逐步分析和推导得出答案。

然而，尽管CoT方式在多个任务上取得了较好的效果，但2025年，基于目前技术和资源的限制，大模型的推理能力可能不会有太大突破。大模型在推理时需要大量的计算资源，并且如何进一步优化推理过程，减少计算开销，依然是一个亟待解决的问题。因此，未来大模型推理的提升空间将更多体现在如何结合高效的推理框架与模型架构的优化，而不是在单纯提升推理能力上。

数据合成成为模型训练的重要工具

随着隐私保护和数据安全问题日益成为关注的焦点，数据合成正逐渐成为大模型训练中的重要方向。数据合成通过生成和使用合成数据替代真实数据，从而在不泄露用户隐私的前提下提供高质量的训练数据。

数据合成不仅能够有效保护个人隐私，还能够提升模型的泛化能力。通过合成数据，模型能够在不同的数据分布上进行训练，从而提高其在各种场景中的表现。随着合成数据技术的不断发展，2025年，数据合成将成为提升模型训练效果和扩展数据多样性的重要工具。

领域微调的挑战与思考

领域微调（fine-tuning）在大模型的应用中扮演着至关重要的角色。通过在大规模预训练模型的基础上进行领域特定的微调，模型可以更好地适应特定业务的需求。然而，领域微调面临的最大挑战在于速度和效率。随着大模型的规模不断扩大，微调所需的计算资源和时间也成倍增加，导致在实际应用中，微调变得非常缓慢且资源消耗巨大。

这也导致了一个问题：大模型的微调竞赛实际上在某种程度上造成了资源浪费。因为许多公司和团队为了适应不同的领域需求，不得不投入大量计算资源进行微调，且这种微调过程往往是低效的。因此，如何更加高效地进行微调，减少资源浪费，成为了当前AI研究中的一个重要课题。

RAG不会发生太大变化

2024年，RAG成为了AI领域的核心热点之一。RAG通过将检索机制与生成机制相结合，使得模型在面对复杂问题时，能够通过外部知识库进行检索，得到更多的背景信息，从而生成更为准确的答案。RAG在许多任务中取得了显著的效果，尤其是在处理长篇文本和需要大量背景知识的任务时。

2025年，RAG的基本框架不会发生太大变化，但随着技术的进一步发展，RAG在多模态处理和知识图谱增强方面的应用将进一步深化。多模态RAG将会结合文本、图像、视频等多种信息源，提升模型在处理多元化任务时的能力。

小模型的崛起

尽管大模型仍然占据主流地位，但随着技术的发展，越来越多的研究和应用开始聚焦于小型语言模型（SLM）。小模型之所以能够受到关注，主要因为它们在计算资源和训练成本上具有更明显的优势。相比于大模型，小模型能够在准确性和速度之间提供更好的平衡，更适用于资源有限的应用场景。

2025年，小模型将成为AI应用的重要方向。随着推理能力和模型架构的不断优化，小模型在许多实际应用中的表现将逐步超越大模型，尤其是在边缘计算、移动设备等计算资源有限的环境中，小模型的优势将更为突出。

多模态和全模态模型：未来的关键技术

多模态（multi-modal）和全模态（universal-modal）模型是AI发展的重要趋势。多模态模型通过将视觉信息和语言信息结合起来，能够在处理复杂任务时提供更全面的视角。例如，图像生成模型通过结合语言模型来生成图片，或者通过图像中的细节生成文本描述。而全模态模型则更进一步，能够处理任何类型的输入和输出，例如同时接受图像、文本、音频等多模态数据进行推理。

2025年，随着多模态和全模态模型的发展，AI将不仅仅局限于单一的输入输出模式，而是能够灵活处理各种复杂的任务。这种能力将使得AI在更多实际应用中展现其强大的适应性和创新性。

结语

回顾过去两年，AI技术的飞速发展无疑给我们带来了深刻的思考。从最初的实验室研究到今天的广泛应用，大模型技术已经取得了长足的进步。然而，尽管如此，我们仍然面临诸多挑战：如何让大模型更加高效、如何突破领域微调的瓶颈、如何在保护隐私的同时提升模型的泛化能力等等。随着技术的不断创新，尤其是小模型和多模态技术的崛起，未来的AI世界将变得更加灵活、开放、智能。