发帖
雷达卡
2024年10月，一项由麻省理工学院（MIT）、圣母大学、加州大学洛杉矶分校等多所国际顶尖高校联合开展的大规模研究正式发布。该研究团队囊括了来自MIT的Yuexing Hao、Marzyeh Ghassemi在内的十余位研究人员。完整研究成果可通过论文编号arXiv:2510.13621v1查阅。
近年来，人工智能已深度融入日常生活——从智能手机中的语音助手到各类个性化推荐系统，其核心技术都依赖于“基础模型”。这些AI系统经过海量数据训练，具备强大的通用处理能力。然而，在这股技术普及浪潮的背后，一场关于“算力资源”的隐性分化正悄然上演。
研究团队耗时数月，系统梳理了2022至2024年间发表的6517篇与基础模型相关的学术论文，并对其中229位第一作者进行了深入调研。结果显示：AI科研领域正逐步形成一道显著的“数字鸿沟”——拥有强大计算资源的机构持续占据主导地位，而资源有限的研究者则面临日益严峻的参与壁垒。
这种现象呈现出典型的“马太效应”特征：资源越丰富，产出越多；产出越多，资源进一步集中。能够获取大量GPU（图形处理器，相当于AI训练的“发动机”）的机构，不仅能训练更复杂的模型、发表高影响力论文、获得更高引用率，还能吸引更多资金与人才，形成良性循环。相反，即便具备创新构想，缺乏算力支持的研究者也难以将想法落地验证。
数据显示，算力资源在基础模型研究中的分布极不均衡。谷歌和微软等科技巨头在此领域的论文发表量，甚至超过了绝大多数顶级高校的总和。尽管学术界在论文总量上仍占优势（4851篇 vs 工业界1425篇），但单个机构的平均产出却十分接近——工业机构平均每家发表8.72篇，学术机构为7.93篇。这一结果表明，研究活动正加速向少数有能力承担高昂算力成本的实体集中。
这种高度集中的趋势带来了潜在风险。当前沿研究被限制在少数具备超强算力的组织手中时，整个AI学术生态的多样性将受到威胁。多元视角、非主流思路以及可能颠覆性的解决方案，可能因资源匮乏而无法进入主流视野，最终制约技术的整体进步。
基础模型研究的爆发式增长及其资源挑战
过去三年间，基础模型相关研究呈现爆发式增长。数据显示，2022年此类论文仅占AI顶会论文总数的2.07%，而到2024年已飙升至34.64%——意味着每三篇AI论文中就有一篇涉及基础模型。这一变化标志着AI研究范式的根本转型。
以往的研究多聚焦于针对特定任务设计专用模型，类似于为每道菜定制厨具；如今，研究重心已转向构建通用型“基础模型”，如同一把多功能的“瑞士军刀”，可适配多种应用场景。
研究还发现，在基础模型发展的三个主要阶段中，推理阶段的增长最为迅猛。这类似于汽车工业的发展路径：早期关注如何造出车辆（预训练），随后聚焦改装优化（后训练），当前则越来越重视车辆在真实道路中的表现（推理）——即模型在实际应用中的效率、安全与稳定性。
然而，这一热潮背后是算力需求的急剧攀升。训练一个现代基础模型所需的计算能力，往往堪比一个小型数据中心的总负荷。更为关键的是，这类项目并非短期投入即可完成。调研显示，一个典型的基础模型研究项目平均持续160天，中位使用4个GPU；而前沿项目则可能需要数百乃至数千个GPU并行运行数月之久。
这种资源消耗的增长速度远超多数机构的承受能力。正如房价上涨速度超过收入增长，算力成本的快速上升正在将大量中小型研究团队排除在外。更令人担忧的是，这一差距仍在扩大——需要大规模预训练的项目所使用的GPU数量显著高于其他类型，且领先幅度逐年拉大。
与此同时，核心硬件供应却严重受限。受全球芯片供应链紧张及NVIDIA等厂商产能制约，高端GPU长期处于供不应求状态，价格居高不下。这形成了类似“科研房地产市场”的局面：需求旺盛、供给稀缺，导致准入门槛不断抬升。
全球算力格局的地理与机构集中化
通过对全球基础模型研究的全面分析，研究揭示出算力资源配置的高度集中性，这种不均衡不仅体现在机构层面，也深刻反映在地理分布上，正在重塑全球AI科研版图。
从地域角度看，美国与中国几乎主导了全球基础模型研究。美国凭借先进的科技基础设施和雄厚的研发投入遥遥领先，中国则依靠庞大的市场需求和强有力的政策支持紧随其后。其他国家虽有参与，但在研究数量、质量及影响力方面均存在明显差距。
在基础模型研究领域，一个引人深思的现象逐渐浮现：GDP水平与科研产出之间并不存在直接的正相关关系。尽管一些经济发达但体量较小的国家拥有较强的综合国力，但在基础模型研究方面的成果却并不突出。这一发现表明，决定研究活跃度的关键因素并非整体经济规模，而是对人工智能基础设施的专项投入以及政策层面的支持力度。
从机构分布来看，研究活动呈现出显著的集中化趋势。谷歌和微软等科技企业在论文发表数量上甚至超过了清华大学、斯坦福大学等传统学术重镇。这反映出工业界在基础模型研究中的话语权正在迅速增强。然而，从总量统计看，学术机构仍扮演着核心角色——共有611家学术单位发表了4851篇相关论文，而163家工业机构贡献了1425篇。
值得注意的是，虽然学术机构在总数上占据优势，但平均产出却与工业机构相差无几：工业机构平均每家发表8.72篇，学术机构为7.93篇。这一微小差距背后揭示了一个深层问题：无论是在学界还是业界，基础模型研究正日益向少数具备强大资源支撑的机构聚集。
在硬件使用方面，NVIDIA的Tesla A100芯片成为基础模型研究中的“标配”，占据绝对主导地位。研究显示，在所有明确标注GPU型号的论文中，前十大最常使用的型号全部来自NVIDIA。这不仅凸显了其在AI芯片市场的技术领先地位，也反映出该领域对高性能计算设备的高度依赖。
进一步分析发现，预训练阶段所消耗的GPU资源明显高于后训练和推理阶段。然而，在不同研究方向或方法类型之间，并未观察到显著的算力使用差异。这意味着，不论研究目标如何、采用何种技术路径，基础模型的研究普遍需要庞大的计算支持。
开源模型的广泛采用与资源获取路径
在模型选择上，研究揭示出一个既意外又合乎逻辑的趋势：开源模型，尤其是Meta推出的LLaMA系列，在学术研究中占据了压倒性地位，远超OpenAI的GPT系列等闭源方案。这种偏好体现了学术界与工业界在资源利用策略上的根本分歧。
LLaMA之所以受到青睐，原因显而易见。对于多数研究团队而言，它相当于一套“可自由修改的高级工具包”——不仅可以免费使用，还能根据具体需求进行调整和优化。相比之下，闭源模型虽可能具备更优性能，但高昂的调用成本及缺乏定制权限，严重制约了其在探索性研究中的应用空间。
这一现象也折射出学术界的现实困境。许多高校和研究所预算有限，难以负担长期调用商业API的费用，更无法承担从零训练大模型所需的巨额算力开支。开源模型为此类资源受限的研究者提供了可行路径，使其能够在现有基础上开展多样化的创新工作。
不过，过度依赖特定开源模型也可能带来隐忧。当大量研究基于相同或相似架构展开时，研究多样性可能被削弱。如同所有人共用同一写作模板，虽降低了入门门槛，却也可能抑制原创思维的发展。
关于资金来源，调查数据显示政府资助仍是主要支柱，占比高达85.5%，远高于企业资助（29.3%）和基金会支持（10.3%）。这说明，即便基础模型具有巨大商业潜力，但在早期探索阶段，公共财政依然发挥着不可替代的作用。
然而，这些数据可能仅反映冰山一角。仅有15.3%的论文明确披露了经费来源，意味着绝大多数资助信息并未公开。实际调研中，研究人员普遍表示其项目资金往往来源于多个渠道，包括政府拨款、企业合作与非营利组织资助的混合模式。
中美两国在资助机制上表现出明显差异。美国的研究生态依赖多元化的资金体系，涵盖联邦与州级政府、私营企业和私人基金会；而中国的基础模型研究更多依托由政府主导的重大科研项目和产业扶持政策推动。
论文产出与资源投入之间的关联探讨
通过对大规模数据的分析，研究团队发现算力投入与学术影响力之间存在复杂且非线性的关系。这种联系类似于健身与体型改善的关系——总体呈正相关，但受多种因素共同影响，并非单一变量所能决定。
在论文数量方面，研究观察到一个关键现象：单纯以GPU数量衡量资源时，与论文产出的相关性较弱且不稳定；但当改用TFLOPS（每秒万亿次浮点运算）作为指标时，两者关系变得清晰。这说明真正起作用的不是设备数量，而是实际可用的计算能力。
[此处为图片2]
这一差异可通过一个比喻来理解：拥有10辆普通轿车并不一定比拥有2辆重型卡车更具运输能力。同理，在研究中配备大量中低端GPU，未必优于少数高端GPU组成的系统。这也解释了为何工业机构在高TFLOP区间表现突出——它们更容易获取最新一代的高性能计算资源。
在论文影响力的研究中，情况呈现出显著的复杂性。尽管计算资源与论文引用量之间存在一定的正相关趋势，但这一关系受到多重因素的调节。充足的算力确实有助于开展更大规模的实验和构建更复杂的模型，从而可能提升研究成果的学术影响力。然而，研究机构的声望、团队的专业经验以及所探讨问题的科学价值等非技术因素同样发挥着重要作用。
研究揭示了一个引人深思的“门槛效应”：当计算资源达到某一临界水平后，继续增加投入所带来的边际效益逐渐减弱。这类似于烹饪过程中调料的使用——适量添加能显著提升风味，但过量反而会破坏整体口感。这意味着，并非资源越多就一定产出越高质量的研究成果。
进一步对比分析显示，学术界与工业界在资源配置策略上表现出明显差异。工业界通常集中资源支持少数高影响力的项目，追求突破性成果；而学术界则倾向于将有限资源分散用于多个探索性课题，鼓励创新尝试。这种策略差异体现在发表成果的引用模式上：工业界的论文平均被引次数更高，显示出更强的集中影响力；而学术界则在研究主题的广度和多样性方面占据优势。
值得关注的是，近年来随着模型对算力需求的持续攀升，一场潜在的“算力鸿沟”正在形成。2022至2024年间，高资源依赖型研究项目的比例不断上升，导致那些缺乏强大计算支持的研究者面临日益严峻的边缘化风险。这一趋势若得不到遏制，可能加剧科研领域的不平等现象。
资源信息披露不足与标准化缺失
在对基础模型论文的深入审查中，研究团队发现一个普遍且严重的问题：绝大多数论文未能充分披露其实际使用的计算资源。这种情况相当于提供了一份不写明用量的菜谱，使他人难以复现实验过程，也无法准确评估研究的真实成本。
具体统计数据显示，仅有16.8%的论文明确报告了所用GPU数量，24.7%提到了GPU型号及存储配置，而记录推理时间的论文仅占12.86%。此类信息的缺失不仅削弱了研究的可重复性，也阻碍了整个领域建立统一的资源使用规范和合理预期。
为量化这一问题的严重程度，研究团队实施了一项对照实验：利用AI工具从论文PDF中自动提取计算资源信息，并与作者自行申报的数据进行比对。结果显示，即便采用先进的自然语言处理技术，也仅能在59.7%的论文中成功识别出GPU数量，说明大量关键数据要么未被包含，要么以非结构化方式呈现，难以被机器解析。
更令人意外的是，在获取到140份同时具备AI提取结果与作者自报数据的样本后，研究发现近半数（46.4%）的作者承认其实际使用的GPU数量超过论文中所述，仅有38.6%的情况完全一致。造成这种偏差的原因多样，许多研究者表示他们仅报告了最终成功实验所消耗的资源，而忽略了大量失败尝试中的算力开销。
这种做法类似于估算建筑成本时只计入最终使用的材料，却不包含施工过程中的废料与返工损耗。事实上，在大多数研究项目中，失败实验往往占据了主要的资源支出，但这些“沉没成本”极少被系统记录或公开。
此外，会议评审机制也在一定程度上影响了资源披露的完整性。研究发现，在作者指南或审稿清单中明确要求报告计算资源的会议，其论文的信息透明度显著更高。例如，采用ACL滚动评审体系的会议（如EMNLP、ACL、NAACL和EACL）在资源披露率上普遍优于其他会议，表明制度化的报告要求能够有效促进信息公开。
缺乏标准化报告格式还带来另一个严重后果：无法进行有效的跨研究成本效益比较。研究人员难以判断不同方法之间的资源效率差异，也无法为新项目制定科学合理的预算规划。这种信息不对称可能导致资源配置失衡，使得高效节能的方法被低估，而高耗能却表面效果显著的技术获得过度关注。
接受与拒稿论文间的资源使用对比
在激烈的学术发表竞争中，更高的计算资源是否意味着更大的录用机会？为了探究这一问题，研究团队分析了ICLR会议（国际学习表征会议）2022年至2024年期间被接受与被拒绝论文的资源使用数据。
ICLR是少数公开提供拒稿论文信息的顶级人工智能会议之一，为本研究提供了宝贵的对比基础。通过对613篇被拒或撤回论文与已接收论文的资源使用情况进行分析，研究团队识别出若干值得注意但也发人深省的规律。
[此处为图片2]数据显示，被接受的论文在平均GPU使用量、TFLOP计算总量以及作者团队规模等方面均略高于被拒论文。虽然这些差异在统计意义上显著，但绝对差距并不巨大。更重要的是，两类论文在资源使用上的分布存在高度重叠，表明计算资源只是影响评审结果的众多变量之一，而非决定性因素。
这一现象可通过体育竞技类比加以理解：尽管装备更精良的运动员整体表现可能更优，但胜利最终仍取决于技巧、战术和天赋等多种因素。同理，在科研领域，充足的算力虽能拓展实验的可能性边界，但研究问题的重要性、方法的原创性以及实验设计的严谨性才是决定论文质量的核心要素。
值得注意的是，被接受论文的作者团队平均规模更大，这或许体现了基础模型研究正变得日益复杂。现代基础模型的研究通常涉及多个专业领域，如算法设计、工程实现、数据处理以及评估分析等，单一研究者难以具备全部所需技能。因此，能够组建更大且更具多样性的团队的机构，在这类高复杂度研究中往往具有天然优势。
然而，这一趋势也引发了一个值得关注的问题：当基础模型研究越来越依赖大规模团队和高资源投入时，独立研究者及小型科研机构将面临更高的参与门槛。这种障碍可能削弱研究视角的多样性，抑制那些非主流但富有潜力的创新思路的发展。
研究还发现，不同方向的基础模型研究在资源需求上存在显著差异。例如，专注于模型预训练的工作通常需要大量计算资源，而侧重于模型分析与评估的研究则相对轻量。这表明，即使在同一个研究领域内部，也已形成明显的“资源分层”现象——不同类型的研究贡献需要匹配不同层级的资源支持。
算力鸿沟对学术创新的深层影响
当前算力资源分配不均的现象，正在深刻影响整个AI学术生态系统的结构与发展路径，其部分后果可能在未来数年才逐步显现。
从创新多样性的角度看，当前沿研究高度集中于少数拥有强大算力的机构时，整个领域存在“思维同质化”的风险。尽管这些机构技术实力雄厚，但其研究方向常受商业目标、政策导向或既有技术路线的制约。相比之下，一些资源有限但思维活跃的小型团队，反而更有可能提出看似“非常规”却具突破潜力的新思路。
历史经验表明，许多重大的科学突破源自资源不多但构想大胆的研究者。若这些“边缘创新者”因缺乏算力而无法验证其假设，整个学术界或将错失关键发现的机会。这种情况类似于电影产业中只有大型制片公司掌握制作权，从而可能遗漏来自独立导演的杰出作品。
在人才培养方面，算力差距同样构成了挑战。博士生和博士后研究员若无法获得足够的计算资源开展实质性实验，其实验能力与科研训练都会受到限制。这种局限不仅影响短期产出，更可能削弱他们对问题本质的理解深度和解决复杂问题的能力。
更为严峻的是，资源不平等正在催生一种“马太效应”：资源充足的机构凭借已有优势产出更多高影响力成果，进而吸引更多顶尖人才与资金，进一步巩固领先地位；而资源匮乏的机构则陷入恶性循环——因缺少成果而难以争取支持，又因缺少支持而更难产出成果。
在全球合作层面，算力鸿沟也在重塑AI研究的国际格局。数据显示，美国与中国依托强大的计算基础设施，主导了全球大部分基础模型研究。虽然两国确实在AI投入上处于领先地位，但这种集中态势可能压缩其他国家研究者的参与空间，导致全球AI研究在文化背景与方法论上的多样性下降。
从学科发展角度看，过度依赖算力的趋势可能使基础模型研究偏离其根本使命。当研究者将大量精力用于申请和管理计算资源时，思考核心理论问题的时间必然减少。这可能导致领域内普遍关注性能指标和技术细节，而忽视深层次的科学原理与广泛的社会影响。
应对策略与未来发展方向
面对日益加剧的算力鸿沟，学术界与政策制定者正积极探索应对方案，这些努力如同在为学术研究的“数字化未来”重构规则体系。
最直接的路径之一是建设共享型计算资源平台。多个国家和地区已开始投资建立面向学术界的大型计算中心，类似于公共图书馆模式，旨在让更多研究人员公平获取所需的算力。例如，美国国家科学基金会、欧盟高性能计算联盟，以及中国的超算中心网络，均在此方向持续推进。
但仅增加硬件供给并不足够，关键还需建立公平高效的资源分配机制。这好比设计一个智能排队系统，既要保障重点项目优先执行，也要为新兴研究者和原创性想法预留发展空间。目前，部分机构正在尝试基于同行评议的资源分配机制，由学术共同体自主决定哪些课题最具支持价值。
在技术层面，降低计算成本的方法也在快速发展。模型压缩、知识蒸馏、参数高效微调等技术不断进步，相当于为AI研究提供了“节能工具”，使研究者能在较低资源消耗下完成高质量工作。开源社区在此过程中发挥了重要作用，通过共享优化技巧与实践经验，帮助资源受限的研究者提升效率。
此外，教育与培训也是不可或缺的一环。不少研究者虽拥有访问高端设备的权限，却不完全掌握高效使用的方法，犹如拥有顶级厨具却不懂烹饪技艺。通过加强技术培训与资源管理指导，可帮助他们在有限条件下实现更优研究成果。
最后，提升研究过程的标准化与透明度同样重要。有研究团队建议，学术会议应强制要求投稿论文详细报告所使用的计算资源，包括失败实验带来的开销。此类信息披露不仅有助于结果复现，也有助于全行业建立合理、可持续的资源使用预期与规范。
在AI基础模型研究领域，不同机构之间在获取GPU等计算资源方面存在显著差距，这种现象被称为“算力鸿沟”。拥有强大算力支持的大型科技公司和顶尖高校能够训练更复杂的模型、产出高影响力的研究成果，而资源有限的研究团队则面临日益严峻的参与壁垒，且这一差距正持续拉大。
为应对这一挑战，部分专家提出应推动“算力普惠”政策，类似于为低收入家庭提供医疗补贴，对资源受限的学术机构给予专项扶持。这类支持可包括税收优惠、财政直接资助，或促成与大型科技企业的合作项目，从而缓解中小型研究单位在基础设施上的压力。
与此同时，产业界的角色也愈发重要。一些领先的科技企业已开始向学术界开放其部分计算资源。尽管此类合作可能引发关于研究自主性的担忧，但不可否认的是，它们为缺乏硬件条件的研究者开辟了新的路径。关键在于如何在获取外部资源与维护学术独立之间建立合理的机制与边界。
开源模型在学术研究中之所以广受欢迎，例如Meta推出的LLaMA系列，主要原因在于其开放性和可定制性。大多数高校和科研组织预算紧张，难以长期负担商业API的高昂使用成本。相比之下，开源模型不仅免费可用，还允许研究人员根据实验需求进行修改和优化，极大促进了技术创新与知识共享。
展望未来，基础模型的发展或将更加聚焦于效率提升与可持续发展。随着公众对人工智能能耗及其环境影响的关注加深，“绿色AI”有望成为新兴的研究方向。通过优化算法结构、减少训练开销，不仅能降低技术门槛，也有助于契合全球节能减排的整体趋势。
算力分配不均的问题，实质上反映了AI技术迅猛发展与现有学术资源配置机制之间的脱节。若长期得不到解决，可能导致研究视角的“思维同质化”——即前沿探索集中于少数财力雄厚的机构，而来自边缘但富有创造力的研究声音被边缘化。此外，博士生等青年研究者的成长机会也将受限，进一步加剧资源集中的马太效应。
归根结底，AI研究的未来不应由极少数掌握巨量资源的实体所主导，而应保持开放、多元与包容的生态。唯有如此，才能激发更广泛的创新潜能。这需要技术突破、制度革新与政策引导多方协同推进。
这项研究为我们敲响了警钟：在AI飞速演进的同时，必须重视其对学术生态带来的深层冲击。只有通过政府、产业与学术界的共同努力，才能构建一个既充满活力又公平公正的研究环境，让更多具备创意与热情的研究者有机会投身其中。毕竟，科学的进步从来不是少数人的特权，而是全人类智慧共同孕育的结果。
Q&A
Q1：什么是基础模型研究中的"算力鸿沟"？
A：算力鸿沟指的是在AI基础模型研究中，不同研究机构在获取GPU等计算资源方面存在巨大差异的现象。拥有充足算力的机构（主要是大型科技公司和顶尖大学）能够训练更强大的模型、发表更有影响力的论文，而资源匮乏的研究者则面临越来越高的参与门槛，这种差距正在不断扩大。
Q2：为什么开源模型在学术研究中比闭源模型更受欢迎？
A：开源模型如Meta的LLaMA系列在学术界占主导地位，主要因为它们免费且可定制。大多数大学和研究机构预算有限，无法承担大规模使用商业API的费用，而开源模型不仅可以直接使用，还允许研究者根据需要进行改进和定制，这对追求创新突破的学术研究来说是重要优势。
Q3：算力资源不足会如何影响AI研究的未来发展？
A：算力资源分配不均可能导致AI研究的"思维同质化"，当大部分前沿研究集中在少数大型机构时，可能会错失来自资源受限但思路独特的研究团队的突破性想法。同时还会影响人才培养，限制博士生等年轻研究者的训练机会，并可能形成马太效应，让资源差距进一步扩大。
京公网安备 11010802022788号
