EN
cmvs.group

《已满i8进入i3入7y7y9秒》科学家提出动力学扩展定律,支持更长的文本生成

近日,美国卡内基梅隆大学助理教授陈贝迪和团队提出了“动力学扩展定律”(Kinetics Scaling Law)。在该定律的指导之下,当在英伟达 B200 上实现相同精度时,资源需求最高可降低至原来的三分之一。 本次研究团队证明,稀疏注意力从根本上重塑了扩展格局,使得生成内容的长度更长、精度更高。其在论文中表示,稀疏动力学可能预示着一种新范式,这种新范式使得即便在预训练进入平台期后仍能推动持续进步。 研究中,他们还强调了将模型架构、测试时推理技术与硬件基础设施进行协同设计的必要性,并认为这是推动下一波可扩展大模型部署的关键步骤。虽然本次分析主要集中在英伟达 GPU 上,但“扩展内存带宽比扩展浮点运算(FLOP,floating-point operation)能力更具挑战性且成本更高”这一基本原理广泛适用于各类硬件平台,因此本次成果具有一定的普适性。 研究团队表示,他们从实际效率的角度重新思考了测试时扩展定律,发现较小模型的有效性实际上被严重高估了。具体来说,此前人们基于计算最优性的研究工作,其实忽略了推理时策略所引入的关键内存访问瓶颈问题。 而在本次研究之中,他们全面分析涵盖了从 0.6B 到 32B 参数的模型,借此揭示了动力学扩展定律,该定律通过同时纳入计算成本和内存访问成本,能够更好地指导资源分配。 动力学扩展定律表明,在参数超过某个阈值的模型上使用测试时计算,比在较小模型上使用更为有效。一个关键原因是在测试时扩展中,注意力才是主要的成本因素(而非参数数量)。 受此启发,研究团队提出了以稀疏注意力为中心的新扩展范式,该范式可以降低每个 token 的计算成本,从而能在相同的资源预算下,支持更长的文本生成和更多的并行样本处理。 研究团队发现,稀疏注意力模型始终优于密集注意力模型。这说明随着计算投入的增加,稀疏注意力是必不可少的,而且会越来越重要,只有这样才能实现测试时扩展的全部潜力。而与训练不同的是,准确性并未随着计算的增加而饱和,而是会通过增加生成量不断得到提高。 那么,研究团队开展本次课题的原因是什么?这要从测试时扩展(TTS,Test-time scaling)说起。眼下,测试时扩展策略已经成为增强大模型推理能力的一种重要手段,特别是在智能体与复杂环境交互的场景中,例如编写代码、浏览网页等场景中。 然而,这些能力会带来显著的推理时成本,因此理解这一新范式下的性能扩展规律至关重要。现有的扩展定律研究主要关注浮点运算(FLOP,floating-point operation),但却忽略了内存访问成本。而内存访问成本往往是决定实际延迟的关键因素,因此上述做法可能会导致部署决策不够优化。 如前所述,在本次研究之中他们展示了测试时扩展的动力学扩展定律,该定律源自于一个明确纳入内存访问成本的成本模型,它揭示了关于测试时计算资源分配的帕累托最优策略的截然不同的结论。 具体而言,研究团队发现:首先,先前的标度律始终高估了通过推理时策略增强的小模型的有效性;其次,计算资源最好先用于将模型规模增大到一个关键阈值,然后再投入测试时策略。 研究中,他们针对一系列最先进的推理模型所进行的屋顶线分析表明:之所以出现最优测试时计算策略的转变,是因为测试时策略不成比例地增加了注意力成本,而非增加了参数成本。 研究团队的等成本分析表明,注意力机制随生成长度呈二次方增长的特性,加上键值内存相对于模型参数的失衡扩展趋势,共同使得人们更加倾向于扩大模型规模、而非增加生成长度。这种失衡现象在混合专家架构中被进一步加剧,正因此这种架构虽然能够降低激活参数量,但却未能缓解注意力计算的高开销现状。 基于上述分析,研究团队引入了本次新的扩展范式,该范式以稀疏注意力为中心,从根本上重塑了扩展规律,显著提高了测试时扩展的可扩展性。 根据研究团队的稀疏动力学扩展定律,最好将计算资源分配给测试时策略,而非用于降低稀疏性。随着在测试阶段投入更多计算资源,高稀疏性对于充分利用这些策略的优势变得愈发关键。 尽管稀疏性传统上要么用于小模型的正则化,要么用于在参数过多的网络中减少计算量,但本次研究引入了一个根本不同的视角——稀疏性能够成为实现高效可扩展测试时计算的核心使能技术。与此同时,本次研究强调了在建立可扩展性定律的实际认知过程中,必须同时考量硬件因素与模型架构的重要性。 在实验设置和实验任务上,研究团队聚焦于以下三个具有一定挑战性的推理基准:涵盖代数、组合数学和几何的 AIME24 和 AIME25,以及包含近期编程竞赛中的复杂编程问题的 LiveCodeBench。在模型选择上,研究团队评估了 Qwen3 和 DeepSeek-R1-DistilledQwen 系列不同模型的性能。 为了消除测试时策略的具体实现所引入的混杂效应,研究团队采用了两种具有代表性但简单的方法:长 CoT 和 Best-of-N。长 CoT 是一种在先进推理模型中被广泛使用的方法,Best-of-N 则通过可验证问题的解决率进行效果评估,并借助测试时间扩展给出理论性能上限。 在硬件上,研究团队使用了英伟达 B200。实验中,他们在每个节点 8 个 GPU 上,通过批量大小和上下文长度分别为(4096,16384)和(2048,32768)的设置,展示了块 top-k 注意力在不同模型规模下的优势。 同时,他们假设具有相似上下文长度和生成长度的任务的工作负载是统一的。如下图所示,块 top-k 注意力能够大大提高推理吞吐量,特别是对于较小的模型来说。例如,Qwen3-0.6B 模型实现了 23.6∼33.3 倍的吞吐量增长。 这一性能提升反映出:随着上下文长度的增加,稠密注意力机制的效率会逐渐下降,而较小模型受到的影响尤为显著。吞吐量的显著提升凸显了这样一种潜力:当与推理系统和测试时策略进行适当的协同设计时,任务级吞吐量也能获得相应的提升。 除了 top-k 注意力机制之外,目前他们仅探讨了一种简单的变体(即块 top-k 注意力),尽管如此已能展现出强大的可扩展性。眼下,已经存在更先进的稀疏注意力算法,这些算法具备将测试时扩展效率的边界推向更高水平的潜力。 另一方面,测试时扩展算法旨在自适应地将计算资源分配给任务甚至是分配给 token。将它们扩展到稀疏注意力中的新资源分配问题,对于达到稀疏动力学的极限至关重要。例如,由于生成长度与稀疏注意力下的最佳试验次数密切相关,因此可以将其用作调整试验次数和键值预算的动态信号。 此外,稀疏的注意力大大降低了推理成本,使得更多的推理试验和更长的生成成为可能,这为在固定资源预算内配置测试时扩展策略提供了更大的灵活性。 同时,通过将关注点从 token 级指标转向任务级吞吐量,研究团队认为本次成果能为算法与系统的协同设计开辟更广阔的空间。需要说明的是,本次研究本质上属于算法层面的成果,并不针对特定应用。尽管大模型可能被恶意滥用,但本研究并未引入现有系统之外的新能力或风险。 研究团队表示,测试时扩展可能会消耗大量能源,引发人们对广泛部署的环境可持续性的担忧。而通过推广稀疏注意力,他们希望帮助减少推理系统的碳足迹和能耗,并助力实现更广泛的可持续人工智能目标。 未来,他们希望这项研究能够指导在模型架构、测试时策略和硬件系统方面的协同设计,以便更好地解锁下一波大模型扩展的潜力。

《已满i8进入i3入7y7y9秒》
《已满i8进入i3入7y7y9秒》6月4日晚,于东来在社交平台上公布了最新的胖东来“梦之城”效果图,并配文:“美丽的梦之城,打造温暖的爱的摇篮!” 据悉,胖东来“梦之城”项目位于许昌市莲城大道以北,紧邻许昌高铁东站和许昌汽车客运站,附近还有京港澳高速出入口,交通条件极为便利。学区房得分成两部分,如果是老小区,那基础部分必定是跟随大盘涨跌,因为其本身就是大盘的重要组成部分。只要房子没硬伤,那就占不到便宜也不吃亏。《已满i8进入i3入7y7y9秒》亚洲l码和欧洲m码的区别虽然王先生心态乐观,但他也承认有心理压力,“战争激烈时,精神肯定会紧张害怕。现在情况好转了,心理负担也减轻了。晚上导弹袭击少了,我也能睡个好觉了,希望双方冲突早日结束。”J. Michael EVANS于2008年2月至2013年12月退休前,担任高盛集团副主席。Evans于2004年至2013年担任高盛亚洲业务部主席,于2011年1月至2013年12月担任高盛增长市场部全球主管,并于2010年至2013年担任高盛业务标准委员会联席主席。
20250819 🔞 《已满i8进入i3入7y7y9秒》在华为店内,上游新闻记者购买了一块手表。店员介绍,除去店内50元优惠外,还可在原价基础上打九八折。随后,店员喊来一名“卡贩子”。“卡贩子”示意记者先转打折后的金额给她,她再去结账。记者转账后,“卡贩子”拿出武商一卡通,在华为店内的收银台刷了原价。店员说:“这样做违规的,我只是为了促成交易。”土耳其姓交大大赛最新赛事结果值此情势之下,毗邻朝阳公园的融创壹号院在实楼样板间呈现之际焕新,对室内硬软装重新进行设计,形成三套方案,落地于实楼样板间中。这项工作,花费不菲,融创壹号院此番操作,颇具逆周期风格。
《已满i8进入i3入7y7y9秒》
📸 陈希军记者 刘海林 摄
20250819 🔞 《已满i8进入i3入7y7y9秒》研究机构Counterpoint Research的数据更是指出,5月苹果在中国市场的销量上升至第一位。获益于此,苹果在4月和5月期间全球销量同比增长15%,是自新冠疫情以来,该科技巨头在这两个月期间的最强劲表现。成片ppt网站大片俱乐部已与马竞达成协议,与门将戈米斯签约至2027年,并且俱乐部拥有将合同再延长一年的选择权,由于参加了世俱杯,他将在晚些时候加入球队。
《已满i8进入i3入7y7y9秒》
📸 张立朋记者 张琴 摄
💣 “一棵树正常能摘100斤桃子,猴群一来,桃子就没得了!”6月23日,成都龙泉驿区洪安镇红光村,张昌友站在果树下,看着空荡荡的枝头,苦笑道,“撵不走、抓不得,一来一大群,桃子、玉米啥子都吃!”成品网站免费直播有哪些平台推荐
扫一扫在手机打开当前页