期刊文献+
任意字段
题名或关键词
题名
关键词
摘要
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到52篇文章
< 1 2 3 >
每页显示 20 50 100
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
通用人工智能中的Long-Context技术分析 认领 引用
1
作者 赵立东 郭敬明 蒋燕 《集成电路应用》 2024年第6期410-412,共3页
阐述通用人工智能中的Long-Context技术原理,提出该技术的解决方案,包括位置编码外推、注意力机制计算优化、模型结构优化和检索增强生成。分析硬件系统的瓶颈,探讨Long-Context在通用人工智能时代的发展趋势。
关键词 Long-Context 位置编码 注意力机制 检索增强生成
暂未订购 下载PDF
Chronological Passage Assembly for Retrieval-Augmented Generation in Narrative Question Answering 认领 引用
2
作者 Byeongjeong Kim Jeonghyun Park +1 位作者 Joonho Yang Hwanhee Lee 《Computers, Materials & Continua》 SCIE EI 2026年第9期2167-2187,共21页
Long-context question answering over narrative documents remains challenging because many questions require reconstructing event sequences while preserving local contextual flow under limited context budgets.Existing ... Long-context question answering over narrative documents remains challenging because many questions require reconstructing event sequences while preserving local contextual flow under limited context budgets.Existing retrieval-augmented generation(RAG)methods typically retrieve document snippets independently,which can fragment narratives and harm temporal dependencies.We propose ChronoRAG,a retrieval framework for narrative question answering that first converts sequential document chunks into concise relation descriptions and then retrieves relevant units together with their adjacent chronological context.This design preserves retrieval precision while providing the generator with coherent local narrative structure.Experiments on NarrativeQA and GutenQA show that ChronoRAG improves performance on NarrativeQA and remains competitive on GutenQA,with particularly strong gains on questions that require chronology-sensitive context.These results suggest that explicitly modeling local event order is a useful retrieval signal for narrative question answering. 展开更多
关键词 Retrieval-augmented generation narrative question answering long-context reasoning temporal reasoning knowledge graphs
暂未订购 下载PDF
长征精神融入体育人才培养:路径构建与实证检验 认领 引用
3
作者 唐涌 尤冲 梅耀尹 《遵义师范学院学报》 2026年第4期136-141,共6页
针对体育人才培养重技能轻精神、红色文化育人形式化问题,本研究基于情境学习与体验学习理论,构建“情境-体验-反思”三维融合模型,以100名体育专业本科生为对象,实施课程思政、红色运动会、主题拓展、体旅融合、影像叙事“五位一体”... 针对体育人才培养重技能轻精神、红色文化育人形式化问题,本研究基于情境学习与体验学习理论,构建“情境-体验-反思”三维融合模型,以100名体育专业本科生为对象,实施课程思政、红色运动会、主题拓展、体旅融合、影像叙事“五位一体”教学干预,将长征精神融入体育教育。量化研究结果显示:实验班在意志品质(d=0.99)、团队责任感(d=0.97)等维度及总分(d=1.06)均显著高于对照班。质性研究分析表明:情感激活与行为迁移是精神价值内化的核心机制,情境化具身体验是精神知识向行为转化的关键桥梁。该模型可显著提升体育人才精神素养,为红色文化融入专业教育提供了理论自洽、实践可行的整合范式,对推进高校课程思政改革具有重要参考价值。 展开更多
关键词 长征精神 体育人才培养 “情境-体验-反思”模型 课程思政
暂未订购 下载PDF
长上下文场景下块稀疏注意力的分布式计算方案 认领 引用
4
作者 詹红瑞 戴子健 +2 位作者 白有辉 许胤龙 李诚 《计算机系统应用》 2026年第7期111-119,共9页
大语言模型的注意力机制在处理长序列时面临严峻的计算与显存挑战,现有解决方案主要从算法优化和序列并行两个维度展开.在算法层面,块稀疏注意力机制通过在掩码矩阵中引入块稀疏性质降低计算复杂度,其中Atrous稀疏和垂直-斜线稀疏是两... 大语言模型的注意力机制在处理长序列时面临严峻的计算与显存挑战,现有解决方案主要从算法优化和序列并行两个维度展开.在算法层面,块稀疏注意力机制通过在掩码矩阵中引入块稀疏性质降低计算复杂度,其中Atrous稀疏和垂直-斜线稀疏是两种经典的稀疏模式;在序列并行层面,环形注意力通过高效扩展设备数量支持处理任意长度的序列.然而,当二者结合时,环形注意力仍然采用密集注意力的序列切分方式,导致大量无效的通信开销与计算开销,难以实现预期加速效果.本文针对Atrous和垂直-斜线两种经典的稀疏模式,提出了定制化的序列切分方案以及高效简明的分布式计算方案:对于Atrous稀疏模式,采用分组计算策略,将数据与设备均匀划分为相同数量的组,在不同组内执行独立的环形注意力大幅提升计算效率;对于垂直-斜线稀疏模式,采用分解计算方案,将其拆分为斜线稀疏和垂直稀疏两个子任务,其中斜线稀疏部分实现无通信开销的本地计算,垂直稀疏部分通过去除无关键值块的计算通信开销实现性能加速.实验结果表明,新的分布式优化方案在Atrous稀疏设置下实现了3-10.9倍的性能提升,在垂直-斜线稀疏设置下实现了3-10.5倍的性能提升. 展开更多
关键词 注意力机制 块稀疏注意力 长上下文 分布式计算系统
暂未订购 下载PDF
原生稀疏注意力:算法与硬件协同设计助力大模型长上下文高效建模 认领 引用
5
作者 袁境阳 张铭 《计算》 CAS 2026年第3期55-59,共5页
长上下文建模是下一代大语言模型的核心能力,但标准注意力机制的二次复杂度带来了严峻的计算效率挑战。本文介绍原生稀疏注意力(native sparse attention,NSA),一种算法与硬件协同设计的高效注意力机制。NSA通过压缩、选择和滑动窗口三... 长上下文建模是下一代大语言模型的核心能力,但标准注意力机制的二次复杂度带来了严峻的计算效率挑战。本文介绍原生稀疏注意力(native sparse attention,NSA),一种算法与硬件协同设计的高效注意力机制。NSA通过压缩、选择和滑动窗口三条互补路径实现层次化稀疏处理,同时采用硬件对齐的分块操作和原生训练支持,成功将理论效率转化为实际加速。在64×103长度序列上,NSA实现了前向传播最高9倍、解码最高11.6倍的加速,同时保持乃至提升模型性能。 展开更多
关键词 大语言模型 稀疏注意力 高效注意力 长文本建模 硬件对齐设计 算法硬件加速
暂未订购 下载PDF
长征时期贵州红色音乐的产生语境与传播机制研究 认领 引用
6
作者 马关辉 《兴义民族师范学院学报》 2026年第3期52-58,共7页
长征时期,中央红军在黔期间孕育出兼具革命内核、地域特色与民族底蕴的贵州红色音乐文化,以“旧曲填新词”为核心创作方式,融合贵州民间曲调与革命话语,形成红军原创、进步艺术团体演绎、民族群众共创的多元创作格局。文章结合史料考证... 长征时期,中央红军在黔期间孕育出兼具革命内核、地域特色与民族底蕴的贵州红色音乐文化,以“旧曲填新词”为核心创作方式,融合贵州民间曲调与革命话语,形成红军原创、进步艺术团体演绎、民族群众共创的多元创作格局。文章结合史料考证与跨学科理论,系统梳理此类红色音乐的产生语境与类型谱系,剖析“军队—群众—团体”三位一体的传播机制,探讨其在革命思想传播、多民族认同构建及文化创新中的历史价值。 展开更多
关键词 长征 贵州红色音乐 产生语境 传播机制
暂未订购 下载PDF
多尺度时空解耦的骨架行为识别对比学习 认领 引用 被引量：1
7
作者 刘晓霞 况立群 +3 位作者 王松 焦世超 韩慧妍 熊风光 《计算机应用》 CSCD 北大核心 2026年第3期767-774,共8页
针对骨架行为识别中的动态动作建模与多尺度时序融合问题,提出高效多尺度时空解耦对比学习框架(MSTDCLF)。首先,设计多尺度时空特征增强模块(MSTF),结合深度可分离卷积与空洞卷积,从而同步建模短时运动特征与长时周期行为模式;其次,通... 针对骨架行为识别中的动态动作建模与多尺度时序融合问题,提出高效多尺度时空解耦对比学习框架(MSTDCLF)。首先,设计多尺度时空特征增强模块(MSTF),结合深度可分离卷积与空洞卷积,从而同步建模短时运动特征与长时周期行为模式;其次,通过嵌入通道-空间联合注意力机制进一步强化关节与特征通道之间的语义响应;再次,使用具有注意力机制的残差网络解决深层网络结构的梯度衰减问题;最后,提出双向门控时空上下文建模(BGSCM),基于双向长短期记忆(BiLSTM)网络构建时空增强分支,通过门控机制在关节拓扑与时序轴中双向传递解耦特征,抑制噪声干扰并建立完整的动作演化依赖。实验结果表明,MSTDCLF在NTU RGB+D 60数据集上的准确率为87.5%(交叉受试者(CS))和93.0%(交叉视角(CV)),在NTU RGB+D 120数据集上的准确率为79.3%(CS)和80.6%(交叉设置(SS)),均优于次优方法SCD-Net(Spatiotemporal Clues Disentanglement Network)。消融实验结果验证了多尺度设计与双向门控机制的有效性,表明MSTDCLF在骨架行为识别中能实现高效的行为表征,有效提高识别精度。 展开更多
关键词 行为识别 人体骨架 门控时空上下文 时空特征提取 对比学习 长短期记忆网络
暂未订购 下载PDF
红军长征对推进马克思主义中国化的历史贡献 认领 引用
8
作者 王刚 《中州学刊》 CSSCI 北大核心 2026年第6期137-143,共7页
红军长征作为中国共产党历史上的重大事件之一,推进了马克思主义中国化的历史进程,原因在于党和红军对长征前党内存在的教条主义束缚和理论与实际相脱节这两大理论困境进行了反思,并通过遵义会议的思想解放和实践探索实现了历史性转折... 红军长征作为中国共产党历史上的重大事件之一,推进了马克思主义中国化的历史进程,原因在于党和红军对长征前党内存在的教条主义束缚和理论与实际相脱节这两大理论困境进行了反思,并通过遵义会议的思想解放和实践探索实现了历史性转折。在实践层面,长征推动了马克思主义中国化组织保证的确立、马克思列宁主义军事学说的中国化、马克思主义革命道路理论的中国化以及马克思主义中国化的话语表达。从深远影响看,长征推动了马克思主义中国化第一次历史性飞跃的理论成果——毛泽东思想的创立,并确立了马克思主义中国化的方法论原则,彰显了长征精神对马克思主义中国化的坚实支撑。 展开更多
关键词 红军长征 马克思主义中国化 历史转折
暂未订购 下载PDF
面向非结构化道路的轻量化轴向上下文分割网络 认领 引用
9
作者 曹福 邢雯彬 +2 位作者 左勇 张荣辉 陈俊周 《计算机工程》 CAS CSCD 北大核心 2026年第8期33-45,共13页
非结构化道路分割是自动驾驶技术环境感知的重要组成部分,面临全局拓扑建模不完整、边界细节难以保持,及模型效率与精度的权衡等挑战。针对这些挑战,设计了一种轻量化轴向上下文网络AXON-Net。该网络采用编码器-解码器架构,在编码器中... 非结构化道路分割是自动驾驶技术环境感知的重要组成部分,面临全局拓扑建模不完整、边界细节难以保持,及模型效率与精度的权衡等挑战。针对这些挑战,设计了一种轻量化轴向上下文网络AXON-Net。该网络采用编码器-解码器架构,在编码器中引入通道-空间注意力模块(CASAB),通过聚合多维统计信息自适应重标定特征权重,有效抑制环境噪声,以增强复杂背景下的特征区分度;在瓶颈层设计轻量化部分上下文(LightPCT)模块,利用部分通道交互策略降低计算冗余,高效捕获长程依赖关系以修复道路拓扑连通性。在解码器中集成双路径通道融合(DPCF)与轴向细结构增强(TSE)模块,旨在缩小特征语义鸿沟并显式强化轴向几何特征,改善模糊道路边缘的精细化恢复效果。在基于印度驾驶数据集(IDD)与越野空间检测(ORFD)数据集二次构建的非结构化道路数据集上的实验结果表明,AXON-Net在道路交并比(IoU_Road)分别达到95.3%、88.1%,参数量仅为8.49×103,实现了分割精度与模型效率的较优平衡。消融实验验证了各模块协同作用的有效性,展示了该网络在非结构化道路感知任务中的应用潜力。 展开更多
关键词 非结构化道路 轴向上下文 通道-空间注意力 细结构增强 长程依赖
暂未订购 下载PDF
一种空间语义联合感知的红外无人机目标跟踪方法 认领 引用
10
作者 于国栋 蒋一纯 +5 位作者 刘云清 王义君 詹伟达 王春阳 冯江海 韩悦毅 《电子与信息学报》 EI CAS CSCD 北大核心 2025年第11期4242-4253,共12页
现有红外无人机目标跟踪方法在多尺度特征融合过程中存在空间和语义信息丢失问题,导致跟踪器无法精准定位无人机目标位置,降低了跟踪任务的成功率。针对上述问题,该文提出一种空间语义联合感知的红外无人机目标跟踪方法。首先,提出了空... 现有红外无人机目标跟踪方法在多尺度特征融合过程中存在空间和语义信息丢失问题,导致跟踪器无法精准定位无人机目标位置,降低了跟踪任务的成功率。针对上述问题,该文提出一种空间语义联合感知的红外无人机目标跟踪方法。首先,提出了空间语义联合注意模块,通过空间多尺度注意模块提取多尺度长程依赖特征,增强空间上下文信息的关注,并通过全局-局部通道语义注意模块交互全局和局部通道特征,确保重要语义信息的捕获。其次,设计了双分支全局特征交互模块对模板和搜索分支特征进行有效整合,显著提高了网络的整体性能。在红外无人机数据集Anti-UAV上进行了广泛实验验证,结果表明:与现有方法相比,该方法具有更好的跟踪性能,平均状态精度达到0.769,成功率达到0.743,精确度达到0.935,均优于对比方法,并且有效性、泛化性和先进性也得到了验证。 展开更多
关键词 目标跟踪 语义信息 空间上下文信息 长程依赖 特征交互
暂未订购 下载PDF
基于预测网络的视频异常行为检测方法 认领 引用
11
作者 庄旭 张红民 郑敬添 《计算机仿真》 2025年第5期475-481,共7页
提出了一种优化预测网络的视频异常行为检测方法,现有的大部分视频异常行为检测方法主要基于最小化重建误差准则,缺乏对异常行为运动长期性的考虑。因此,提出了一种基于运动上下文感知的预测网络来进行视频异常行为检测。上述方法引入... 提出了一种优化预测网络的视频异常行为检测方法,现有的大部分视频异常行为检测方法主要基于最小化重建误差准则,缺乏对异常行为运动长期性的考虑。因此,提出了一种基于运动上下文感知的预测网络来进行视频异常行为检测。上述方法引入具有记忆对齐学习的长期运动上下文记忆,能够将视频帧的信息存储到存储器中,建立起当前输入帧与前后帧的映射关系以方便后续的预测,通过预测未来帧与原始帧之间的差异来检测视频目标异常行为。同时,采用具有重叠注意力的全局匹配光流估计方法来获取未来帧和原始帧的光流图,并在预测中引入运动约束让未来帧和原始帧之间的光流保持一致。此外,采用生成性对抗网络进行训练模型,让上述方法能更好地预测未来帧,提高视频异常行为检测的准确性。Avenue和ShanghaiTech两个数据集上的实验结果表明,所提方法相比于其它的视频人体异常行为检测方法有更好地表现,在Avenue和ShanghaiTech数据集中分别达到了90.7%和85.4%。 展开更多
关键词 视频异常行为检测 运动上下文感知 长期运动上下文记忆 光流估计 生成性对抗网络
暂未订购 下载PDF
基于记忆增强的长文本建模方法 认领 引用 被引量：1
12
作者 刘炜杰 汤泽成 李俊涛 《计算机科学》 CSCD 北大核心 2025年第12期231-238,共8页
大语言模型(LLMs)近年来取得了显著进展,并在多个领域展现出卓越的性能。然而,由于注意力机制的二次时空复杂度以及生成过程中键值对缓存不断增长所带来的显存消耗,处理长文本相关任务仍然是LLMs面临的一大挑战。为了解决此问题,提出了... 大语言模型(LLMs)近年来取得了显著进展,并在多个领域展现出卓越的性能。然而,由于注意力机制的二次时空复杂度以及生成过程中键值对缓存不断增长所带来的显存消耗,处理长文本相关任务仍然是LLMs面临的一大挑战。为了解决此问题,提出了基于记忆增强的长文本建模方法MemLong,旨在利用外部检索器检索历史信息来增强长上下文语言建模的能力。MemLong将一个非参数化的检索-记忆模块与一个部分可训练的大语言模型相结合,并引入了一种能够利用语义层面相关的文本块的细粒度可控的检索注意力机制。非参数化的检索-记忆模块负责从外部知识库中检索与当前输入相关的历史信息,而大语言模型则将检索到的信息和当前输入融合在一起并生成输出。细粒度可控的检索注意力机制允许模型在生成过程中动态地调整对检索信息的关注程度,从而实现更精准的文本生成。在多个长上下文语言建模基准测试上的综合评估表明,MemLong方法始终优于其他先进的LLMs。此外,MemLong显著提升了模型处理长文本的能力。在单卡3090 GPU上,MemLong可以将上下文长度从4000扩展到80000,提升了20倍。这一突破性的进展使得MemLong能够处理更长的输入文本,从而更好地理解和生成长文本内容,为处理超长文本任务提供了新的可能性,并为未来长文本语言建模的研究开辟了新的方向。 展开更多
关键词 检索增强语言建模 长文本生成 自然语言处理 长文本评估 检索增强生成
暂未订购 下载PDF
大语言模型长文本推断优化技术综述 认领 引用 被引量：1
13
作者 陶伟 王健宗 +1 位作者 张旭龙 瞿晓阳 《大数据》 2025年第6期72-94,共23页
随着大语言模型技术的快速发展,其处理长文本输入的需求日益增加,但长文本推断面临内存消耗大和时延高的问题。为提高大语言模型在长文本推断中的效率,对现有优化技术进行了全面回顾和分析。首先,揭示了影响效率的三大关键因素:一是庞... 随着大语言模型技术的快速发展,其处理长文本输入的需求日益增加,但长文本推断面临内存消耗大和时延高的问题。为提高大语言模型在长文本推断中的效率,对现有优化技术进行了全面回顾和分析。首先,揭示了影响效率的三大关键因素:一是庞大的模型体量,二是具有二次计算复杂度的注意力机制操作,三是自回归式的解码策略。这些因素共同制约了模型的整体性能表现。随后,提出了一种分类方法,将优化技术分为模型优化、计算优化和系统优化,并详细介绍了量化、稀疏注意力、算子融合等关键技术。研究结果表明,这些优化技术能有效提升长文本推断的性能。最后,展望了未来研究方向,强调了进一步优化大语言模型长文本推断的重要性,以满足不断增长的长文本推断需求。 展开更多
关键词 大语言模型 长文本推断 模型优化 计算优化 系统优化
暂未订购 下载PDF
多模态大语言模型位置感知记忆增强方法 认领 引用
14
作者 张钏钰 李成华 《中国电子科学研究院学报》 2025年第5期546-557,共12页
当前多模态大语言模型在多模态长上下文任务上表现不佳,原因在于现有的几种多模态大语言模型自身结构中,直接投影会导致视觉序列过长、使用Q-former压缩视觉数据使得信息丢失、Flamingo等修改语言模型主干的设计使得性能表现不佳。针对... 当前多模态大语言模型在多模态长上下文任务上表现不佳,原因在于现有的几种多模态大语言模型自身结构中,直接投影会导致视觉序列过长、使用Q-former压缩视觉数据使得信息丢失、Flamingo等修改语言模型主干的设计使得性能表现不佳。针对这些问题,文中提出了多模态大语言模型的位置感知记忆增强方法,实现了对多模态大语言模型对于图文交叉的多模态长上下文任务表现的提升,该方法主要包含锚点偏移检索器、自适应占位符、记忆库三部分。其中,锚点偏移检索器基于RoBERTa、Transformer层和前馈神经网络构建,利用CLIP的跨模态能力,能够在多模态对话过程中实现更加丰富、有效的记忆库检索;自适应占位符基于指令微调的思想,将上下文结构信息融入检索结果,使其信息更加完整,以实现更准确、流畅的对话生成;记忆库针对多模态图文交叉长上下文构建,具有针对多模态记忆设计的分块结构和检索返回策略,贴合多模态对话任务的需求。本文方法在图文交叉长上下文测试基准MMDU-benchmark和MM-NIAH上对两个不同的语言模型都展现了有效增强,MMDU-benchmark上的平均得分相对于基线方法分别提高了5.3和11.6,MM-NIAH的图文推理任务的准确度相对于基线方法提高了4.3%和7.2%,证明了本文提出的位置感知记忆增强方法能够有效增强多模态大语言模型,更好处理图文交叉长上下文任务。 展开更多
关键词 多模态大模型 多模态长上下文 检索增强 记忆增强
暂未订购 下载PDF
一种双分支特征交互融合的高效红外图像彩色化方法 认领 引用
15
作者 陈宇 詹伟达 +2 位作者 蒋一纯 朱德鹏 韩登 《西安交通大学学报》 EI CAS CSCD 北大核心 2025年第8期211-222,共12页
针对现有的红外图像彩色化方法在全局特征捕获和计算复杂度方面存在显著局限性的问题,提出了一种双分支特征交互融合的高效红外图像彩色化方法。设计双分支编码器,通过局部特征提取分支获取局部空间上下文信息,确保细粒度特征的捕获,并... 针对现有的红外图像彩色化方法在全局特征捕获和计算复杂度方面存在显著局限性的问题,提出了一种双分支特征交互融合的高效红外图像彩色化方法。设计双分支编码器,通过局部特征提取分支获取局部空间上下文信息,确保细粒度特征的捕获,并通过全局特征提取分支获取全局特征,满足对长程依赖的需求。设计交互融合模块,对两个分支提取到的特征进行有效整合,显著增强了模型的整体性能。在解码器部分提出上下文聚合模块,进一步优化多尺度语义特征的聚合能力,改善了彩色化结果的边缘清晰度和细节表现力。在KAIST和FLIR数据集上进行广泛实验验证,结果表明:与现有方法相比,所提方法在两个数据集上均具有更高的彩色化质量,峰值信噪比分别达到28.645、30.459 dB,结构相似度达到0.507、0.725,均优于对比方法,且有效性和先进性也得到了验证。研究结果可为提升红外图像的可读性与可解释性以及提高夜视与恶劣环境下的观测能力提供参考。 展开更多
关键词 红外图像彩色化 细粒度特征 长程依赖 交互融合 上下文聚合
暂未订购 下载PDF
面向深思考的高效混合注意力机制 认领 引用
16
作者 肖朝军 方晔玮 韩旭 《计算》 CAS 2025年第8期42-47,共6页
近年来,大语言模型通过强化学习训练获得了强大的深度推理能力,能够生成长思维链来解决复杂问题。然而,传统自注意力机制的平方复杂度在处理包含大量推理词元的长序列时产生巨大计算和存储开销,严重制约了深思考模型的训练和推理效率。... 近年来,大语言模型通过强化学习训练获得了强大的深度推理能力,能够生成长思维链来解决复杂问题。然而,传统自注意力机制的平方复杂度在处理包含大量推理词元的长序列时产生巨大计算和存储开销,严重制约了深思考模型的训练和推理效率。现有研究主要关注对深思考模型进行后处理优化,从而提升深思考模型的推理效率,忽略了训练阶段的效率问题。本研究发现,深思考场景下推理过程呈现局部性特征,使得混合注意力机制具有独特优势,将稠密注意力模型通过少量后训练转换为混合注意力模型,并基于此进行深思考训练。实验结果表明,在AIME、MATH-500和LiveCodebench等典型深思考评测集上,1:1混合注意力模型达到了与稠密注意力模型相当甚至更优的性能,同时在64k词元的上下文窗口下节省22%的训练时间开销和46.9%的键值缓存存储开销。 展开更多
关键词 混合注意力 大语言模型 高效思考 滑动窗口注意力 稀疏注意力 推理模型 思维链 长序列处理
暂未订购 下载PDF
深度思考模型带来的人工智能基础设施挑战与机遇 认领 引用
17
作者 章明星 《计算》 CAS 2025年第8期34-41,共8页
近年来,随着“缩放法则”带来的性能增益趋于减缓,研究者提出深度思考模型(reasoning model)新范式,通过延长上下文和链式思考路径提升智能表现。然而,这一升级也对人工智能(artificial intelligence,AI)基础设施提出了前所未有的挑战:... 近年来,随着“缩放法则”带来的性能增益趋于减缓,研究者提出深度思考模型(reasoning model)新范式,通过延长上下文和链式思考路径提升智能表现。然而,这一升级也对人工智能(artificial intelligence,AI)基础设施提出了前所未有的挑战:训练阶段需要支持更长序列、更多阶段的分布式并行与强化学习后训练流程;推理阶段则因超长输入输出和键值(keyvalue,KV)缓存激增导致算力、显存和带宽压力倍增。为此,业界在训练中综合应用张量并行、流水线并行、专家并行与序列并行,并通过DualPipe等改进掩盖通信延迟;在推理中提出“以存换算”架构,如Mooncake架构的预填充阶段/解码计算密集阶段/解码注意力阶段(简称prefill/model/attention)异构分离,以及KTransformers的计算强度导向卸载策略,实现存储与计算资源的异构协同。最后,面向未来,通过稀疏注意力机制(如MoBA、NSA)以降低长序列的O(n2)复杂度,为深度思考模型的下一步基础设施适配提供了新的思路。本研究梳理了代表性案例与技术路径,为行业在算法与系统协同优化上提供参考。 展开更多
关键词 深度思考模型 链式思考 人工智能基础设施 长上下文 并行训练 键值缓存 异构协同 稀疏注意力
暂未订购 下载PDF
基于DeepSeek-MLA机制的工业级长上下文异常检测方法 认领 引用
18
作者 杜渐 《信息化研究》 2025年第6期144-147,共4页
面向工业互联网(IIoT)设备运维日志“序列超长、故障特征稀疏、边缘侧资源受限”的典型约束,传统Transformer在长序列推理中面临计算复杂度高、KV Cache显存膨胀等瓶颈。本文提出工业级长上下文日志分析系统DSA-Log:在注意力层引入DeepS... 面向工业互联网(IIoT)设备运维日志“序列超长、故障特征稀疏、边缘侧资源受限”的典型约束,传统Transformer在长序列推理中面临计算复杂度高、KV Cache显存膨胀等瓶颈。本文提出工业级长上下文日志分析系统DSA-Log:在注意力层引入DeepSeek多头潜在注意力(MLA),通过KV联合低秩压缩将推理缓存由线性增长压缩为近似常数级;采用解耦旋转位置编码(Decoupled RoPE)保持长距离位置感知;进一步设计动态Top-k稀疏注意力选择与CUDA算子融合以提升效率。基于真实电力运维日志实验表明,在异常检测F1基本不降的前提下,DSA-Log在32K长度下将推理延迟降低69.1%,KV Cache显存占用减少59%,验证了其在工业边缘端低成本部署的可行性。 展开更多
关键词 工业互联网 长上下文分析 DeepSeek-V2 多头潜在注意力(MLA) 稀疏计算 异常检测
暂未订购 下载PDF
多元化文化背景下饲料外贸人才培养的长效机制研究 认领 引用 被引量：1
19
作者 叶莹 《中国饲料》 北大核心 2025年第18期121-124,共4页
为探讨多元化文化背景下饲料外贸人才培养的长效机制,文章对饲料外贸人才培养的需求和重要性进行深入分析,并根据人才培养现状提出了切实可行的策略,旨在提高人才培养的针对性和有效性,实现饲料外贸人才的持续培养、发展和利用,确保人... 为探讨多元化文化背景下饲料外贸人才培养的长效机制,文章对饲料外贸人才培养的需求和重要性进行深入分析,并根据人才培养现状提出了切实可行的策略,旨在提高人才培养的针对性和有效性,实现饲料外贸人才的持续培养、发展和利用,确保人才培养始终与饲料外贸活动相适应,从而以高素质的?饲料外贸人才助推饲料企业的海外发展。 展开更多
关键词 多元化文化背景 饲料外贸 人才培养 长效机制
暂未订购 下载PDF
基于长短时记忆和深度神经网络的视觉手势识别技术 认领 引用 被引量：7
20
作者 何坚 廖俊杰 +3 位作者 张丞 魏鑫 白佳豪 王伟东 《图学学报》 CSCD 北大核心 2020年第3期372-381,共10页
针对基于视觉的动态手势识别易受光照、背景和手势形状变化影响等问题,在分析人体手势空间上下文特征的基础上,首先建立一种基于人体骨架和部件轮廓特征的动态手势模型,并采用卷积姿势机和单发多框检测器技术构造深度神经网络进行人体... 针对基于视觉的动态手势识别易受光照、背景和手势形状变化影响等问题,在分析人体手势空间上下文特征的基础上,首先建立一种基于人体骨架和部件轮廓特征的动态手势模型,并采用卷积姿势机和单发多框检测器技术构造深度神经网络进行人体手势骨架和部件轮廓特征提取。其次,引入长短时记忆网络提取动态人体手势中骨架、左右手和头部轮廓的时序特征,进而分类识别手势。在此基础上,设计了一种空间上下文与时序特征融合的动态手势识别机(GRSCTFF),并通过交警指挥手势视频样本库对其进行网络训练和实验分析。实验证明,该系统可以快速准确识别动态交警指挥手势,准确率达到94.12%,并对光线、背景和手势形状变化具有较强的抗干扰能力。 展开更多
关键词 手势识别 空间上下文 长短时记忆 特征提取
暂未订购 下载PDF
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 3 下一页 到第 页
在线咨询 使用帮助 返回顶部 意见反馈