为解决不同人员相同操作的个体差异以及同一人员不同时间相同操作差异的问题,提出一种基于混合专家系统(mixture of experts,MoE)和长短期记忆神经网络(long short-term memory,LSTM)的倒闸操作识别方法MoE-LSTM。基于MoE对LSTM进行集成...为解决不同人员相同操作的个体差异以及同一人员不同时间相同操作差异的问题,提出一种基于混合专家系统(mixture of experts,MoE)和长短期记忆神经网络(long short-term memory,LSTM)的倒闸操作识别方法MoE-LSTM。基于MoE对LSTM进行集成,学习不同来源数据的特征分布。采集加速度动作数据构建倒闸操作数据集,基于滑动窗口对动作序列进行切分;将动作序列输入到MoE-LSTM中,由不同LSTM独立学习不同动作的时序依赖;通过门控网络选择对当前输入分类较好的LSTM的输出作为动作识别结果。仿真结果表明:不同LSTM对来自不同时空的动作数据都有擅长分类的特征空间。展开更多
混合专家模型(mixture of expert,MoE)架构已成为扩展大语言模型(large language model,LLM)的广泛认可范式,并被众多前沿模型所采用。然而,MoE模型参数量巨大,其内存占用往往超出单一边缘平台的容量,在资源受限边缘设备上部署面临严峻...混合专家模型(mixture of expert,MoE)架构已成为扩展大语言模型(large language model,LLM)的广泛认可范式,并被众多前沿模型所采用。然而,MoE模型参数量巨大,其内存占用往往超出单一边缘平台的容量,在资源受限边缘设备上部署面临严峻挑战。现有本地MoE服务系统采用专家交换策略,将非活跃专家卸载至二级存储并按需加载。随着LLM支持的上下文窗口不断扩展,用户输入也相应变长,预填充阶段面临关键瓶颈:长输入序列几乎激活所有专家,全量专家交换产生大量I/O流量,导致首词时延(time to first token,TTFT)显著延长。在智能家居、智能工厂等典型边缘场景中,平板电脑、笔记本电脑及各类家庭智能设备等多类可信终端通过局域网彼此互联,共同构成一张泛在的边缘算力网络(edge computility network,ECN)。边缘算力网络中各节点均携带大量闲置的算力、内存容量与I/O带宽资源,为汇聚分布式资源、突破单设备瓶颈提供了重要机遇。Sirius是一种面向边缘算力网络的混合专家模型协同推理系统,通过跨节点的协同调度汇聚资源,加速预填充阶段并降低TTFT。具体而言,设计了3项关键技术:1)基于交错划分的序列并行策略,解决因果注意力计算中的工作负载不均衡问题,最大化通信-计算重叠;2)自适应Token调度机制,联合考虑计算开销、交换时延和专家缓冲区缓存状态,充分利用集体I/O带宽并实现负载均衡;3)推测性专家预取方案,利用相邻层隐藏状态的高相似性提前预测专家激活,将专家加载与计算重叠,有效隐藏I/O时延。在真实边缘算力网络平台上,针对Mixtral-8x7B与Qwen3-30B-A3B的实验表明,Sirius相比现有基线方法实现了1.2~4.0倍的推理吞吐量提升。展开更多
针对传统检测方法在复杂干扰条件下鲁棒性不足的问题,提出一种基于混合专家(Mixture-of-Experts,MoE)网络的抗干扰检测方法,用于复杂电磁环境下正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)信号的可靠检测。依托复...针对传统检测方法在复杂干扰条件下鲁棒性不足的问题,提出一种基于混合专家(Mixture-of-Experts,MoE)网络的抗干扰检测方法,用于复杂电磁环境下正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)信号的可靠检测。依托复杂干扰条件下的OFDM信号模型,采用融合导频信息的多通道接收特征作为模型输入;设计干扰识别驱动的级联接收结构,通过干扰识别网络判别干扰类型,并根据识别结果自适应选择MoE网络中的对应专家模型,实现针对性干扰抑制;结合DeepRx检测网络实现比特级检测。仿真结果表明,在多类典型干扰场景下,所提方法相比直接检测、混合干扰训练模型以及线性最小均方误差(Linear Minimum Mean Square Error,LMMSE)检测器,能够获得更低的误码率(Bit Error Rate,BER),并表现出更稳定的检测性能,从而有效提升复杂电磁环境下OFDM系统的抗干扰检测能力。展开更多
摘要为解决不同人员相同操作的个体差异以及同一人员不同时间相同操作差异的问题,提出一种基于混合专家系统(mixture of experts,MoE)和长短期记忆神经网络(long short-term memory,LSTM)的倒闸操作识别方法MoE-LSTM。基于MoE对LSTM进行集成,学习不同来源数据的特征分布。采集加速度动作数据构建倒闸操作数据集,基于滑动窗口对动作序列进行切分;将动作序列输入到MoE-LSTM中,由不同LSTM独立学习不同动作的时序依赖;通过门控网络选择对当前输入分类较好的LSTM的输出作为动作识别结果。仿真结果表明:不同LSTM对来自不同时空的动作数据都有擅长分类的特征空间。
摘要混合专家模型(mixture of expert,MoE)架构已成为扩展大语言模型(large language model,LLM)的广泛认可范式,并被众多前沿模型所采用。然而,MoE模型参数量巨大,其内存占用往往超出单一边缘平台的容量,在资源受限边缘设备上部署面临严峻挑战。现有本地MoE服务系统采用专家交换策略,将非活跃专家卸载至二级存储并按需加载。随着LLM支持的上下文窗口不断扩展,用户输入也相应变长,预填充阶段面临关键瓶颈:长输入序列几乎激活所有专家,全量专家交换产生大量I/O流量,导致首词时延(time to first token,TTFT)显著延长。在智能家居、智能工厂等典型边缘场景中,平板电脑、笔记本电脑及各类家庭智能设备等多类可信终端通过局域网彼此互联,共同构成一张泛在的边缘算力网络(edge computility network,ECN)。边缘算力网络中各节点均携带大量闲置的算力、内存容量与I/O带宽资源,为汇聚分布式资源、突破单设备瓶颈提供了重要机遇。Sirius是一种面向边缘算力网络的混合专家模型协同推理系统,通过跨节点的协同调度汇聚资源,加速预填充阶段并降低TTFT。具体而言,设计了3项关键技术:1)基于交错划分的序列并行策略,解决因果注意力计算中的工作负载不均衡问题,最大化通信-计算重叠;2)自适应Token调度机制,联合考虑计算开销、交换时延和专家缓冲区缓存状态,充分利用集体I/O带宽并实现负载均衡;3)推测性专家预取方案,利用相邻层隐藏状态的高相似性提前预测专家激活,将专家加载与计算重叠,有效隐藏I/O时延。在真实边缘算力网络平台上,针对Mixtral-8x7B与Qwen3-30B-A3B的实验表明,Sirius相比现有基线方法实现了1.2~4.0倍的推理吞吐量提升。
摘要针对传统检测方法在复杂干扰条件下鲁棒性不足的问题,提出一种基于混合专家(Mixture-of-Experts,MoE)网络的抗干扰检测方法,用于复杂电磁环境下正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)信号的可靠检测。依托复杂干扰条件下的OFDM信号模型,采用融合导频信息的多通道接收特征作为模型输入;设计干扰识别驱动的级联接收结构,通过干扰识别网络判别干扰类型,并根据识别结果自适应选择MoE网络中的对应专家模型,实现针对性干扰抑制;结合DeepRx检测网络实现比特级检测。仿真结果表明,在多类典型干扰场景下,所提方法相比直接检测、混合干扰训练模型以及线性最小均方误差(Linear Minimum Mean Square Error,LMMSE)检测器,能够获得更低的误码率(Bit Error Rate,BER),并表现出更稳定的检测性能,从而有效提升复杂电磁环境下OFDM系统的抗干扰检测能力。