期刊文献+
任意字段
题名或关键词
题名
关键词
摘要
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到327篇文章
< 1 2 … 17 >
每页显示 20 50 100
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
The Compression Algorithm for the Data Acquisition System in HT-7 Tokamak 认领 引用 被引量：1
1
作者 朱琳 罗家融 +1 位作者 李贵明 岳冬利 《Plasma Science and Technology》 SCIE CAS 2003年第5期1939-1944,共6页
HT-7 superconducting tokamak in the Institute of Plasma Physics of the Chinese Academy of Sciences is an experimental device for fusion research in China. The main task of the data acquisition system of HT-7 is to acq... HT-7 superconducting tokamak in the Institute of Plasma Physics of the Chinese Academy of Sciences is an experimental device for fusion research in China. The main task of the data acquisition system of HT-7 is to acquire, store, analyze and index the data. The volume of the data is nearly up to hundreds of million bytes. Besides the hardware and software support, a great capacity of data storage, process and transfer is a more important problem. To deal with this problem, the key technology is data compression algorithm. In the paper, the data format in HT-7 is introduced first, then the data compression algorithm, LZO, being a kind of portable lossless data compression algorithm with ANSI C, is analyzed. This compression algorithm, which fits well with the data acquisition and distribution in the nuclear fusion experiment, offers a pretty fast compression and extremely fast decompression. At last the performance evaluation of LZO application in HT-7 is given. 展开更多
关键词 data compression algorithm HT-7 tokamak
暂未订购 下载PDF
A Ka-band Solid-state Transmitter Cloud Radar and Data Merging Algorithm for Its Measurements 认领 引用 被引量：8
2
作者 Liping LIU Jiafeng ZHENG Jingya WU 《Advances in Atmospheric Sciences》 SCIE CAS CSCD 2017年第4期545-558,共14页
This study concerns a Ka-band solid-state transmitter cloud radar, made in China, which can operate in three different work modes, with different pulse widths, and coherent and incoherent integration numbers, to meet ... This study concerns a Ka-band solid-state transmitter cloud radar, made in China, which can operate in three different work modes, with different pulse widths, and coherent and incoherent integration numbers, to meet the requirements for cloud remote sensing over the Tibetan Plateau. Specifically, the design of the three operational modes of the radar（i.e., boundary mode M1, cirrus mode M2, and precipitation mode M3） is introduced. Also, a cloud radar data merging algorithm for the three modes is proposed. Using one month＇s continuous measurements during summertime at Naqu on the Tibetan Plateau,we analyzed the consistency between the cloud radar measurements of the three modes. The number of occurrences of radar detections of hydrometeors and the percentage contributions of the different modes＇ data to the merged data were estimated.The performance of the merging algorithm was evaluated. The results indicated that the minimum detectable reflectivity for each mode was consistent with theoretical results. Merged data provided measurements with a minimum reflectivity of -35 dBZ at the height of 5 km, and obtained information above the height of 0.2 km. Measurements of radial velocity by the three operational modes agreed very well, and systematic errors in measurements of reflectivity were less than 2 dB. However,large discrepancies existed in the measurements of the linear depolarization ratio taken from the different operational modes.The percentage of radar detections of hydrometeors in mid- and high-level clouds increased by 60% through application of pulse compression techniques. In conclusion, the merged data are appropriate for cloud and precipitation studies over the Tibetan Plateau. 展开更多
关键词 data merging algorithm operational mode Ka-band radar cloud Tibetan Plateau pulse compression technique
暂未订购 下载PDF
基于随机森林与Q-learning融合的多元电力数据存储优化决策方法 认领 引用
3
作者 叶学顺 贾东梨 +2 位作者 周俊 唐英 贾梓豪 《科学技术与工程》 EI 北大核心 2026年第3期1065-1074,共10页
大规模和多样的电力数据存储面临效率低和内存容量不足的瓶颈问题。数据索引和数据压缩等传统数据存储优化方法各有优劣势,如何有效应用于电力数据存储是目前研究的难点。为了解决这个问题,提出了一种融合随机森林和Q-learning的多元电... 大规模和多样的电力数据存储面临效率低和内存容量不足的瓶颈问题。数据索引和数据压缩等传统数据存储优化方法各有优劣势,如何有效应用于电力数据存储是目前研究的难点。为了解决这个问题,提出了一种融合随机森林和Q-learning的多元电力数据存储优化决策方法。该方法中的关键技术包括:首先提出了基于改进随机森林算法的存储优化策略决策模型,引入信息增益方法,综合评价数据存储时对数据库的数据访问频率、查询时间、存储速度以及数据冗余率等因素影响,做出数据直接存储、数据索引存储和数据压缩存储的存储优化方法策略决策;其次提出了基于改进Q-learning算法的数据存储算法决策模型,引入多尺度学习机制、优先经验放回机制和正负向奖励机制,决策数据索引存储时适用的索引算法以及数据压缩存储时适用的数据压缩算法。本方法有效融合了数据索引与数据压缩的技术优势,大幅提升数据存储效率并节约存储空间,为大规模多元电力数据管理提供新的解决方案。 展开更多
关键词 随机森林算法 Q-learning算法 数据存储优化方法 数据索引算法 数据压缩算法
暂未订购 下载PDF
山区河谷地带的无人机找矿智能航线算法研究——以大桥金矿床为例 认领 引用
4
作者 桑学佳 王颀安 +3 位作者 吴倩 刘敦龙 白鹤 姜岩 《黄金》 CAS 2026年第4期12-19,共8页
在山区河谷地带的无人机金矿勘查中,传统航线规划算法存在航点数据量大、飞行轨迹锯齿化严重、难以直接适配飞行控制系统等问题。针对上述问题,以大桥金矿床为例,提出了一种融合地质流体势场与自适应轨迹稀疏化的智能路径规划算法(Geo-F... 在山区河谷地带的无人机金矿勘查中,传统航线规划算法存在航点数据量大、飞行轨迹锯齿化严重、难以直接适配飞行控制系统等问题。针对上述问题,以大桥金矿床为例,提出了一种融合地质流体势场与自适应轨迹稀疏化的智能路径规划算法(Geo-Flow-RDP)。该算法在保证覆盖视域地质目标的前提下,实现航点的深度压缩,并且在数字高程模型上进行了多次仿真试验。Geo-Flow-RDP对初始航线进行特征点提取和稀疏化处理,通过设定距离阈值,在保持航线宏观几何特征的前提下,最大限度地减少了冗余航点,有效解决了实际地质勘查中“理论算法航线”向“工程实际航线”转换的关键技术瓶颈。经过Geo-Flow-RDP进行稀疏化处理后,单条航线的关键航点数量从传统Dijkstra算法的2 841个压缩到23个;数据压缩率高达99.2%,显著降低了在野外弱网环境下的链接负载。Geo-Flow-RDP为山区河谷地带新一轮找矿突破战略行动提供了低成本、高可靠的无人机金矿勘查方案。 展开更多
关键词 无人机 智能 地质语义建模 航线规划 轨迹稀疏化 数据压缩 道格拉斯-普克算法
暂未订购 下载PDF
压缩感知重构算法恢复滚动轴承缺失振动数据 认领 引用
5
作者 孙延鹏 沈康 屈乐乐 《轴承》 北大核心 2026年第5期110-118,共9页
为解决滚动轴承在远程状态监控中因设备或环境因素导致的数据丢失问题,通过分析传统贪婪类算法的优缺点,提出了一种新的重构算法,即Jaccard弱选择压缩采样匹配追踪(JW-CSMP)算法。JW-CSMP算法引入了广义Jaccard系数匹配准则替代传统贪... 为解决滚动轴承在远程状态监控中因设备或环境因素导致的数据丢失问题,通过分析传统贪婪类算法的优缺点,提出了一种新的重构算法,即Jaccard弱选择压缩采样匹配追踪(JW-CSMP)算法。JW-CSMP算法引入了广义Jaccard系数匹配准则替代传统贪婪算法的内积匹配准则,并采用弱选择方法对已选取的原子进行二次筛选,不仅避免了插值法准确率不高,神经网络需要大量历史数据进行训练的问题,而且利用压缩感知原理提高了对缺失数据的恢复精度;另外,JW-CSMP算法可在信号稀疏度未知的情况下进行重构,同时提高原子之间的相似性以确保所选取原子正确,从而进一步提高重构的准确性。仿真及试验结果表明:与OMP,CoSaMP等重构算法相比,JW-CSMP算法的重构效果更好,在降噪方面也有着一定的优势,能够更准确地恢复缺失信号并保持信号的特征,更适用于滚动轴承振动信号缺失数据的修复。 展开更多
关键词 滚动轴承 压缩感知 缺失数据 远程监控 重构算法
暂未订购 下载PDF
Zstandard中LZ77压缩算法的高效匹配策略设计与实现 认领 引用 被引量：1
6
作者 韦芳宇 陈天韵 +2 位作者 周洋 谢雨来 王芳 《计算机研究与发展》 EI CSCD 北大核心 2026年第3期597-614,共18页
在信息时代背景下,数据规模的急剧增长与压缩应用场景的多样化,对压缩策略的灵活性和效率提出了更高要求。LZ77算法是典型的无损压缩方法,广泛应用于Zstandard(ZSTD)等主流压缩工具中。然而,更高的压缩率指标要求应用更大的历史窗口与... 在信息时代背景下,数据规模的急剧增长与压缩应用场景的多样化,对压缩策略的灵活性和效率提出了更高要求。LZ77算法是典型的无损压缩方法,广泛应用于Zstandard(ZSTD)等主流压缩工具中。然而,更高的压缩率指标要求应用更大的历史窗口与更复杂的压缩策略,导致在实现ZSTD中的LZ77算法存在缓存频繁未命中与延迟匹配效率低下的问题。为此,提出2项优化策略:其一,多级区域搜索策略(multi-level region search strategy,MLRS),通过引入匹配区域分级与访问阈值控制机制灵活调整搜索深度,限制匹配过程中的数据访问范围,缓解缓存压力;其二,基于扩展搜索的延迟匹配策略(extended searchbased lazy matching strategy,ESLM),通过复用搜索路径并采用近似替代技术,降低冗余计算的同时提升匹配效率。上述优化策略基于ZSTD level 12配置在鲲鹏920服务器平台上实现并完成验证。实验结果表明:MLRS在多种数据集上能够显著降低压缩过程中的末级缓存未命中率,将压缩率保持在94.65%~99.58%的同时,使压缩吞吐量提升至原方案的118.34%~149.50%;ESLM可将压缩吞吐量提升至原方案的113.49%~117.46%,且在多数数据集上进一步提高压缩比;当两者联合应用时,压缩速度可提升至原方案的134.53%~171.17%,同时维持94.18%~99.80%的压缩率。 展开更多
关键词 数据压缩 LZ77算法 缓存优化 延迟匹配 吞吐量优化
暂未订购 下载PDF
激光雷达3维成像回波数据压缩与重建改进算法 认领 引用
7
作者 袁鎏 孔繁林 +4 位作者 李潇 刘晓春 黄海华 路小龙 呙长冬 《激光技术》 CAS CSCD 北大核心 2026年第3期457-464,共8页
在激光雷达3维成像的过程中,为了节省大量飞行时间回波数据的存储空间,基于激光雷达3维成像回波数据的统计分布特征,采用一种激光雷达3维成像回波数据压缩与重建改进算法,在数据压缩过程中,根据用户提供的成像参数,对激光雷达3维成像回... 在激光雷达3维成像的过程中,为了节省大量飞行时间回波数据的存储空间,基于激光雷达3维成像回波数据的统计分布特征,采用一种激光雷达3维成像回波数据压缩与重建改进算法,在数据压缩过程中,根据用户提供的成像参数,对激光雷达3维成像回波数据统计分布进行多项式拟合,并根据用户提供的压缩判定阈值区分光计数和暗计数,生成精确记录光计数信息和记录统计分布多项式拟合系数的字节流,完成数据压缩;在数据重建过程中,对压缩文件进行解析,提取字节流之后,用多项式系数重建暗计数,并重建光计数信息。设计了小型化数据采集系统,取得了激光雷达3维成像回波数据,验证了算法的效果。结果表明,该算法实现了激光雷达3维成像回波数据的压缩和重建功能,在固定目标成像条件下实现了1.02%~38.86%的压缩率和0.1238~0.6326的均方误差,在室内目标成像条件下实现了0.93%~2.06%的压缩率和0.0000~0.4250的均方误差。该算法简化了激光雷达3维成像回波数据获取的过程,扩大了数据压缩算法的适用条件,实现了用户可控的数据压缩与重建。 展开更多
关键词 成像系统 激光雷达3维成像 压缩算法 统计分布 多项式拟合 小型化数据采集系统
暂未订购 下载PDF
面向数据网络运维的智能告警数据压缩算法 认领 引用
8
作者 范铭 《沈阳工业大学学报》 CAS 北大核心 2026年第1期46-53,共8页
【目的】随着网络规模与复杂性的激增,传统网络运维技术在处理海量告警数据时面临准确性低、噪声干扰严重、根因定位困难等挑战。现有Apriori与FP-Growth等关联规则算法因缺乏对告警数据相关性及层级根因的深入分析,导致压缩效率低下且... 【目的】随着网络规模与复杂性的激增,传统网络运维技术在处理海量告警数据时面临准确性低、噪声干扰严重、根因定位困难等挑战。现有Apriori与FP-Growth等关联规则算法因缺乏对告警数据相关性及层级根因的深入分析,导致压缩效率低下且误报率较高。通过引入图卷积神经网络(graph convolutional network,GCN),设计了一种智能告警压缩算法,以解决传统方法在数据关联性挖掘、噪声抑制及多层级根因分析中的不足,从而提升了网络运维的智能化水平与告警处理效率。【方法】首先,针对告警数据的异构性与冗余性,提出基于滑动时间窗口的动态预处理机制,通过时间同步规则与去冗余操作,构建高精度告警事务库。其次,将预处理后的告警序列转化为图结构数据,利用节点特征矩阵与邻接矩阵表征告警事件及其关联关系。在此基础上,设计多层图卷积神经网络模型,通过局部卷积聚合邻域节点特征,结合归一化技术解决图结构数据的不平衡性,并引入ReLU激活函数增强非线性特征提取能力。模型参数设置包括输入特征维度、隐藏层结构、Adam优化器及Dropout机制,以平衡模型复杂度与泛化性能。最后,基于真实网络故障数据集,对比分析GCN与ResNet、Apriori、FP-Growth算法的性能差异。【结果】实验结果表明,本文算法在告警准确度与运行时间上均显著优于传统方法。具体而言,当数据量增至6000条时,GCN算法的告警准确度超过92%,较Apriori(83%)、FP-Growth(87%)和ResNet(84%~94%)算法表现更优且波动更小。在运行效率方面,GCN算法的平均处理时间与FP-Growth接近(当数据量超过1000条时相差不足5%),并显著低于ResNet算法。此外,GCN算法通过捕捉告警数据的非线性关联与层级根因,有效抑制了噪声干扰,验证了其在复杂网络环境中的鲁棒性。【结论】基于图卷积神经网络的告警压缩算法,通过深度融合告警数据的时空特征与拓扑关联,实现了高精度、低冗余的告警信息提取。对比传统方法,该算法在准确度与效率上均展现出显著优势,为网络运维的智能化转型提供了可靠的技术支撑。未来工作将聚焦于模型轻量化设计与实时性优化,以进一步适应大规模动态网络场景的需求。 展开更多
关键词 网络告警 数据冗余 告警误报 数据压缩 Apriori算法 FP-Growth算法 根因分析 关联关系
暂未订购 下载PDF
无线传感网络分布式通信数据无损压缩技术研究 认领 引用 被引量：1
9
作者 张锁 王小虎 《传感技术学报》 CAS CSCD 北大核心 2026年第3期647-652,共6页
无线传感网络中的分布式通信数据量大且冗余度高,直接传输原始数据将引发能耗和通信问题。因此,提出无线传感网络分布式通信数据无损压缩技术。基于分簇原理,在低节点能耗前提下聚合和压缩通信数据,减少通信负担。利用贝叶斯定理分析数... 无线传感网络中的分布式通信数据量大且冗余度高,直接传输原始数据将引发能耗和通信问题。因此,提出无线传感网络分布式通信数据无损压缩技术。基于分簇原理,在低节点能耗前提下聚合和压缩通信数据,减少通信负担。利用贝叶斯定理分析数据概率分布,结合先验与条件概率计算后验概率,识别并去除冗余数据点。通过计算冗余Fisher信息量化数据冗余性,运用数据滤波算法更新冗余状态,精确剔除冗余数据。在完成滤波算法去冗后,采用串表压缩算法(Lempel-Ziv-Welch Encoding, LZW),利用数据的统计特性提高压缩效率,减少通信数据的大小,实现数据无损压缩。仿真表明,所提方法可以将网络节点的能耗降低0.05 J左右,并将压缩质量参数值保持在0.84以上。证实了所提算法能够在延长网络生命周期的同时,提高数据存储空间利用率,对无线传感网络数据的高效存储具有重要意义。 展开更多
关键词 无线传感网络 无损压缩 LZW算法 分布式通信数据 贝叶斯定理
暂未订购 下载PDF
面向LNG运输船数字孪生船岸数据回传关键技术研究 认领 引用
10
作者 陈磊 王磊 +1 位作者 任忠杰 宫克 《船舶》 2026年第4期32-40,共9页
针对高保真液化天然气(liquefied natural gas,LNG)运输船数字孪生体构建中所面临的数据体量大、传输带宽受限等技术瓶颈,文章提出一套集成可靠传输与高效压缩的船岸数据回传系统。首先,该系统使用标准化接口实现多源数据采集,通过数据... 针对高保真液化天然气(liquefied natural gas,LNG)运输船数字孪生体构建中所面临的数据体量大、传输带宽受限等技术瓶颈,文章提出一套集成可靠传输与高效压缩的船岸数据回传系统。首先,该系统使用标准化接口实现多源数据采集,通过数据分级回传策略提炼其价值,并引入GZip算法对液货舱系统等关键数据进行高效压缩。其次,该系统基于消息队列遥测传输协议的数据回传架构,通过引入服务质量等级确认机制,提出智能断网续传策略以实现船端本地缓存、确保数据完整传输。最终,经实船应用验证,该系统在确保数据100%完整回传的前提下,实现了超过93%的压缩率,并在受限带宽下显著降低了端到端回传时延。该研究从传输效率、可靠性与实时性这3个维度全面提升了LNG运输船数字孪生体数据回传的有效性,验证了所提传输策略与模块的合理性,为高价值船舶数字孪生系统的工程化应用奠定了基础。 展开更多
关键词 液化天然气运输船 数字孪生 船岸数据回传 GZip算法 MQTT协议
暂未订购 下载PDF
基于自动成像机器人的线夹X射线检测技术 认领 引用
11
作者 聂文翔 余文邦 +1 位作者 杨冠文 周锦亮 《无损检测》 CAS 2026年第5期79-84,共6页
针对电力系统中高电压、大容量线夹的可靠性检测需求,以及现有X射线检测技术准确率低、缺陷分割效率低等问题,提出基于自动成像机器人的线夹X射线检测技术。该技术以傅里叶中心切片定理为理论基础,通过LRTI基本重建算法实现线夹内部结... 针对电力系统中高电压、大容量线夹的可靠性检测需求,以及现有X射线检测技术准确率低、缺陷分割效率低等问题,提出基于自动成像机器人的线夹X射线检测技术。该技术以傅里叶中心切片定理为理论基础,通过LRTI基本重建算法实现线夹内部结构成像;融入压缩感知技术,利用信号稀疏性从少量投影数据中精准重建原始图像,有效降低数据截断误差;将自适应二值化法与积分图像法结合,降低缺陷提取计算复杂度;引入改进的距离交并比作为位置损失函数,实现缺陷位置的高精度提取。为验证技术有效性,搭建试验平台,选取15个含缺陷线夹试件与LRTI算法、滤波反投影算法、LRTI+自适应二值化法等传统方案进行对比试验。结果表明,提出的FBP+自适应二值化法组合方案对缝接部位缺陷的检测准确率达90%,对裂纹的检测准确率达85%,对夹杂的检测准确率达88%,自适应积分二值化使运算效率提升40%,单幅图像处理时间控制在1.2 s以内,缺陷定位误差小于0.1 mm,满足工业级实时检测要求。 展开更多
关键词 LRTI基本重建算法 压缩感知技术 数据截断误差 自适应二值化法 MPDIoU
暂未订购 下载PDF
基于PSO-K-means聚类压缩感知的用电量数据修复方法 认领 引用
12
作者 张心怡 刘绪杰 林穿 《电工电气》 2026年第2期7-12,共6页
随着电力系统智能化发展,用电数据的完整性需要对负荷预测与调度提出更高要求。针对传统K-means算法存在初始聚类中心敏感、易陷入局部最优的缺陷,以及用电数据缺失问题,提出了一种改进聚类算法与压缩感知的联合修复方法,并设置了低缺... 随着电力系统智能化发展,用电数据的完整性需要对负荷预测与调度提出更高要求。针对传统K-means算法存在初始聚类中心敏感、易陷入局部最优的缺陷,以及用电数据缺失问题,提出了一种改进聚类算法与压缩感知的联合修复方法,并设置了低缺失率、高缺失率以及连续缺失率的数据缺失场景进行实验验证。通过粒子群优化算法(PSO)实现全局最优聚类中心搜索,利用轮廓系数和CH指数验证PSO-K-means算法的聚类性能;基于PSO-K-means算法对用电数据的聚类结果采用同类数据均值预填充缺失时段,将同类数据构建的时间序列进行压缩感知重构。结果表明,在设置的三种场景中,相较其他方法,所提方法在决定系数和均方根误差指标上都更加优异,显著提升数据修复精度,为智能电网数据质量优化提供了创新技术路径,有效支撑电力系统精准调度与运行。 展开更多
关键词 PSO-K-means算法 压缩感知 用电量数据 数据修复
暂未订购 下载PDF
一种面向无线传感器网络的高能效数据传输机制 认领 引用 被引量：7
13
作者 王海涛 《传感技术学报》 CAS CSCD 北大核心 2025年第4期724-731,共8页
无线传感器网络(Wireless Sensor Network, WSN)适合部署于复杂恶劣的物理环境中提供目标监测和态势感知服务,但传感器节点通常依靠电池供电,高效使用节点能量以延长网络寿命至关重要。针对无线传感器网络中众多传感器节点采集和传输的... 无线传感器网络(Wireless Sensor Network, WSN)适合部署于复杂恶劣的物理环境中提供目标监测和态势感知服务,但传感器节点通常依靠电池供电,高效使用节点能量以延长网络寿命至关重要。针对无线传感器网络中众多传感器节点采集和传输的数据量大且冗余度高的实际状况,为了尽可能减少不必要的数据传输能耗,提出了一种综合利用网络聚类分簇和数据压缩感知的高能效数据传输机制——EETICC。首先,基于改进的K-Medoids聚类算法将随机部署的传感器节点合理组织成分簇结构,使得簇内节点分布更加合理并使节点能耗更为均衡;然后,簇头采用压缩感知对簇内节点采集的原始数据进行压缩处理,并将处理后的稀疏数据通过簇间多跳转发传输至基站;最终,基站可通过适当的重构算法对接收的数据进行精准恢复。仿真实验结果表明,与其他几种典型的数据传输策略相比,EETICC在多项常用的性能指标上均表现更优,显著减少了节点能耗,延长了网络生存时间。 展开更多
关键词 无线传感器网络 数据传输 分簇算法 压缩感知 网络寿命
暂未订购 下载PDF
基于改进LZW算法的传感器数据压缩测量技术研究 认领 引用 被引量：2
14
作者 王海峰 《国外电子测量技术》 2025年第12期92-97,共6页
物联网与边缘计算的发展促使水利监测感知系统中传感器数据激增,传统基于奈奎斯特定理的采样与处理方法难以满足海量数据的存储与传输需求。因此,面向传感器的实时数据压缩技术成为解决水利数据处理问题的关键。研究针对水利机电设备等... 物联网与边缘计算的发展促使水利监测感知系统中传感器数据激增,传统基于奈奎斯特定理的采样与处理方法难以满足海量数据的存储与传输需求。因此,面向传感器的实时数据压缩技术成为解决水利数据处理问题的关键。研究针对水利机电设备等资源受限的嵌入式平台,构建了一套传感器数据高效压缩测量系统,以平衡监测数据的高精度处理与终端设备的低功耗运行。系统采用“可编程逻辑端实时处理+处理系统端存储管理”的流程架构,在完成水利传感器信号的模数转换、多通道数据打包与缓存后,运用改进莱姆普-齐夫-韦尔奇算法(Lempel-Ziv-Welch,LZW)优化字典更新策略与哈希冲突处理机制,并集成校验及噪声过滤模块;同时基于现场可编程门阵列(Field-Programmable Gate Array,FPGA)搭建模块化硬件架构,通过多模块并行设计提升整体数据处理效率。实验结果表明,改进算法在10~50 MB水文数据中压缩率为43.8%~48.0%,数据恢复准确率达99.1%~99.5%;在流域降雨量监测30 min采样场景下压缩率达50.5%,单通道吞吐量最低为41.8 MB/s,改进的LZW算法在水文监测中表现出较高的压缩效率与良好的抗干扰能力,为水利机电系统传感器数据实时处理提供了可靠方案。 展开更多
关键词 水利监测感知系统 传感器 水利数据 压缩测量 莱姆普-齐夫-韦尔奇算法
暂未订购 下载PDF
A Survey of Bitmap Index Compression Algorithms for Big Data 认领 引用 被引量：6
15
作者 Zhen Chen Yuhao Wen +6 位作者 Junwei Cao Wenxun Zheng Jiahui Chang Yinjun Wu Ge Ma Mourad Hakmaoui Guodong Peng 《Tsinghua Science and Technology》 SCIE EI CAS CSCD 2015年第1期100-115,共16页
With the growing popularity of Internet applications and the widespread use of mobile Internet, Internet traffic has maintained rapid growth over the past two decades. Internet Traffic Archival Systems（ITAS） for pac... With the growing popularity of Internet applications and the widespread use of mobile Internet, Internet traffic has maintained rapid growth over the past two decades. Internet Traffic Archival Systems（ITAS） for packets or flow records have become more and more widely used in network monitoring, network troubleshooting, and user behavior and experience analysis. Among the three key technologies in ITAS, we focus on bitmap index compression algorithm and give a detailed survey in this paper. The current state-of-the-art bitmap index encoding schemes include： BBC, WAH, PLWAH, EWAH, PWAH, CONCISE, COMPAX, VLC, DF-WAH, and VAL-WAH. Based on differences in segmentation, chunking, merge compress, and Near Identical（NI） features, we provide a thorough categorization of the state-of-the-art bitmap index compression algorithms. We also propose some new bitmap index encoding algorithms, such as SECOMPAX, ICX, MASC, and PLWAH＋, and present the state diagrams for their encoding algorithms. We then evaluate their CPU and GPU implementations with a real Internet trace from CAIDA. Finally, we summarize and discuss the future direction of bitmap index compression algorithms. Beyond the application in network security and network forensic, bitmap index compression with faster bitwise-logical operations and reduced search space is widely used in analysis in genome data, geographical information system, graph databases, image retrieval, Internet of things, etc. It is expected that bitmap index compression will thrive and be prosperous again in Big Data era since 1980s. 展开更多
关键词 Internet traffic big data traffic archival network security bitmap index bitmap compression algorithm
暂未订购 下载PDF
基于时间比率-航速-航向的船舶轨迹压缩方法 认领 引用
16
作者 刘畅 曹鲁芳 +2 位作者 杨雨露 林彬 张仕泽 《交通运输工程学报》 EI CSCD 北大核心 2025年第1期172-183,共12页
考虑船舶航迹中包含的时间、位置、航速与航向等信息,提出一种全面考虑时空运动特性的船舶轨迹压缩方法;针对船舶自动识别系统(AIS)数据中的对地航速和对地航向分别提出航速及航向压缩算法以提取轨迹运动数据;为保留时间信息和空间数据... 考虑船舶航迹中包含的时间、位置、航速与航向等信息,提出一种全面考虑时空运动特性的船舶轨迹压缩方法;针对船舶自动识别系统(AIS)数据中的对地航速和对地航向分别提出航速及航向压缩算法以提取轨迹运动数据;为保留时间信息和空间数据,引入时间比率算法;通过综合这3种算法,提出时间比率-航速-航向(TSH)压缩算法,并根据压缩率和长度损失率实现了TSH算法参数的自适应确定;为验证方法的有效性,以威海、老铁山和长江水域的AIS数据作为研究对象,与道格拉斯-普克(DP)算法、改进DP算法进行对比。试验结果表明:TSH算法能够更精细地提取船舶轨迹的特征点,从而保留时空和运动行为,其中,单条轨迹压缩结果显示,经TSH算法压缩后的轨迹与原始轨迹之间的豪斯多夫距离比DP算法和改进DP算法分别降低1.6和1.1倍,多属性对称分割路径距离(MSSPD)较改进DP算法降低1.9倍,更好地保留了船舶轨迹的原始特征;整体轨迹压缩结果显示,对于威海、老铁山和长江水域,TSH算法在豪斯多夫距离上较DP算法分别降低2.1、2.2和1.7倍,较改进DP算法分别降低1.4、1.5和1.1倍,在MSSPD指标上分别低于改进DP算法1.3、1.1和1.2倍,进一步证明TSH压缩算法对船舶航行行为保留的有效性。经验证,所提出的TSH算法在较高压缩率下展现出更好的轨迹重构能力。 展开更多
关键词 船舶自动识别系统 船舶轨迹数据 AIS数据 船舶轨迹压缩 TSH算法 TS算法
暂未订购 下载PDF
基于压缩感知的快速Bregman地震数据重建方法 认领 引用 被引量：2
17
作者 孙小东 李傲伟 +4 位作者 秦宁 蒋润 王敬伊 赵亮 孙耀庭 《中国石油大学学报（自然科学版）》 EI CAS CSCD 北大核心 2025年第4期62-68,共7页
受地面环境、设备及成本等因素的影响,野外采集的地震数据往往存在缺失道,快速有效地重建缺失地震数据十分重要。针对缺失道的地震数据,根据压缩感知理论,提出一种快速Bregman方法的地震数据重建方法,并采用多尺度、多方向曲波变换作为... 受地面环境、设备及成本等因素的影响,野外采集的地震数据往往存在缺失道,快速有效地重建缺失地震数据十分重要。针对缺失道的地震数据,根据压缩感知理论,提出一种快速Bregman方法的地震数据重建方法,并采用多尺度、多方向曲波变换作为稀疏基。通过Bregman方法将求解L1范数问题分解为一系列子问题,引入快速迭代收缩阈值方法(FISTA)高效、准确地求解子问题,从而实现对缺失数据的高质量重构。结果表明,基于压缩感知的快速Bregman方法可以对构造复杂的地震数据进行高效的重建,并且提高迭代计算的重建精度。对于缺失地震数据的重建,所提方法在效率和精度方面均高于LBM和FISTA方法。 展开更多
关键词 地震数据重建 压缩感知 快速Bregman方法 快速迭代收缩阈值 曲波变换
暂未订购 下载PDF
面向新型储能电站的海量数据关联存储技术 认领 引用
18
作者 霍雪松 潘书磊 +3 位作者 杜云龙 戴强晟 管国兵 张扬 《电子设计工程》 2025年第21期124-128,共5页
海量的新型储能电站数据中存在大量冗余数据,影响数据存储完整性。为给电站提供更全面的数据支持,提出了面向新型储能电站的海量数据关联存储技术。基于Apriori算法的关联规则,对新型储能电站的海量数据进行清洗以剔除冗余数据。采用自... 海量的新型储能电站数据中存在大量冗余数据,影响数据存储完整性。为给电站提供更全面的数据支持,提出了面向新型储能电站的海量数据关联存储技术。基于Apriori算法的关联规则,对新型储能电站的海量数据进行清洗以剔除冗余数据。采用自适应变频数据存储策略,结合编码压缩算法,确定海量数据关联压缩存储参数,实现新型储能电站的海量数据关联存储。实验结果表明,该技术能够有效剔除冗余数据,且能够完整存储全部数据,为电站运行优化提供有力决策支持。 展开更多
关键词 新型储能电站 冗余数据 自适应变频 编码压缩算法 关联存储
暂未订购 下载PDF
多通道高速通信数据改进LZW压缩算法仿真 认领 引用 被引量：1
19
作者 严承启 李锦明 《计算机仿真》 2025年第3期289-293,共5页
多通道高速通信传输的数据量大,需要快速、高效地对其处理和压缩。但大多数压缩技术在数据压缩过程中编码程序设计不合理,导致数据压缩结果不理想。因此,设计一种多通道高速通信数据改进串表(Lemple-Ziv-Welch,LZW)压缩算法。采用动态... 多通道高速通信传输的数据量大,需要快速、高效地对其处理和压缩。但大多数压缩技术在数据压缩过程中编码程序设计不合理,导致数据压缩结果不理想。因此,设计一种多通道高速通信数据改进串表(Lemple-Ziv-Welch,LZW)压缩算法。采用动态编码方式更换传统特定位宽编码方式,根据数据情况合理调整各码字长度;使用有限状态熵编码优化字符匹配方案,通过码流状态找出变长码字与字典的索引,提升字符匹配效率,解决短序列编码存在压缩性能低问题;采用哈希函数、平均搜索长度改进字典搜索方式,即按照关键字得出各节点存储位置,提升字符串的搜索速度。实验结果表明,改进方法的数据压缩比保持在0.2以内,且压缩精度高,能降低压缩流程的复杂度,可推广使用。 展开更多
关键词 通信数据 改进压缩算法 冗余数据 动态编码 码字长度 字符
暂未订购 下载PDF
考虑模型轻量化技术的数据处理方法 认领 引用 被引量：1
20
作者 谭昆 苗文成 +1 位作者 田琨 丁胜夺 《微型电脑应用》 2025年第8期304-308,共5页
针对我国石油应用监控图像数据过大,导致石油应用监控系统主机运行压力过大的问题,设计一个基于轻量化技术的数据处理系统。利用卷积神经网络(CNN)算法对收集的石油应用监控图像数据进行轻量化操作,实现对石油应用监控图像所有数据压缩... 针对我国石油应用监控图像数据过大,导致石油应用监控系统主机运行压力过大的问题,设计一个基于轻量化技术的数据处理系统。利用卷积神经网络(CNN)算法对收集的石油应用监控图像数据进行轻量化操作,实现对石油应用监控图像所有数据压缩的目的。所提系统使用长短期记忆(LSTM)算法对CNN算法进行改进,使CNN算法的前向传播和反向传播获取的特征数据结合,进一步实现CNN将自身提取的图像特征和新提取的图像特征结合,加强图像特征提取的精准度,保证关键特征数据的提取。通过试验,所提系统技术核算的数据的误差率在可接受范围内,为其他技术研究奠定基础。 展开更多
关键词 轻量化技术 数据压缩 卷积神经网络算法 长短期记忆算法
暂未订购 下载PDF
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 17 下一页 到第 页
在线咨询 使用帮助 返回顶部 意见反馈