期刊文献+
共找到110篇文章
< 1 2 6 >
每页显示 20 50 100
中国老年营养健康食品市场特征分析:基于Python爬虫的电商平台数据研究 认领 引用
1
作者 张淇 龚杰 +2 位作者 刘撷玉 石磊 胡雯 《中国食物与营养》 2026年第6期97-106,共10页
目的:系统剖析中国老年营养健康食品市场的产品属性、价格格局、品牌竞争及用户偏好,明确供需适配现状,为产业升级与监管优化提供科学依据。方法:以京东电商平台为数据源,采用Python爬虫采集2025年6月前(不含6月)10768款食品数据,筛选出... 目的:系统剖析中国老年营养健康食品市场的产品属性、价格格局、品牌竞争及用户偏好,明确供需适配现状,为产业升级与监管优化提供科学依据。方法:以京东电商平台为数据源,采用Python爬虫采集2025年6月前(不含6月)10768款食品数据,筛选出5830款目标产品,结合描述性统计、皮尔逊相关性分析及Snow自然语言处理库情感分析展开研究。结果:产品以固态为主,营养强化食品占比最高,慢性病专用产品仅9.21%;原料以谷物、植物蛋白、乳制品为主,食药物质、益生菌、膳食纤维等因技术瓶颈应用受限;价格呈右偏态分布,与原料及功能成分质量呈正相关;品牌CR10仅24.90%,呈“头部引领、长尾分散”特征;用户喜好度与益生菌添加量(r=0.73,P<0.001)、“宣称-成分”匹配度(r=0.68,P<0.001)强正相关,与价格弱相关(r=0.23,P<0.05);用户整体情感偏正面,核心关注“效果”与“成分”。结论:市场存在产品结构与老年健康需求适配不足、功能成分应用受限、功能宣称不规范等问题;用户偏好受功能成分有效性与宣称可信度驱动,需通过技术创新、标准完善及监管强化推动市场高质量发展。 展开更多
关键词 老年营养健康食品 市场特征 Python爬虫 电商数据 用户偏好 情感分析
暂未订购 下载PDF
基于Python网络爬虫的学校Web站群不良信息外链检测方法研究 认领 引用 被引量:1
2
作者 曹清清 刘艳 +1 位作者 马萌 刘芳 《科技资讯》 2021年第13期41-43,共3页
网络科技的发展,使得网络已经深入到生活的方方面面,它在给人们带来便利的同时,也带来了很多隐患。为了营造清澈良好的学校网络环境,避免学生在浏览学校网站时访问不良外链,接触到黄毒、暴力等影响学生身心健康的不良信息,该研究通过Pyt... 网络科技的发展,使得网络已经深入到生活的方方面面,它在给人们带来便利的同时,也带来了很多隐患。为了营造清澈良好的学校网络环境,避免学生在浏览学校网站时访问不良外链,接触到黄毒、暴力等影响学生身心健康的不良信息,该研究通过Python语言的网络爬虫技术和关键词提取技术,对学校Web站群中的外链进行检测,从中找出不良外链并及时清理。 展开更多
关键词 不良信息外链 Python 网络爬虫 关键词提取
暂未订购 下载PDF
基于Python的Web信息获取方法研究 认领 引用 被引量:25
3
作者 魏冬梅 何忠秀 唐建梅 《软件导刊》 2018年第1期41-43,共3页
随着大数据和云计算等新一代互联网技术的迅速发展,Web信息量逐日海量递增。从海量数据中提取有效信息,挖掘有潜在价值的关系成为当前的研究热点,这对揭示已知规律、预测未知结果有极大的辅助作用。对当前Web信息获取方法、原理和关键... 随着大数据和云计算等新一代互联网技术的迅速发展,Web信息量逐日海量递增。从海量数据中提取有效信息,挖掘有潜在价值的关系成为当前的研究热点,这对揭示已知规律、预测未知结果有极大的辅助作用。对当前Web信息获取方法、原理和关键技术进行研究分析,重点阐述了数据采集相关技术中网络爬虫算法的分类与应用。提出一种以Python和相关库为主要工具,结合模块化方法,构建Web文本信息获取系统框架与流程的策略。案例中通过定义采集函数,实现对给定的维基百科词条,快速搜索与该词条相关信息,对词条内链接和外链接进行有效爬取。结果表明,Python在数据采集方面具有较高的有效性和可扩展性。 展开更多
关键词 Python 信息获取 网络爬虫 正则表达式
暂未订购 下载PDF
基于Python的图书信息爬取与可视化应用研究 认领 引用 被引量:1
4
作者 梁玉清 《无线互联科技》 2025年第11期46-50,共5页
随着信息技术的发展,图书信息的快速获取与分析成为图书管理与推荐系统的重要需求。为实现高效、低成本的数据收集与整理,文章以国内知名图书平台为实证对象,设计并实现了一种基于Python的图书信息爬取与可视化方法。通过编写爬虫脚本,... 随着信息技术的发展,图书信息的快速获取与分析成为图书管理与推荐系统的重要需求。为实现高效、低成本的数据收集与整理,文章以国内知名图书平台为实证对象,设计并实现了一种基于Python的图书信息爬取与可视化方法。通过编写爬虫脚本,自动获取并存储大量图书信息至本地Excel表格,利用可视化技术从微观和宏观2个角度分析数据:微观层面揭示单一变量的分布规律,宏观层面提取整体统计特征。研究结果表明,该方法能够为特定类型或具体图书信息的定量分析和整理提供支持,具有较高的实用性与可行性。因此,基于Python技术的图书信息爬取与可视化方法是一种有效的数据获取与分析手段,为图书资源管理与决策提供了科学依据。 展开更多
关键词 Python 爬虫 图书信息 可视化研究
暂未订购 下载PDF
Python网络爬虫技术在信息安全监测中的应用与防范策略 认领 引用 被引量:5
5
作者 胡红玲 《信息与电脑》 2025年第12期152-154,共3页
为探讨Python网络爬虫技术在信息安全监测时的应用与防范手段,文章采取技术特点分析和典型应用场景分析相配合的途径,探讨了其在网络舆情把控、威胁情报汇聚和异常行为监测中的实际效能,剖析滥用造成的安全漏洞及防范办法。Python网络... 为探讨Python网络爬虫技术在信息安全监测时的应用与防范手段,文章采取技术特点分析和典型应用场景分析相配合的途径,探讨了其在网络舆情把控、威胁情报汇聚和异常行为监测中的实际效能,剖析滥用造成的安全漏洞及防范办法。Python网络爬虫借助技术优势,提升了信息安全监测效率,但需利用反爬虫机制、数据加密与法律规范等多维度策略,有效避开潜在风险。 展开更多
关键词 Python网络爬虫 信息安全 安全监测 防范策略
暂未订购 下载PDF
Python环境下的JavaScript逆向技术分析 认领 引用
6
作者 魏霞 《微型电脑应用》 2025年第9期267-269,277,共3页
在数据下载和网络爬虫领域,经常会遇到各种问题,如难以理解网页代码、无法破解数据加密方式等。为了解决这些问题,运用JavaScript逆向技术,结合某售房网站的实例,使用排错法和断点调试技术对数据加密问题进行深入分析,得到可用数据。结... 在数据下载和网络爬虫领域,经常会遇到各种问题,如难以理解网页代码、无法破解数据加密方式等。为了解决这些问题,运用JavaScript逆向技术,结合某售房网站的实例,使用排错法和断点调试技术对数据加密问题进行深入分析,得到可用数据。结果表明,运用JavaScript逆向技术后爬虫效果(获取数据)得到明显提升,模拟参数解密方式也取得了成功。 展开更多
关键词 网络爬虫 JavaScript逆向技术 Python 数据加密
暂未订购 下载PDF
基于DrissionPage的文献数据抓取与分析——以CALIS与全国报刊索引数据库为例 认领 引用
7
作者 潘京华 《计算机应用文摘》 2026年第7期110-113,共4页
网络爬虫能够高效实现大规模数据采集,将其应用于文献数据的收集与整理具有重要价值。基于Python语言,使用DrissionPage框架编写爬虫程序,从CALIS和全国报刊索引数据库两个信息源抓取文献数据,并结合词频统计和主题分类方法,对采集的数... 网络爬虫能够高效实现大规模数据采集,将其应用于文献数据的收集与整理具有重要价值。基于Python语言,使用DrissionPage框架编写爬虫程序,从CALIS和全国报刊索引数据库两个信息源抓取文献数据,并结合词频统计和主题分类方法,对采集的数据进行可视化分析,为“互联网+”背景下高校文献资源建设提供新的思路。 展开更多
关键词 Python 网络爬虫 DrissionPage 特藏建设 内容分析
暂未订购 下载PDF
Python网络爬虫在医学影像领域的发展现状与趋势研究 认领 引用 被引量:6
8
作者 白金川 王豪 +3 位作者 焦宝园 娄元仓 陈秋冰 李中伟 《生物医学工程学进展》 CAS 2023年第3期260-266,共7页
爬虫是一类收集信息的自动化程序,当前越来越多的领域都在使用爬虫收集目标信息。由于Python具有可快速迭代的特性,在主要内容为图像处理与人工智能的医学影像中得到了广泛的应用。为了在保证程序运行效率的同时,减轻训练模型所需数据... 爬虫是一类收集信息的自动化程序,当前越来越多的领域都在使用爬虫收集目标信息。由于Python具有可快速迭代的特性,在主要内容为图像处理与人工智能的医学影像中得到了广泛的应用。为了在保证程序运行效率的同时,减轻训练模型所需数据为计算机存储带来的压力,采用了能够大幅提高程序运行效率的异步式程序,并使用暂态文件保存数据。结果表明,异步式程序、暂态存储程序的运行效率分别是单线程的4.722倍、1.433倍,在医学影像模型训练中使用爬虫可以降低对计算机存储性能的要求。 展开更多
关键词 Python 网络爬虫 医学影像 人工智能 发展趋势
暂未订购 下载PDF
基于Python语言美国国家科学基金会护理-信息-工程学相关立项情况分析 认领 引用 被引量:7
9
作者 苑秋辰 杨浩杰 +2 位作者 麻盛淼 沈晨 梁涛 《军事护理》 CSCD 北大核心 2023年第6期112-116,共5页
目的 分析美国国家科学基金会中护理-信息-工程学相关科研项目资助情况,为促进我国护理-信息-工程学科发展提供参考。方法 使用Python语言的网络爬虫和隐含狄利克雷分布(latent Dirichlet allocation, LDA)模型对美国国家科学基金会中护... 目的 分析美国国家科学基金会中护理-信息-工程学相关科研项目资助情况,为促进我国护理-信息-工程学科发展提供参考。方法 使用Python语言的网络爬虫和隐含狄利克雷分布(latent Dirichlet allocation, LDA)模型对美国国家科学基金会中护理-信息-工程学相关的项目数据进行采集、预处理和分析。结果 本研究共纳入265个相关科研项目,时间跨度为1988年至2023年,立项数量和资助金额整体呈上升趋势。纳入项目共包含2153个词,基于LDA模型分为6个主题,分别为智能技术在患者安全管理中的研究、面向患者的护理大数据系统的研发、护士健康及辅助决策工具的研发、虚拟现实技术在护理教育中的应用、传感器和无线辅助设备的研发和机器人在医院工作流程中的应用。结论 大数据和信息化时代让信息学和工程学融入到护理学科的建设当中,研究者可结合国情继续深入探索我国护理-信息-工程学的发展前景。 展开更多
关键词 护理学 信息学 工程学 美国国家科学基金会 Python 机器学习 网络爬虫
暂未订购 下载PDF
基于Python爬虫技术的商品信息采集与分析 认领 引用 被引量:15
10
作者 孟宪颖 毛应爽 《软件》 2021年第11期128-130,共3页
大数据背景下,怎样快速有效地获取所需的数据信息成为互联网企业和网络用户热切关注的内容。网络爬虫在网络数据采集与分析上发挥了重要的作用。本文以京东作为目标网站,采用Python的爬虫技术,设计了一种商品采集与分析的方法。使用Requ... 大数据背景下,怎样快速有效地获取所需的数据信息成为互联网企业和网络用户热切关注的内容。网络爬虫在网络数据采集与分析上发挥了重要的作用。本文以京东作为目标网站,采用Python的爬虫技术,设计了一种商品采集与分析的方法。使用Requests库对按关键字搜索的结果商品信息进行下载,使用正则表达式和Beautiful Soup对数据进行初步清洗,最后将数据存储到MongoDB数据库中,实现了预想的目标。 展开更多
关键词 电商平台 Python 网络爬虫 数据采集
暂未订购 下载PDF
一种基于Python和BP神经网络的股票预测方法 认领 引用 被引量:6
11
作者 曾武序 钱文彬 +2 位作者 王映龙 杨文姬 柳军 《计算机时代》 2018年第6期72-75,80,共4页
股票预测可以辅助投资者进行正确的金融投资,本文使用Python语言开发网页爬虫爬取真实的股票数据,首先通过requests库获取网页数据,使用Beautiful Soup库解析静态html页面,并通过查找标签获取股票数据,然后对数据进行解析,用xlwt库将数... 股票预测可以辅助投资者进行正确的金融投资,本文使用Python语言开发网页爬虫爬取真实的股票数据,首先通过requests库获取网页数据,使用Beautiful Soup库解析静态html页面,并通过查找标签获取股票数据,然后对数据进行解析,用xlwt库将数据存入excel文件,并对数据归一化处理,最后,在三层BP神经网络中根据批量梯度下降法调整隐含层结点个数,以获取相对更优的连接权值和阈值,从而对股票的涨跌做出预测,为投资者的投资行为提供参考。 展开更多
关键词 Python 网络爬虫 BP神经网络 股票预测
暂未订购 下载PDF
基于Python网上招聘信息的爬取和分析 认领 引用 被引量:13
12
作者 殷丽凤 张浩然 《电子设计工程》 2019年第20期22-26,共5页
针对Python语言的大数据爬取和分析,采用以纯python语言编写爬虫脚本的方式,通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析,得出python爬虫编写中各类问题的解决方法,最后对规范数据做了进一步分析,... 针对Python语言的大数据爬取和分析,采用以纯python语言编写爬虫脚本的方式,通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析,得出python爬虫编写中各类问题的解决方法,最后对规范数据做了进一步分析,分析结果为应聘人才做决策提供了有价值的信息。 展开更多
关键词 Python语言 网络爬虫 数据预处理 规范数据 数据分析
暂未订购 下载PDF
基于Python的分布式多主题网络爬虫的研究与设计 认领 引用 被引量:4
13
作者 张胜敏 王爱菊 《开封大学学报》 2021年第1期93-96,共4页
针对传统网络爬虫抓取速度较慢的问题,提出了基于Python的分布式多主题网络爬虫的研究与设计。首先,通过Python集群与Storm集群的组建,搭建了网络爬虫的分布式物理架构,通过指标计算部分和处理部分,搭建了网络爬虫的分布式逻辑架构,两... 针对传统网络爬虫抓取速度较慢的问题,提出了基于Python的分布式多主题网络爬虫的研究与设计。首先,通过Python集群与Storm集群的组建,搭建了网络爬虫的分布式物理架构,通过指标计算部分和处理部分,搭建了网络爬虫的分布式逻辑架构,两种架构共同组成了分布式多主题网络爬虫的总体架构;其次,通过API接口抓取数据、GUI接口下载数据、编写爬虫程序下载数据的设计,完成了网络爬虫的抓取途径设计。实验证明,这样设计出的网络爬虫拥有较高的抓取速度。 展开更多
关键词 Python 分布式 网络爬虫 Storm集群
暂未订购 下载PDF
基于Python的关于Flickr图片网站的爬虫 认领 引用 被引量:4
14
作者 王金峰 李世良 +2 位作者 王明 罗星宇 张雪玉 《中小企业管理与科技》 2019年第2期182-183,共2页
如今的互联网已然进入大数据时代,网络上有数以百计的图片,图片网络爬虫可以通过既定的规则自动地抓取互联网上的图片并下载至本地存储,通过对国内外各大图片网站的调查研究,决定以国外网站Flickr为对象通过Python程序设计语言来实现获... 如今的互联网已然进入大数据时代,网络上有数以百计的图片,图片网络爬虫可以通过既定的规则自动地抓取互联网上的图片并下载至本地存储,通过对国内外各大图片网站的调查研究,决定以国外网站Flickr为对象通过Python程序设计语言来实现获取高质量的,准确的,完整的图片和信息。最终成功实现了对Flickr网站上的图片按照检索的字段,批量爬取图片信息并下载图片的程序。 展开更多
关键词 Python 网络爬虫 Flickr 多线程 图片
暂未订购 下载PDF
基于python的电影评分网页数据爬取 认领 引用 被引量:2
15
作者 王恒 唐孝国 郭俊亮 《黑龙江科学》 2022年第14期48-50,54,共3页
基于python编程语言,运用其附带的各种库完成数据爬取和分析及数据可视化任务,通过构造网页爬取函数askUrl()、数据获取函数getDate()、数据保存函数saveData(),将其嵌套在主函数main()中,共同完成数据的爬取和分析,将得到的数据汇总到E... 基于python编程语言,运用其附带的各种库完成数据爬取和分析及数据可视化任务,通过构造网页爬取函数askUrl()、数据获取函数getDate()、数据保存函数saveData(),将其嵌套在主函数main()中,共同完成数据的爬取和分析,将得到的数据汇总到Excel表格中。结果表明,美国产出的电影占比很大,剧情类电影受到的关注度很高。基于此,给出了有利于国产电影行业发展的建议。 展开更多
关键词 python编程语言 网络爬虫 数据可视化 豆瓣影评Top250
暂未订购 下载PDF
基于Python的豆瓣网站数据爬取与分析 认领 引用 被引量:6
16
作者 简悦 汪心瀛 杨明昕 《电脑知识与技术》 2020年第32期51-53,共3页
大数据时代,随着社交网络的发展,社会媒体数据量呈现指数级增长。通过基于Python的网络爬虫程序爬取豆瓣网站的有关数据,使用非关系型数据库MongoDB存储数据,并利用Matplotlib和PyEcharts对爬取结果进行了可视化分析。对豆瓣电影和图书T... 大数据时代,随着社交网络的发展,社会媒体数据量呈现指数级增长。通过基于Python的网络爬虫程序爬取豆瓣网站的有关数据,使用非关系型数据库MongoDB存储数据,并利用Matplotlib和PyEcharts对爬取结果进行了可视化分析。对豆瓣电影和图书Top250排行榜的数据进行可视化分析,可以了解作品排名、评分、年份、地区和导演及作家的分布情况,从而分析得出数据之间的相关性和文化产业的发展趋势。 展开更多
关键词 Python 网络爬虫 数据采集 数据分析 可视化
暂未订购 下载PDF
基于Python的新浪微博爬虫程序设计与实现 认领 引用 被引量:10
17
作者 孙握瑜 《科技资讯》 2022年第12期34-37,共4页
在互联网时代,各类新媒体平台出现使得信息数据得到广泛传播。为加强对新浪微博内容的监管和分析,应对舆情分析的需求,该文主要研究采用Python语言设计新浪微博爬虫程序,在对网络爬虫基本概念和原理研究的基础上,设计了具有配置、爬取... 在互联网时代,各类新媒体平台出现使得信息数据得到广泛传播。为加强对新浪微博内容的监管和分析,应对舆情分析的需求,该文主要研究采用Python语言设计新浪微博爬虫程序,在对网络爬虫基本概念和原理研究的基础上,设计了具有配置、爬取、存储、分析这4个功能模块的应用程序,为媒体内容监管和数据分析提供了技术支持。 展开更多
关键词 Python 新浪微博 网络爬虫 舆情分析
暂未订购 下载PDF
基于Python爬虫技术的网页解析与数据获取研究 认领 引用 被引量:16
18
作者 温娅娜 袁梓梁 +1 位作者 何咏宸 黄猛 《现代信息科技》 2020年第1期12-13,16,共2页
网络的发展,大数据、人工智能的崛起使数据变得尤为重要,各行各业的发展都需要数据的支持,任何一种深度学习以及算法中都需要大量的数据作为模型来训练才能得出较为准确的结论。文中讨论了网络爬虫实现过程中的主要问题:了解网页基本结... 网络的发展,大数据、人工智能的崛起使数据变得尤为重要,各行各业的发展都需要数据的支持,任何一种深度学习以及算法中都需要大量的数据作为模型来训练才能得出较为准确的结论。文中讨论了网络爬虫实现过程中的主要问题:了解网页基本结构、使用直观的网页分析工具对网页进行抓包分析、如何使用正则表达式获取准确的字符串信息、利用Python实现简单的页面数据获取。 展开更多
关键词 网络爬虫 Python 正则表达式 抓包分析
暂未订购 下载PDF
基于Python的招聘数据爬虫设计与实现 认领 引用 被引量:15
19
作者 常逢佳 李宗花 +1 位作者 文静 常逢锦 《软件导刊》 2019年第12期130-133,共4页
随着就业压力日渐增加,准确全面地获取数据可以帮助高校学生规避就业风险、正确认识自身价值,具有相当重要的研究价值。基于Python的网络动态招聘数据抓取方案利用requests库抓取Ajax异步请求多页数据源,抓取的内容更为全面;对抓取到的... 随着就业压力日渐增加,准确全面地获取数据可以帮助高校学生规避就业风险、正确认识自身价值,具有相当重要的研究价值。基于Python的网络动态招聘数据抓取方案利用requests库抓取Ajax异步请求多页数据源,抓取的内容更为全面;对抓取到的招聘数据进行统计分析,对多线程效率进行对比分析,显示爬虫具有良好的适应性。该方案抓取的网络资讯在科研、求职等方面具有一定实用价值。 展开更多
关键词 网络爬虫 招聘 Python 数据分析
暂未订购 下载PDF
基于python网络爬虫的浏览器伪装技术探讨 认领 引用 被引量:7
20
作者 余本国 《太原学院学报(自然科学版)》 2020年第1期47-50,共4页
随着大数据时代的来临,人们对研究资源的需求越来越多,而爬虫技术是一种很好的自动获取网络海量数据的重要手段。通过对网络爬虫访问网页内容反触机制的分析和研究,提出了应用python技术对浏览器发送Headers请求信息的伪装,并将爬取的... 随着大数据时代的来临,人们对研究资源的需求越来越多,而爬虫技术是一种很好的自动获取网络海量数据的重要手段。通过对网络爬虫访问网页内容反触机制的分析和研究,提出了应用python技术对浏览器发送Headers请求信息的伪装,并将爬取的网页内容保存到指定的位置。通过Fiddler测试验证发现,发出的用户请求的Headers信息与浏览器访问的Headers信息基本一致,达到了对网站内容爬取的目的。 展开更多
关键词 Python 网络爬虫技术 源代码
暂未订购 下载PDF
上一页 1 2 6 下一页 到第
在线咨询 使用帮助 返回顶部 意见反馈