#Python##NBA球星##NBA#
#百粉#
入手Python后却不知道怎么拿来用,本篇文章将带你用Python来快速批量获取数据。
处理目标:用Python获取NBA历史得分排名前500的历史球星及得分数据。
前期准备:电脑安装Python,Pycharm软件(其他类似可视化处理界面,方便编程)
目标网站:(一个非常全面的NBA数据记录网站)
准备完成后,下面就开始我们的数据获取工作:首先,第一步泡一壶茶,或者倒一杯咖啡(非必要步骤[狗头]),废话不说,言归正传,正式开始处理步骤。
首先,打开pycharm,新建项目,写好项目名称地址等基本信息。
本次数据获取过程中需要使用requests模块、网页文本解析模块etree、csv模块。所以在脚本文件中加入所需的模块。
依赖模块
pycharm构建的项目只提供了基础的模块内容,所以我们还需要在设置-设置-Python解析器中导入我们所需要的模块。
导入依赖模块
然后通过浏览器打开我们的目标网址:query.php?page=0&QueryType=all&AllType=season&AT=tot&crtcol=pts&order=1#label_show_result
目标网址
网址信息中我们主要用到的信息主要是page信息,用来标识目标网址的页数。设置好页数之后,右键点击检查查看目标网页的原始代码。找到姓名节点及分数节点。
姓名节点及得分节点信息
在完成以上准备后,在脚本文件中编辑reque请求,主要包括url及请求的hearder信息。在url中定义一个用来控制当前页码的变量currentPage,自动获取时用来控制数据获取数量。
url请求
请求后的本档解析使用e函数。
网页解析
再次回到解析的网页,分析发现用来控制表格数据的节点采用类来控制,例如:姓名所属的类为"normal player_name_out change_color col1 row*",得分所在的类为"current pts change_color col22 row *'",同时通过row的标号来标识排名编号,每页默认为20行(0-19)。
节点信息
所以再次回到脚本文件,设置解析的表达式对数据进行解析,通过currentRow变量来存储当前排名位置。
数据解析
最后,通过while加for循环的方式批量下载数据,并保存为csv文档。
while-for
完成之后就可以随意处理数据了。[狗头][狗头]
NBA得分排名前10
文/挽风行
1.文章《『查询球员数据的网站』FIFA看球员数据网站?》援引自互联网,为网友投稿收集整理,仅供学习和研究使用,内容仅代表作者本人观点,与本网站无关,侵删请点击页脚联系方式。
2.文章《『查询球员数据的网站』FIFA看球员数据网站?》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。
相关推荐
- . 现代买票为什么带上携程保险
- . 潮阳怎么去广州南站
- . 湖南马拉河怎么样
- . 烧纸为什么到三岔路口
- . 百色为什么这么热
- . 神州租车怎么样
- . 芜湖方特哪个适合儿童
- . 护肤品保养液是什么类目
- . 早晚的护肤保养有哪些项目
- . 女孩护肤品怎么保养的最好