目录
一、前言二、正文三、总结
一、前言
实现环境Python 3.7.0、pycharm，用到的库有request，lxml，pandas，multiprocessing。网址：https://www.basketball-reference.com/要抓取的数据为现役NBA球员详情页Per Game数据。 （图片为库里的详情页Per Game数据https://www.basketball-reference.com/players/c/curryst01.html）
二、正文
我们先从首页Every NBA Team栏中解析出每个NBA球队的详情页地址。每个球队详情页地址的后缀在tr标枪下的th标签下的a标签的href属性值中。
代码实现
import requests
from lxml import etree
import pandas as pd
from multiprocessing.dummy import Pool
# 定义的请求发起并实例etree对象函数
def get_response(url: str, header=None):
"""
一个发起网址请求并将请求到的数据作为参数用于加载etree实例的函数
:param url: 即将被请求的网址传入一个字符串对象
:param header: 请求头参数
:return: 返回网页源码的文档数据
"""
response = requests.get(url, header)
html_text = response.text
etree_instance = etree.HTML(html_text)
return etree_instance
# 定义的数据解析函数
def get_parse_data(etree_instance, parse: str):
"""
这是一个用于xpath解析数据的函数
:param etree_instance: 已加载的网页的etree实例对象
:param parse: 用于解析网页的xpath解析式
:return: 返回解析后的网页列表数据
"""
parsed_data = etree_instance.xpath(parse)
return parsed_data
def main():
"""
这是一个用于主代码执行的函数
:return: None
"""
# 形成球队详情页网址列表
team_url_list = []
first_url_etree = get_response(first_url, header=HEADER)
team_urls_data = get_parse_data(first_url_etree, '//div[@class="data_grid section_wrapper"]/div//tbody//th/a/@href')
for team_url_last in team_urls_data:
team_url_list.append(first_url + team_url_last)
球队详情页中Roster栏中包含了现役NBA球员的的详情页地址，我们再通过解析该详情页中的球员详情页后缀获得球员详情页地址。球员详情页地址后缀。每位球员详情页地址后缀再各自的tr标签下的td标签下的a标签href属性值中。
代码实现
# 为球队详情页的请求发起开启线程池提升发起请求的性能
pool_team = Pool(10) # 实例化线程池，在池中开启10个线程
team_etree_list = pool_team.map(get_response, team_url_list) # 运行阻塞操作
# 形成运动员的详情网址页列表
player_url_list = []
for team_etree in team_etree_list:
player_urls_data = get_parse_data(team_etree,
'//div[@id="div_roster"]//tbody/tr/td[@data-stat="player"]/a/@href')
for player_url_last in player_urls_data:
player_url_list.append(first_url + player_url_last)
在球员详情页我们便可以看到球员的Per Game数据。球员的Per Game数据中的 每条数据则在tr标签下的次级或多级子标签文本数据中。
代码实现
# 为球员详情页的请求发起开启线程池提升发起请求的性能
pool_player = Pool(50)
player_etree_list = pool_player.map(get_response, player_url_list)
# 数据解析并整理装入list
row_list = []
for player_etree in player_etree_list:
tag_tr = get_parse_data(player_etree, '//div[@id="div_per_game"]//tbody/tr')
if len(tag_tr) > 0:
for i in range(1, len(tag_tr) + 1):
row_data = get_parse_data(player_etree, f'//div[@id="div_per_game"]//tbody/tr[{i}]//text()')
player_name = get_parse_data(player_etree, '//div[@id="meta"]/div/h1/span/text()')
row_data.insert(0, player_name[0])#对每条数据加上对应球员的名字
row_list.append(row_data)
我们将数据导入到csv文件中。并执行主程序。
# 将数据进行存储
pd.DataFrame(row_list).to_csv(r'C:\Users\86182\Desktop\nba.csv')
if __name__ == '__main__':
HEADER = {
'cookie': 'video_page_version=v_old_home; rpdid=|(YuRJkYmu)0JuYJ)JJlklJ; '
'fingerprint3=d48f30097e931acd003bd16b1e0da0b6; fingerprint_s=48c05993c7e96e45d53a5bb81febcfd4; '
'CURRENT_QUALITY=80; buvid3=E80947FB-68AE-24C7-0A76-01FC339BA3FF84388infoc; i-wanna-go-back=-1; '
'CURRENT_BLACKGAP=0; blackside_state=0; nostalgia_conf=-1; '
'fingerprint=1e01e23f37b6a29dc2e0d82e79925773; buvid_fp=E80947FB-68AE-24C7-0A76-01FC339BA3FF84388infoc; '
'buvid_fp_plain=undefined; DedeUserID=471523242; DedeUserID__ckMd5=aa662a7ff8076815; b_ut=5; '
'SESSDATA=0f04d292%2C1677359559%2C872f2%2A81; bili_jct=33bd9f2aa7a33396f503dda05cf13c40; sid=7415no1o; '
'CURRENT_FNVAL=80; bp_video_offset_471523242=699855600924754000; innersign=0',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.54',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.54',
}
first_url = 'https://www.basketball-reference.com'
main()
三、总结
我们将需求于所获得的结果进行对比。我们发现数据导入csv文件后自动将2009-10赛季、2010-11赛季、2011-12赛季翻译成了英语日期。但是我们用pandas对csv文件进行读取的时候他又会重新翻译回来，影响还是相对较小的，不知道大家是否能对此给出什么较好的建议。文章到此就结束了，多谢大家的观看！！！