千锋教育-做有情怀、有良心、有品质的职业教育机构

当前位置:首页  >  关于学院  >  技术干货  >  Python技术干货  >  正文

千锋Python培训班教你利用爬虫获取虎牙直播美女主播图片

来源:千锋教育
发布时间:2021-08-06 08:56:00
分享

      当你学会了Python爬虫技术之后看到什么都想去爬一下,今天小千就来教大家如何去获取虎牙直播中的美女主播照片,带好小本本记好重点!

      Python爬虫获取直播封面图

      首先我们需要知道整体的流程:

      1.获取请求链接,并判断响应结果的类型。2.使用requests发出请求,获取响应结果。3.解析响应结果。4.将响应的结果做持久化保存。

      按照上面的步骤,第一步我们打开虎牙直播的网站,找到想要获取数据的专区,然后按下F11开发者工具,选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片将页面拉到底部,进行翻页。发现地址栏没有变化。

      如果大家遇到这种情况,就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR,进行异步请求的筛选。

千锋Python培训爬虫教程1

千锋Python培训爬虫教程2

      点开上图中圈起来的链接,发现在response处是一个json返回结果

千锋Python培训爬虫教程3

      链接其他的没有发生变化,唯独在最后位置page发生了改变。分别跟页码数对应上了。于是我们就有了下面的代码:

千锋Python培训爬虫教程4

      现在我们就来到了步骤二,使用requests发出请求了。

千锋Python培训爬虫教程5

      我们发现成功获取了3条json结果,接下来就是分析和解析数据了。因为json内容很长,我们不便分析它们,所以我们使用json的格式化工具完成

千锋Python培训爬虫教程6

      通过分析我们发现所有的数据都在data-->datas中,而图片在screenshot对应的值上。所以我们开始解析,先将json字符串使用json.loads()进行转换,得到的是一个字典,然后层层的获取数据。

      我们虽然提取出来了图片的url,但是还没有保存到本地。所以接下来要做第四步持久化保存了。因为我们下载的仅仅是图片,所以直接使用request.urlretrieve实现就可以

      因此最后的完整代码是:

千锋Python培训爬虫教程7

      以上就是利用Python获取美女直播图片的教程了,其他直播网站的图片也可以同样方式操作,如果你对Python爬虫感兴趣的话不妨来千锋Python培训班了解一下我们的Python培训课程,包含全套Python爬虫教程,权威名师全程面授学不会继续学直到学会为止,现在咨询还有免费的学习资料可以领取,赶紧来了解一下吧。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

相关推荐

  • minionginx代理怎么操作 minionginx是一个基于Nginx的高性能代理服务器,它可以帮助用户实现反向代理、负载均衡、缓存加速等功能。下面我将详细介绍minionginx代理的操作步骤。1. 安装minionginx:
  • midjourney指令怎么操作 midjourney指令是一个用于控制机器人行进中途停止的指令。在操作midjourney指令之前,您需要确保已经连接到机器人并且具备相应的控制权限。下面是操作midjourney指令的步骤:1.
  • matlab绘制三维曲线怎么操作 要在MATLAB中绘制三维曲线,可以使用plot3函数。plot3函数可以在三维坐标系中绘制连续的曲线。下面是绘制三维曲线的基本操作步骤:1. 创建数据:需要定义曲线上的点的坐标。可以通过生成x、
  • linux端口号怎么操作 Linux端口号的操作可以通过多种方式实现,包括查看端口号、打开/关闭端口号以及修改端口号等。下面将详细介绍这些操作方法。1. 查看端口号: 在Linux系统中,可以使用以下命令来查看当前正在
  • linuxtmp怎么操作 Linux中的/tmp目录是一个临时目录,用于存储临时文件和临时数据。在Linux系统中,/tmp目录通常被设置为可读写和执行的权限,以便所有用户都可以在其中创建和访问临时文件。要操作/tmp目录,
  • kl散度怎么操作 KL散度(Kullback-Leibler divergence)是一种用于衡量两个概率分布之间差异的指标。它可以帮助我们理解两个概率分布之间的相似性或差异性,并在信息论、统计学和机器学习等领域中得到