Python爬虫（实战篇）：妹子图爬虫，上车吧！Python爬虫（4）：实战妹子图爬虫，上车吧！------------------------------------------------------------------------------------------已经放到github，用python3改写了，关了评论区遇到的lxml的报错，只要每次请求之间增加时延1-2秒即可。------------------------------------------------------------------------------------------本期课程实战爬取妹子图的图片并下载，知识点都是前三节的内容，就是requests请求网页内容xpath语法解析本文python下载文件到本地嘿嘿嘿～废话不多说，上车把！！网站在这里： 运行环境 python2.7
1. 获取首页图片列表打开网站看看，进入详情页的链接是放在li标签的a标签中，很好，这里结构比较简单，有前几节课程的基础的话应该很快能获取到图片链接列表，我们先把这一块链接抓下来# coding:utf-8
import requests
from lxml import html
# 获取主页列表
def getPage():
baseUrl = 'http://www.mzitu.com/'
selector = html.fromstring(requests.get(baseUrl).content)
for i in selector.xpath('//ul[@id="pins"]/li/a/@href'):
urls.append(i)
return urls
if __name__ == '__main__':
urls = getPage()
for url in urls:
运行结果，点进去一个链接应该就是每个主题的详情页比较基础就不多解释了，我们继续开车，哦不，继续学习2. 详情页处理详情页的处理，我们应该先思考需要提取出什么，首先是标题吧，我们可以拿标题当文件夹名字，嗯想法可以的，接着呢，接着肯定是图片主体是吧，就要找到图片的链接，才能下载，最后网站的分页规则也是写在URL中了，所以我们还要知道这个主题到底有多少页内容看看底下的分页栏里，在一堆的a标签里头，最后一页的页码是在“下一页”的前一项，“下一页”又是最后一项，那就把倒数第二项抓出来就好伐！# 图片链接列表，标题
# url是详情页链接
def getPiclink(url):
sel = html.fromstring(requests.get(url).content)
# 图片总数 倒数第二项里
total = sel.xpath('//div[@class="pagenavi"]/a[last()-1]/span/text()')[0]
title = sel.xpath('//h2[@class="main-title"]/text()')[0]
# 接下来的链接放到这个列表
jpgList = []
for i in range(int(total)):
link = '{}/{}'.format(url, i+1)
s = html.fromstring(requests.get(link).content)
# 图片地址在src标签中
jpg = s.xpath('//div[@class="main-image"]/p/a/img/@src')[0]
# 图片链接放进列表
jpgList.append(jpg)
return title, jpgList
这个函数返回标题和图片地址的列表，标题可以用来当文件夹名称，然后图片地址用作下载3. 图片下载好了，到了亦可赛艇的一步了，下载图片和上节里下载文字到本地txt文件实质一样，用requests请求图片地址，返回一个二进制内容（content），再写入到本地.jpg文件中import os
# 下载图片
# 因为上面函数返回的两个值，这里我们直接传入一个两个值tuple
def downloadPic((title, piclist)):
# 图片数量
count = len(piclist)
# 文件夹格式
dirName = u"【%sP】%s" % (str(count), title)
# 新建文件夹
os.mkdir(dirName)
for i in piclist:
# 文件写入的名称：当前路径／文件夹／文件名
filename = '%s/%s/%s.jpg' % (os.path.abspath('.'), dirName, k)
print u'开始下载图片:%s 第%s张' % (dirName, k)
with open(filename, "wb") as jpg:
jpg.write(requests.get(i).content)
time.sleep(0.5)
好了，运行以下好像成功了，好粗暴的名字啊哈哈哈哈4. 最后考虑到首页的分页（也是写在URL中），优化一下代码：# coding:utf-8
import requests
from lxml import html
import time
# 获取主页列表
def getPage(pageNum):
baseUrl = 'http://www.mzitu.com/page/{}'.format(pageNum)
selector = html.fromstring(requests.get(baseUrl).content)
for i in selector.xpath('//ul[@id="pins"]/li/a/@href'):
urls.append(i)
return urls
# 图片链接列表， 标题
# url是详情页链接
def getPiclink(url):
sel = html.fromstring(requests.get(url).content)
# 图片总数
sel.xpath('//div[@class="pagenavi"]/a[last()-1]/span/text()')[0]
title = sel.xpath('//h2[@class="main-title"]/text()')[0]
# 接下来的链接放到这个列表
jpgList = []
for i in range(int(total)):
link = '{}/{}'.format(url, i+1)
s = html.fromstring(requests.get(link).content)
# 图片地址在src标签中
jpg = s.xpath('//div[@class="main-image"]/p/a/img/@src')[0]
# 图片链接放进列表
jpgList.append(jpg)
return title, jpgList
# 下载图片
def downloadPic((title, piclist)):
# 图片数量
count = len(piclist)
# 文件夹格式
dirName = u"【%sP】%s" % (str(count), title)
# 新建文件夹
os.mkdir(dirName)
for i in piclist:
# 文件写入的名称：当前路径／文件夹／文件名
filename = '%s/%s/%s.jpg' % (os.path.abspath('.'), dirName, k)
print u'开始下载图片:%s 第%s张' % (dirName, k)
with open(filename, "wb") as jpg:
jpg.write(requests.get(i).content)
time.sleep(0.5)
if __name__ == '__main__':
pageNum = input(u'请输入页码：')
for link in getPage(pageNum):
downloadPic(getPiclink(link))
5. 更多更多详情: 6. Update根据反爬虫的修改，增加下载图片的headers就好了def header(referer):
headers = {
'Host': 'i.meizitu.net',
'Pragma': 'no-cache',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,q=0.8,q=0.6',
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (M Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/59.0. Safari/537.36',
'Accept': 'image/webp,image/apng,image/*,*/*;q=0.8',
'Referer': '{}'.format(referer),
return headers
下载链接with open(filename, "wb+") as jpg:
jpg.write(requests.get(jpgLink, headers=header(jpgLink)).content)
366112 条评论分享收藏文章被以下专栏收录微信公众号同名，欢迎投稿。telegram：t.me/PyChina，全平台约20万开发者关注，会员来自全球十多个国家和地区，拥有十多个线上线下技术社群，向本专栏投稿即默认发布到Python中文社区全平台。GitHub：github.com/pycn妹子图片集_百度百科
清除历史记录关闭
声明：百科词条人人可编辑，词条创建和修改均免费，绝不存在官方及代理商付费代编，请勿上当受骗。
妹子图片集
《妹子图片集》是一款Android平台的应用。
妹子图片集应用介绍
美女壁纸图要对一个不漂亮的女人作评价，如果她还算知书达理，可称之为“有气质的女人”。幸与不幸，我经常得到这样的褒奖。不过，我自信拥有气质。...
妹子图片集支持版本
Android 2.2以上
．下载链接[引用日期]
清除历史记录关闭拒绝访问 | zhainanba.net | 百度云加速
请打开cookies.
此网站 (zhainanba.net) 的管理员禁止了您的访问。原因是您的访问包含了非浏览器特征(420b8af3566643cb-ua98).
重新安装浏览器，或使用别的浏览器难道现在都水了天天上妹子图_英雄联盟吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0可签7级以上的吧50个
本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：10,711,456贴子：
难道现在都水了天天上妹子图
各种萌。各种赖。
配备智能适时四轮驱动(4MATIC),适应不同驾驶状态,无畏前路艰险LED高性能大灯及星辰尾灯,照亮电子竞技前行之路
头像好眼熟
每一个你喜欢的女人背后，都有一个操她操到恶心的男人，我喜欢的女人就是这样。
难道我们小吧主，吧主都没人管么
天天的看着从AV 。图库里找些Sex图片来吸引，太无解了
贴吧热议榜
使用签名档&&
保存至快速回贴