• 首页 |
  • 资讯 |
  • 生活 |
  • 电脑 |
  • 互联网 |
  • 手机 |
  • 财经 |
  • 教育 |
  • 简易号 |
    • 　　
    　　
    　　
    　　
    您当前的位置：首页 > 电脑百科 > 程序开发 > 语言 > Python

    Python爬虫快速入门，静态网页爬取

    时间：2020-08-25 16:49:04  来源：  作者：
    + 加入收藏

    在开始之前，请确保你的电脑上已经安装好了BeautifulSoup库，可以通过在命令行中输入pip install beautifulsoup4来进行安装。

    一、数据解析

    在爬取之前，我们需要检测下响应状态码是否为200，如果请求失败，我们将爬取不到任何数据：

    import requests

re = requests.get('https://book.douban.com/top250')
if re.status_code == 200:
    print('请求成功!')
else:
    print('请求失败!响应状态码为{}'.format(re.status_code))

    响应状态码为418，我们请求失败了，这是为什么呢？因为豆瓣有反爬虫机制，我们无法通过直接请求服务器来爬取数据，必须在发起请求之前将自己伪装起来。

    1.1 反爬虫

    反爬虫是网站限制爬虫的一种策略。它并不是禁止爬虫(完全禁止爬虫几乎不可能，也可能误伤正常用户)，而是限制爬虫，让爬虫在网站可接受的范围内爬取数据，不至于导致网站瘫痪无法运行。常见的反爬虫方式有判别身份和IP限制两种，这里我们先介绍前者，后者稍后再提及。

    有些网站在识别出爬虫后，会拒绝爬虫进行访问，比如之前提到的豆瓣。那我们怎样做才能不被识别出来呢？在此之前，我们先尝试一下直接爬取：

    import requests

re = requests.get('https://book.douban.com/top250')
print(re.text)

    结果是什么都没有输出，因为豆瓣将我们的爬虫识别了出来并拒绝提供内容。你可能会有疑问，爬虫不是模拟浏览器访问网站、获取网页源代码的吗？为什么就被识别出来了呢？事实上，无论是浏览器还是爬虫，访问网站时都会带上一些信息用于身份识别，而这些信息都被存储在一个叫请求头(request headers)的地方。

    服务器会通过请求头里的信息来判别访问者的身份。请求头里的字段有很多，我们暂时只需了解user-agent(用户代理)即可。user-agent里包含了操作系统、浏览器类型、版本等信息，通过修改它我们就能成功地伪装成浏览器并爬取我们想要的数据。

    那么如何找到user-agent呢？操作步骤如下：

    1. 首先按F12(或Fn+F12)，然后单击上方的Network标签。
    2. 此时打开https://book.douban.com/top250，在Name一列中找到top250并单击。
    3. 在右边的Headers中找到Request Headers，User-Agent就在其中。

    选中后将其复制下来，我的浏览器的User-Agent是Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/84.0.4147.125 Safari/537.36，而requests默认的User-Agent是Python-requests/2.24.0。默认的User-Agent和在头上贴着“我是爬虫”的纸条没有什么区别，很容易被服务器识别出来。因此我们需要修改请求头里的user-agent字段内容，将爬虫伪装成浏览器。

    我们只需定义一个字典(请求头字段作为键，字段内容作为值)传递给headers参数即可，方法如下：

    import requests

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
print(re.text)

    这样就能正常输出内容了(结果太长这里不展示)。除了user-agent之外的其他请求头字段也能以同样的方式添加进去，但大部分情况下我们只需要添加user-agent字段即可。当我们加了user-agent字段还是无法获取到数据时，说明该网站还通过别的信息来验证身份，我们可以将请求头里的字段都添加进去再尝试。

    1.2 BeautifulSoup 对象

    接下来我们将网页源代码解析成BeautifulSoup对象：

    import requests
from bs4 import BeautifulSoup

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')

    需要注意的是，创建BeautifulSoup对象时需要传入两个参数，第一个参数是要解析的HTML文本，即网站源代码的字符串形式re.text。第二个参数是解析HTML的解析器，html.parser是Python中内置的解析器，较为简单方便。

    接下来我们分别打印soup和re.text，观察其内容有无区别：

    import requests
from bs4 import BeautifulSoup

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
print(soup)
print(re.text)

    仔细观察后会发现两次打印的内容完全一样！既然都一样，我们何苦费这么大力将网页源代码解析成BeautifulSoup对象呢？为什么不直接打印re.text呢？

    其实，它们只是看上去一样，实际上却属于不同种类。现在尝试用type()函数将re.text和BeautifulSoup对象的类型打印出来对比一下：

    import requests
from bs4 import BeautifulSoup

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)

soup = BeautifulSoup(re.text, 'html.parser')
print(type(re.text))

soup = BeautifulSoup(re.text, 'html.parser')
print(type(soup))

    通过输出结果可以看出，re.text的类型是字符串，而soup的类型是BeautifulSoup对象，它俩是完全不同的东西。相比字符串，BeautifulSoup对象里有很多强大的方法和属性。通过这些方法和属性，我们就能方便快捷地提取出我们所需要的数据。

    二、数据提取

    BeautifulSoup对象里的方法和属性有很多，我们只学习其中最常用的一些，这些足以应付大多数场景。等你真正的入门后，可以自行学习那些更高阶的知识去解决更复杂的问题。

    2.1 find()与find_all()

    BeautifulSoup对象里的find()和find_all()是我们提取数据最常用的两个方法。借助它们，我们可以过滤掉HTML页面里的无用数据，轻松地找到我们需要的数据。

    我们先来看一下find()和find_all()的作用和区别：

    方法作用find()返回符合条件的首个数据find_all()返回符合条件的所有数据

    我们通过一个例子进一步熟悉这两个方法，假设我们获取到的网页源代码如下：

    <div class="content">
  <a href="https://douban.com">登录/注册</a>
  <h1>豆瓣读书 Top 250</h1>
  <div class="article">
    <a href="https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web">豆瓣书店</a>
    <div class="item">
      <a href="https://book.douban.com/subject/1007305/">红楼梦</a>
    </div>
    <div class="item">
      <a href="https://book.douban.com/subject/6082808/">百年孤独</a>
    </div>
    <div class="item">
      <a href="https://book.douban.com/subject/10554308/">白夜行</a>
    </div>
  </div>
</div>

    接下来分别使用find()与find_all()，观察输出结果的差异：

    print(soup.find('a'))
print(soup.find_all('a'))

    其中，使用find()方法输出的结果为：

    <a href="https://douban.com">登录/注册</a>

    而使用find_all()方法输出的结果为：

    [
<a href="https://douban.com">登录/注册</a>,
<a href="https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web">豆瓣书店</a>,
<a href="https://book.douban.com/subject/1007305/">红楼梦</a>,
<a href="https://book.douban.com/subject/6082808/">百年孤独</a>,
<a href="https://book.douban.com/subject/10554308/">白夜行</a>
]

    可以看到，find()方法返回了第一个a标签，而find_all()方法则返回了所有的a标签。它俩的用法基本一样，都是传入HTML标签名称，返回符合该HTML标签的数据。区别是find()方法只返回第一个符合条件的标签，而find_all()方法返回所有符合条件的标签列表。

    除了传入标签名称外，这两个方法还支持传入属性进行筛选，返回符合条件的数据。例如：

    soup.find('div', id='a') # 查找id='a'的div标签
soup.find_all('var', class_='b') # 查找所有class='b'的var标签
soup.find('button', id='c', class_='d') # 查找id='c'且class='d'的button标签

    注：因为class是Python中定义类的关键字，因此用class_表示HTML中的class。

    2.2 Tag对象

    BeautifulSoup将HTML中的元素封装成了Tag对象。和BeautifulSoup对象一样，Tag对象里也有find()和find_all()方法。因此，我们可以不断地调用这两个方法，一层一层地找到我们需要的数据。依然使用之前的例子：

    <div class="content">
  <a href="https://douban.com">登录/注册</a>
  <h1>豆瓣读书 Top 250</h1>
  <div class="article">
    <a href="https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web">豆瓣书店</a>
    <div class="item">
      <a href="https://book.douban.com/subject/1007305/">红楼梦</a>
    </div>
    <div class="item">
      <a href="https://book.douban.com/subject/6082808/">百年孤独</a>
    </div>
    <div class="item">
      <a href="https://book.douban.com/subject/10554308/">白夜行</a>
    </div>
  </div>
</div>

    我们可以看到，书名在a标签中。但如果直接使用soup.find_all(‘a’)的话，第二行的“登录/注册”和第五行的“豆瓣书店”也会被获取到，因此我们需要将这些无效数据过滤掉。

    深入思考一下不难发现，书名在class="item"的div标签里的a标签内。我们只要先找到所有class="item"的div标签，然后再找到其中的a标签即可，因此我们可以像下面这样来获取书名的数据：

    items = soup.find_all('div', class_='item')
for item in items:
	print(item.find('a'))

    输出结果：

    <a href="https://book.douban.com/subject/1007305/">红楼梦</a>
<a href="https://book.douban.com/subject/6082808/">百年孤独</a>
<a href="https://book.douban.com/subject/10554308/">白夜行</a>

    这样，我们就找到了所有书名的数据。但此时返回的还是Tag对象。如果我们只想要书名和对应的链接呢？这就用到了Tag对象的text属性和HTML属性名取值。

    items = soup.find_all('div', class_='item')
for item in items:
    tag = item.find('a')
    name = tag.text
    link = tag['href']
    print(name, link)

    输出结果：

    红楼梦 https://book.douban.com/subject/1007305/
百年孤独 https://book.douban.com/subject/6082808/
白夜行 https://book.douban.com/subject/10554308/

    我们通过Tag对象的text属性拿到了a标签里的文字内容，即红楼梦等。然后我们通过和字典取值一样的方式，将HTML属性名作为键，得到了对应属性的值。这里是以href属性为例，其他的HTML属性也同样可以。

    Tag对象的常用属性和方法总结如下：

    属性/方法作用tag.find()返回符合条件的首个数据tag.find_all()返回符合条件的所有数据tag.text获取标签的文本内容tag[‘属性名’]获取标签属性的值

    我们通过多次调用find()或find_all()方法一层层地找到了我们需要的数据。那有没有什么方法可以直接就找到我们需要的数据，而不用多次查找吗？

    答案是肯定的，这就需要用到css选择器了。

    2.3 CSS选择器

    在CSS选择器中，#代表id，.代表class。比如：#a表示id=‘a’的所有元素，.b表示class=‘b’的所有元素。当然，我们也可以直接通过标签名选择对应的元素，例如：a表示所有的a元素。

    事实上，它们还可以组合在一起，选择同时符合条件的元素，比如：a#b表示所有id=‘b’的a元素，d.c 表示所有class=‘c’的d元素，#b.c 表示所有 id=‘b’ 且 class=‘c’ 的元素，.c.f 表示所有class同时为c和f的元素。

    需要注意的是，选择同时符合条件的元素，选择器之间不能有空格，如果写成.c .f就是另一个意思了。这是因为，当两个选择器之间加了空格，表示子元素选择。还是以.c .f为例，它表示选择所有class=‘c’的元素里面class=‘f’的元素，即嵌套在class=‘c’的元素里面class=‘f’的元素。这个嵌套可以是任意层级的，只要在里面就行，不要求直接嵌套在第一层。如果只需要直接嵌套在第一层符合条件的元素，可以用>分隔，例如：.c > .f。

    我们来通过一个例子了解一下CSS选择器的用法：

    from bs4 import BeautifulSoup

html = '''
<div class="item">
  <p class="book">红楼梦</p>
  <div class="hot">
    <p class="book">白夜行</p>
  </div>
</div>'''

soup = BeautifulSoup(html, 'html.parser')

print(soup.select('.item.book'))
print(soup.select('.item .book'))
print(soup.select('.item > .book'))

    输出结果：

    []
[<p class="book">红楼梦</p>, <p class="book">白夜行</p>]
[<p class="book">红楼梦</p>]

    BeautifulSoup对象有一个select()方法，我们将CSS 选择器传进去即可直接找到我们需要的元素。之前查找在class="item"的div标签里的a标签的代码就可以这样写：

    items = soup.select('div.item a')
for item in items:
    name = item.text
    link = item['href']
    print(name, link)

    可以看到，我们一次性就将所有符合条件的a元素找了出来，同样的功能，代码变得更加简洁了。

    三、单个网页爬取

    学习到这里，现在你应该可以独自完成爬取豆瓣图书的任务了，豆瓣图书Top250地址：https://book.douban.com/top250。

    接下来我会给出具体的思路，不过建议你先尝试独立完成这个任务。

    首先，此前我们已经提到过，豆瓣是禁止反爬虫的，我们通过修改User-Agent伪装成浏览器成功“骗过”了豆瓣的识别：

    import requests
from bs4 import BeautifulSoup

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')

    接下来，我们需要利用CSS选择器将我们所需要的数据存储在items变量中，但是，如何找到图书名称所在的标签呢？

    其实很简单，我们先打开https://book.douban.com/top250，右键单击红楼梦>检查，如下图所示：

    Python爬虫快速入门，静态网页爬取

     


    不难看出，书名是a标签内属性title的值，且这个a标签位于class=“pl2”的div标签内。

    在知道了书名的“坐标”后，我们就可以使用CSS选择器啦：

    items = soup.select('div.pl2 a')
1

    此时items变量实际上是一个由Tag对象组成的列表，我们可以通过循环打印书名和对应的链接：

    for item in items:
    name = item['title']
    link = item['href']
    print(name, link)
1234

    完整的代码如下：

    import requests
from bs4 import BeautifulSoup

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')

items = soup.select('div.pl2 a')
for item in items:
    name = item['title']
    link = item['href']
    print(name, link)
1234567891011121314

    爬取到的结果：

    红楼梦 https://book.douban.com/subject/1007305/
活着 https://book.douban.com/subject/4913064/
1984 https://book.douban.com/subject/4820710/
百年孤独 https://book.douban.com/subject/6082808/
飘 https://book.douban.com/subject/1068920/
三体全集 https://book.douban.com/subject/6518605/
三国演义（全二册） https://book.douban.com/subject/1019568/
白夜行 https://book.douban.com/subject/10554308/
房思琪的初恋乐园 https://book.douban.com/subject/27614904/
福尔摩斯探案全集（上中下） https://book.douban.com/subject/1040211/
动物农场 https://book.douban.com/subject/2035179/
小王子 https://book.douban.com/subject/1084336/
天龙八部 https://book.douban.com/subject/1255625/
撒哈拉的故事 https://book.douban.com/subject/1060068/
安徒生童话故事集 https://book.douban.com/subject/1046209/
哈利•波特 https://book.douban.com/subject/24531956/
人类简史 https://book.douban.com/subject/25985021/
沉默的大多数 https://book.douban.com/subject/1054685/
围城 https://book.douban.com/subject/1008145/
平凡的世界（全三部） https://book.douban.com/subject/1200840/
杀死一只知更鸟 https://book.douban.com/subject/6781808/
局外人 https://book.douban.com/subject/4908885/
明朝那些事儿（1-9） https://book.douban.com/subject/3674537/
霍乱时期的爱情 https://book.douban.com/subject/10594787/
笑傲江湖（全四册） https://book.douban.com/subject/1002299/
12345678910111213141516171819202122232425

    仔细观察不难发现，上述所说的a标签内的文本内容只有书名，因此除了使用item[‘title’]外，我们还可以使用item.text：

    for item in items:
    name = item.text
    link = item['href']
    print(name, link)
1234

    输出结果(结果太长这里仅展示前面的一部分)：

                    红楼梦


               https://book.douban.com/subject/1007305/

                活着


               https://book.douban.com/subject/4913064/

                1984


               https://book.douban.com/subject/4820710/

                百年孤独


               https://book.douban.com/subject/6082808/
1234567891011121314151617181920

    为什么使用item.text就会出现一些奇怪的换行呢？

    我们知道，item.text是获取标签内的所有文本内容，空格，换行符等都会获取，我们再来看一下之前的a标签：

    Python爬虫快速入门，静态网页爬取

     


    显然a标签里存在空格和换行符，因此如果想使用item.text输出结果，我们必须使用join()方法去掉这些多余的空格和换行符：

    for item in items:
    name = ''.join(item.text.split())
    link = item['href']
    print(name, link)
1234

    这样结果就可以正常显示啦。

    四、爬取所有Top250图书

    可能你已经发现了，我们之前爬取的图书仅仅是第一页的，并不是所有的Top250图书，那么如何爬取所有的呢？

    我们进入第二页后，可以看到网址变成了https://book.douban.com/top250?start=25，相比原来多了个?start=25。

    我们再进入第一页，会发现网址变成了https://book.douban.com/top250?start=0。之后，再进入最后一页，网址变成了https://book.douban.com/top250?start=225。

    我想你应该已经找到了其中的规律。

    很显然，"start="后面的数字总是以步长25进行递增，第一页此数字是0，第十页此数字是225，这让我们联想到了循环。

    我们先把之前爬取图书的代码封装成一个函数：

    def spider(url):
    headers = {
      'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
    }
    re = requests.get(url, headers=headers)
    soup = BeautifulSoup(re.text, 'html.parser')
    items = soup.select('div.pl2 a')
    for item in items:
        name = item['title']
        link = item['href']
        print(name, link)
1234567891011

    豆瓣图书Top250共有十页，我们根据之前找出来的规律，利用循环生成这十个网页地址：

    for i in range(0, 250, 25):
    douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
12

    之后，将它们组装在一起，我们就可以爬取所有图书了：

    import requests
from bs4 import BeautifulSoup


def spider(url):
    headers = {
      'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
    }
    re = requests.get(url, headers=headers)
    soup = BeautifulSoup(re.text, 'html.parser')
    items = soup.select('div.pl2 a')
    for item in items:
        name = item['title']
        link = item['href']
        print(name, link)


for i in range(0, 250, 25):
    douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
    spider(douban_book)
1234567891011121314151617181920

    但考虑到输出结果太长，不方便在终端查看，我们可以将爬取到的结果写入文件：

    import requests
from bs4 import BeautifulSoup


def spider(url, filename):
    headers = {
      'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
    }
    re = requests.get(url, headers=headers)
    soup = BeautifulSoup(re.text, 'html.parser')
    items = soup.select('div.pl2 a')
    with open(filename, 'a', encoding=re.encoding) as f:
        for item in items:
            line = item['title'] + " " + item['href'] + "n"
            f.write(line)


for i in range(0, 250, 25):
    douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
    spider(douban_book, 'doubanTop250.txt')
1234567891011121314151617181920

    效果：

    Python爬虫快速入门，静态网页爬取

     

    五、防BAN策略

    爬虫在网页上爬取数据时如果不加任何限制会“高速”访问对方的服务器，如果访问太快容易导致被对方服务器封禁，因为正常人是不会在1秒内访问几十次甚至上百次网站的，这样就会导致我们在一段时间内无法访问这个网站。所以，如果你访问过于频繁，即使通过修改User-Agent伪装成浏览器，也还是会被识别出爬虫，并限制你的IP访问该网站。

    那么如何防止自己被封禁呢？这里介绍两种策略，一种是降低自己的爬取速度，另一种是IP代理。

    5.1 使用time.sleep()降低爬取速度

    time.sleep(secs)函数推迟调用线程的运行，可通过参数secs(秒数)来进行设置。

    我们先来看一个例子：

    import time

for i in range(0, 10):
    print(i)
    time.sleep(1)
12345

    运行后，终端先是输出0，之后每隔1秒输出一个数字。倘若不加上time.sleep(1)，那么这10个数字会在“一瞬间”打印出来。显然，time.sleep()延迟了打印这个操作。

    利用这个特点，我们可以在之前爬取豆瓣图书Top250的代码中使用time.sleep()，以降低爬取速度，防止被封：

    import requests
from bs4 import BeautifulSoup
from time import sleep as pause


def spider(url, filename):
    headers = {
      'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
    }
    re = requests.get(url, headers=headers)
    soup = BeautifulSoup(re.text, 'html.parser')
    items = soup.select('div.pl2 a')
    with open(filename, 'a', encoding=re.encoding) as f:
        for item in items:
            line = item['title'] + " " + item['href'] + "n"
            f.write(line)


for i in range(0, 250, 25):
    douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
    spider(douban_book, 'doubanTop250.txt')
    pause(1)
12345678910111213141516171819202122

    这样我们就可以每隔1秒爬取一页，降低了访问频率。

    5.2 IP代理

    除了降低访问频率之外，我们也可以使用代理来解决IP限制的问题。代理的意思是通过别的IP访问网站。这样，在IP被封后我们可以换一个IP继续爬取数据，或者每次爬取数据时都换不同的IP，避免同一个IP访问的频率过高，这样就能快速地大规模爬取数据了。

    如何使用代理呢？请看下例：

    import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)
12345678

    和headers一样，我们同样需要定义一个字典，但传递的是proxies参数。我们需要将http和https这两种协议作为键，对应的IP代理作为值，最后将整个字典作为proxies参数传递给requests.get()方法即可。

    注：IP代理有免费的和收费的，你可以自行在网上寻找。

    在爬取大量数据时我们需要很多的IP用于切换。因此，我们需要建立一个IP 代理池(字典列表)，每次从中随机选择一个传给proxies参数。

    因此，使用IP代理并结合time.sleep()爬取豆瓣图书Top250再将其写入文件的完整代码如下：

    import requests
from random import choice
from bs4 import BeautifulSoup as BeS
from time import sleep as pause


def spider(url, filename, proxies):
    headers = {
      'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
    }
    re = requests.get(url, proxies=proxies, headers=headers)
    soup = BeS(re.text, 'html.parser')
    items = soup.select('div.pl2 a')
    with open(filename, 'a', encoding=re.encoding) as f:
        for item in items:
            f.write(item['title'] + " " + item['href'] + "n")


filename = 'doubanTop250.txt'
pages = []
proxies_list = []

for i in range(0, 250, 25):
    ip_1 = "http://10.10.1.1%s:3128" % str(i // 25)
    ip_2 = "http://10.10.1.1%s:1080" % str(i // 25)
    douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
    prox = {
        "http": ip_1,
        "https": ip_2,
    }
    pages.append(douban_book)
    proxies_list.append(prox)

for page in pages:
    proxies = choice(proxies_list)
    spider(page, filename, proxies)
    pause(1)
12345678910111213141516171819202122232425262728293031323334353637

    上述代码的IP代理池中的IP代理不可用(IP地址是瞎写的)，所以代码不会成功运行，这里仅仅是为了展示一个完整的结构。



    Tags：静态网页爬取   点击:()  评论:()
    声明：本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com)，我们将及时更正、删除，谢谢。
    ▌相关推荐
    Python爬虫快速入门，静态网页爬取
    在开始之前，请确保你的电脑上已经安装好了BeautifulSoup库，可以通过在命令行中输入pip install beautifulsoup4来进行安装。一、数据解析在爬取之前，我们需要检测下响应状态码...【详细内容】
    2020-08-25　　Tags: 静态网页爬取  点击:(30)　　评论:(0)　　加入收藏
    ▌简易百科推荐
    非常实用的 Python 库，推一次火一次
    Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
    2021-12-27　　IT资料库　　　　Tags:Python 库 　 点击:(1)　　评论:(0)　　加入收藏
    Python中的菜单驱动程序
    菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM（自动取款机）。在交易的情况下...【详细内容】
    2021-12-27　　子冉爱python　　　　Tags:Python 　 点击:(4)　　评论:(0)　　加入收藏
    15个Python入门小程序，你都知道哪些
    有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数：f(x,...【详细内容】
    2021-12-22　　程序汪小成　　　　Tags:Python入门 　 点击:(32)　　评论:(0)　　加入收藏
    用Python提取Verilog网表层次和实例化关系
    Verilog是由一个个module组成的，下面是其中一个module在网表中的样子，我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
    2021-12-22　　编程啊青　　　　Tags:Verilog 　 点击:(7)　　评论:(0)　　加入收藏
    使用 Python 将 MP4视频 转换为GIF动画
    运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
    2021-12-22　　修道猿　　　　Tags:Python 　 点击:(5)　　评论:(0)　　加入收藏
    python的面向对象编程
    面向对象：Object Oriented Programming，简称OOP，即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如，学生都有...【详细内容】
    2021-12-22　　我头秃了　　　　Tags:python 　 点击:(9)　　评论:(0)　　加入收藏
    python初学者必须吃透的这些内置函数
    所谓内置函数，就是Python提供的, 可以直接拿来直接用的函数，比如大家熟悉的print，range、input等，也有不是很熟，但是很重要的，如enumerate、zip、join等，Python内置的这些函数非常...【详细内容】
    2021-12-21　　程序员小新ds　　　　Tags:python初 　 点击:(5)　　评论:(0)　　加入收藏
    Python实现各种加密，接口加解密不说难
    Hi，大家好。我们在接口自动化测试项目中，有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ，接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
    2021-12-21　　Python可乐　　　　Tags:Python 　 点击:(7)　　评论:(0)　　加入收藏
    python实现自动抢课脚本
    借助pyautogui库，我们可以轻松地控制鼠标、键盘以及进行图像识别，实现自动抢课的功能1.准备工作我们在仓库里提供了2个必须的文件，包括： auto_get_lesson_pic_recognize.py：脚本...【详细内容】
    2021-12-17　　程序员道道　　　　Tags:python 　 点击:(13)　　评论:(0)　　加入收藏
    分手吧Excel 我有Python了
    前言越来越多开发者表示，自从用了Python/Pandas，Excel都没有打开过了，用Python来处理与可视化表格就是四个字&mdash;&mdash;非常快速！下面我来举几个明显的例子1.删除重复行和空...【详细内容】
    2021-12-16　　查理不是猹　　　　Tags:Python 　 点击:(20)　　评论:(0)　　加入收藏
    推荐资讯
    远程软件发展迅猛，ToDesk凭何异军突起？
    远程软件发展迅猛，ToDe    		倒计时！企业QQ即将下架，社交QQ会被下架吗？
    倒计时！企业QQ即将下架
    极简Windows11与iPhone/iPad互传文件
    极简Windows11与iPhon    		iPhone信号问题，花10元就能解决？
    iPhone信号问题，花10元
    惊人数据：App Store中40万应用根本没人下载过
    惊人数据：App Store中4    		个人所得税递延纳税报告
    个人所得税递延纳税报
    非常实用的 Python 库，推一次火一次
    非常实用的 Python 库    		等离子电视技术先进，为何还是被淘汰？液晶电视到底有何优势？
    等离子电视技术先进，为
    相关文章
      无相关信息
    最新更新
    栏目热门
    栏目头条
    高级搜索
    网站首页 | 关于我们 | 服务条款 | 广告服务 | 联系我们 | 网站地图 | 免责声明 | 手机版
    Copyright @ 简易百科 V 2.0 ©2020-2022 ISOLVES.com | 电脑百科 | 生活百科 | 手机百科 | 简易号
    京ICP备14042104号　　 京公网安备 11010802035086号　　QQ：2595517585
    简易百科手机版