您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

Python爬虫基础:验证码的爬取和识别详解

时间:2019-11-19 12:02:04  来源:  作者:

今天要给大家介绍的是验证码的爬取和识别,不过只涉及到最简单的图形验证码,也是现在比较常见的一种类型。

运行平台:windows

Python版本:Python3.6

IDE: Sublime Text

其他:Chrome浏览器

简述流程:

步骤1:简单介绍验证码

步骤2:爬取少量验证码图片

步骤3:介绍百度文字识别OCR

步骤4:识别爬取的验证码

步骤5:简单图像处理

目前,很多网站会采取各种各样的措施来反爬虫,验证码就是其中一种,比如当检测到访问频率过高时会弹出验证码让你输入,确认访问网站的不是机器人。但随着爬虫技术的发展,验证码的花样也越来越多,从最开始简单的几个数字或字母构成的图形验证码(也就是我们今天要涉及的)发展到需要点击倒立文字字母的、与文字相符合的图片的点触型验证码,需要滑动到合适位置的极验滑动验证码,以及计算题验证码等等,总之花样百出,让人头秃。验证码其他的相关知识大家可以看下这个网站:captcha.org

再来简单说下图形验证码吧,就像这张:

Python爬虫基础:验证码的爬取和识别详解

 

由字母和数字组成,再加上一些噪点,但为了防止被识别,简单的图形验证码现在也变得复杂,有的加了干扰线,有的加噪点,有的加上背景,字体扭曲、粘连、镂空、混用等等,甚至有时候人眼都难以识别,只能默默点击“看不清,再来一张”。

验证码难度的提高随之带来的就是识别的成本也需要提高,在接下来的识别过程中,我会先直接使用百度文字识别OCR,来测试识别准确度,再确认是否选择转灰度、二值化以及去干扰等图像操作优化识别率。

接下来我们就来爬取少量验证码图片存入文件。

首先打开Chrome浏览器,访问刚刚介绍的网站,里面有一个captcha图像样本链接:https://captcha.com/captcha-examples.html?cst=corg,网页里有60张不同类型的图形验证码,足够我们用来识别试验了。

Python爬虫基础:验证码的爬取和识别详解

 

直接来看代码吧:

Python爬虫基础:验证码的爬取和识别详解

 

import requests
import os
import time
from lxml import etree


def get_Page(url,headers):
 response = requests.get(url,headers=headers)
 if response.status_code == 200:
 # print(response.text)
 return response.text
 return None


def parse_Page(html,headers):
 html_lxml = etree.HTML(html)
 datas = html_lxml.xpath('.//div[@class="captcha_images_left"]|.//div[@class="captcha_images_right"]')
 item= {}
 # 创建保存验证码文件夹
 file = 'D:/******'
 if os.path.exists(file):
 os.chdir(file)
 else: 
 os.mkdir(file)
 os.chdir(file) 
 for data in datas:
 # 验证码名称
 name = data.xpath('.//h3')
 # print(len(name))
 # 验证码链接
 src = data.xpath('.//div/img/@src') 
 # print(len(src))
 count = 0
 for i in range(len(name)):
 # 验证码图片文件名
 filename = name[i].text + '.jpg'
 img_url = 'https://captcha.com/' + src[i]
 response = requests.get(img_url,headers=headers)
 if response.status_code == 200:
 image = response.content
 with open(filename,'wb') as f:
 f.write(image)
 count += 1
 print('保存第{}张验证码成功'.format(count))
 time.sleep(1)


def main():
 url = 'https://captcha.com/captcha-examples.html?cst=corg'
 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'}
 html = get_Page(url,headers)
 parse_Page(html,headers)


if __name__ == '__main__':
 main()

仍然使用Xpath爬取,在右键检查图片时可以发现,网页分为两栏,如下图红框所示,根据class分为左右两栏,验证码分别位于两栏中。

Python爬虫基础:验证码的爬取和识别详解

 

datas = html_lxml.xpath('.//div[@class="captcha_images_left"]|.//div[@class="captcha_images_right"]')

这里我使用了Xpath中的路径选择,在路径表达式中使用“|”表示选取若干路径,例如这里表示的就是选取class为"captcha_images_left"或者"captcha_images_right"的区块。再来看下运行结果:

Python爬虫基础:验证码的爬取和识别详解

 

由于每爬取一张验证码图片都强制等待了1秒,最后这个运行时间确实让人绝望,看样子还是需要多线程来加快速度的,关于多进程多线程我们下次再说,这里我们先来看下爬取到的验证码图片。

Python爬虫基础:验证码的爬取和识别详解

 

图片到手了,接下来就是调用百度文字识别的OCR来识别这些图片了,在识别之前,先简单介绍一下百度OCR的使用方法,因为很多识别验证码的教程用的都是tesserocr库,所以一开始我也尝试过,安装过程中就遇到了很多坑,后来还是没有继续使用,而是选择了百度OCR来识别。百度OCR接口提供了自然场景下图片文字检测、定位、识别等功能。文字识别的结果可以用于翻译、搜索、验证码等代替用户输入的场景。另外还有其他视觉、语音技术方面的识别功能,大家可以直接阅读文档了解:百度OCR-API文档https://ai.baidu.com/docs#/OCR-API/top

Python爬虫基础:验证码的爬取和识别详解

 

使用百度OCR的话,首先注册用户,然后下载安装接口模块,直接终端输入pip install baidu-aip即可。然后创建文字识别应用,获取相关Appid,API Key以及Secret Key,需要了解一下的是百度AI每日提供50000次免费调用通用文字识别接口的使用次数,足够我们挥霍了。

Python爬虫基础:验证码的爬取和识别详解

 

然后就可以直接调用代码了。

from aip import AipOcr

# 你的 APPID AK SK 
APP_ID = '你的 APP_ID '
API_KEY = '你的API_KEY'
SECRET_KEY = '你的SECRET_KEY'

client = AipOcr(APP_ID, API_KEY, SECRET_KEY)

# 读取图片 
def get_file_content(filePath):
 with open(filePath, 'rb') as fp:
 return fp.read()

image = get_file_content('test.jpg')

# 调用通用文字识别, 图片参数为本地图片 
result = client.basicGeneral(image)


# 定义参数变量 
options = {
 # 定义图像方向
 'detect_direction' : 'true',
 # 识别语言类型,默认为'CHN_ENG'中英文混合
 'language_type' : 'CHN_ENG',


}

# 调用通用文字识别接口 
result = client.basicGeneral(image,options)
print(result)
for word in result['words_result']:
 print(word['words'])

这里我们识别的是这张图

Python爬虫基础:验证码的爬取和识别详解

 

可以看一下识别结果

上面是识别后直接输出的结果,下面是单独提取出来的文字部分。可以看到,除了破折号没有输出外,文字部分都全部正确输出了。这里我们使用的图片是jpg格式,文字识别传入的图像支持jpg/png/bmp格式,但在技术文档中有提到,使用jpg格式的图片上传会提高一定准确率,这也是我们爬取验证码时使用jpg格式保存的原因。

输出结果中,各字段分别代表:

  • log_id : 唯一的log id,用于定位问题
  • direction : 图像方向,传入参数时定义为true表示检测,0表示正向,1表示逆时针90度,2表示逆时针180度,3表示逆时针270度,-1表示未定义。
  • words_result_num : 识别的结果数,即word_result的元素个数
  • word_result : 定义和识别元素数组
  • words : 识别出的字符串
    还有一些非必选字段大家可以去文档里熟悉一下。

接下来,我们要做的,就是将我们之前爬取到的验证码用刚介绍的OCR来识别,看看究竟能不能得到正确结果。

from aip import AipOcr
import os


i = 0
j = 0
APP_ID = '你的 APP_ID '
API_KEY = '你的API_KEY'
SECRET_KEY = '你的SECRET_KEY'

client = AipOcr(APP_ID, API_KEY, SECRET_KEY)

# 读取图片 
file_path = 'D:******验证码图片'
filenames = os.listdir(file_path)
# print(filenames)
for filename in filenames:
 # 将路径与文件名结合起来就是每个文件的完整路径
 info = os.path.join(file_path,filename)
 with open(info, 'rb') as fp:
 # 获取文件夹的路径 
 image = fp.read()
 # 调用通用文字识别, 图片参数为本地图片
 result = client.basicGeneral(image)
 # 定义参数变量 
 options = {
 'detect_direction' : 'true',
 'language_type' : 'CHN_ENG',
 }
 # 调用通用文字识别接口 
 result = client.basicGeneral(image,options)
 # print(result)
 if result['words_result_num'] == 0:
 print(filename + ':' + '----')
 i += 1
 else:
 for word in result['words_result']: 
 print(filename + ' : ' +word['words'])
 j += 1

print('共识别验证码{}张'.format(i+j))
print('未识别出文本{}张'.format(i))
print('已识别出文本{}张'.format(j))

和识别图片一样,这里我们将文件夹验证码图片里的图片全部读取出来,依次让OCR识别,并依据“word_result_num”字段判断是否成功识别出文本,识别出文本则打印结果,未识别出来的用“----”代替,并结合文件名对应识别结果 。最后统计识别结果数量,再来看下识别结果。

Python爬虫基础:验证码的爬取和识别详解

 

看到结果,只能说Amazing!60张图片居然识别出了65张,并且还有27张为未识别出文本的,这不是我想要的结果~先来简单看下问题出在哪里,看到“Vertigo Captcha Image.jpg"这张图名出现了两次,怀疑是在识别过程中由于被干扰,所以识别成两行文字输出了,这样就很好解释为什么多出来5张验证码图片了。可是!为什么会有这么多未识别出文本呢,而且英文数字组成的验证码识别成中文了,看样子,不对验证码图片进行去干扰处理,仅靠OCR来识别的想法果然还是行不通啊。那么接下来我们便使用图像处理的方法来重新识别验证码吧。

还是介绍验证码时用的这张图

Python爬虫基础:验证码的爬取和识别详解

 


Python爬虫基础:验证码的爬取和识别详解

 

这张图也没能被识别出来,让人头秃。接下来就对这张图片进行一定处理,看能不能让OCR正确识别

from PIL import Image

filepath = 'D:******验证码图片AncientMosaic Captcha Image.jpg'
image = Image.open(filepath)
# 传入'L'将图片转化为灰度图像
image = image.convert('L')
# 传入'1'将图片进行二值化处理
image = image.convert('1')
image.show()

这样子转化后再来看下图片变成什么样了?

Python爬虫基础:验证码的爬取和识别详解

 

确实有些不同了,赶紧拿去试试能不能识别,还是失败了~~继续修改

from PIL import Image

filepath = 'D:******验证码图片AncientMosaic Captcha Image.bmp'
image = Image.open(filepath)
# 传入'L'将图片转化为灰度图像
image = image.convert('L')
# 传入'l'将图片进行二值化处理,默认二值化阈值为127
# 指定阈值进行转化
count= 170
table = []
for i in range(256):
 if i < count:
 table.append(0)
 else:
 table.append(1 )
image = image.point(table,'1')
image.show()

这里我将图片保存成了bmp模式,然后指定二值化的阈值,不指定的话默认为127,我们需要先转化原图为灰度图像,不能直接在原图上转化。然后将构成验证码的所需像素添加到一个table中,然后再使用point方法构建新的验证码图片。

Python爬虫基础:验证码的爬取和识别详解

 


Python爬虫基础:验证码的爬取和识别详解

 

现在已经识别到文字了,虽然我不知道为啥识别成了“珍”,分析之后发现是因为z我在设置参数设置了“language_type”为“CHN_ENG”,中英文混合模式,于是我修改成“ENG”英文类型,发现可以识别成字符了,但依然没有识别成功,尝试其他我所知道的方法后,我表示很无语,我决定继续尝试PIL库的其他方法试试。

# 找到边缘
image = image.filter(ImageFilter.FIND_EDGES)
# image.show()
# 边缘增强
image = image.filter(ImageFilter.EDGE_ENHANCE)
image.show()
Python爬虫基础:验证码的爬取和识别详解

 

还是不能正确识别,我决定换个验证码试试。。。。。。

Python爬虫基础:验证码的爬取和识别详解

 

我找了这张带有阴影的

from PIL import Image,ImageFilter

filepath = 'D:******验证码图片CrossShadow2 Captcha Image.jpg'
image = Image.open(filepath)
# 传入'L'将图片转化为灰度图像
image = image.convert('L')

# 传入'l'将图片进行二值化处理,默认二值化阈值为127
# 指定阈值进行转化
count= 230
table = []
for i in range(256):
 if i < count:
 table.append(1)
 else:
 table.append(0)
image = image.point(table,'1')
image.show()

简单处理后,得到这样的图片:

Python爬虫基础:验证码的爬取和识别详解

 

识别结果为:

Python爬虫基础:验证码的爬取和识别详解

 

识别成功了,老泪纵横!!!看样子百度OCR还是可以识别出验证码的,不过识别率还是有点低,需要对图像进行一定处理,才能增加识别的准确率。不过百度OCR对规范文本的识别还是很准确的。

那么与其他验证码相比,究竟是什么让这个验证码更容易被OCR读懂呢?

  • 字母没有相互叠加在一起,在水平方向上也没有彼此交叉。也就是说,可以在每一个字 母外面画一个方框,而不会重叠在一起。
  • 图片没有背景色、线条或其他对 OCR 程序产生干扰的噪点。
  • 白色背景色与深色字母之间的对比度很高。

这样的验证码相对识别起来较容易,另外,像识别图片时的白底黑字就属于很标准的规范文本了,所以识别的准确度较高。至于更复杂的图形验证码,就需要更深的图像处理技术或者训练好的OCR来完成了,如果只是简单识别一个验证码的话,不如人工查看图片输入,更多一点的话,也可以交给打码平台来识别。



Tags:Python 验证码   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
注意:若使用云服务器 (Windows Server版) 遇到闪退,请按照步骤:我的电脑&mdash;&mdash;属性&mdash;&mdash;管理&mdash;&mdash;添加角色和功能&mdash;&mdash;勾选 桌面体验 ,点击...【详细内容】
2020-06-04  Tags: Python 验证码  点击:(36)  评论:(0)  加入收藏
本文将具体介绍如何利用Python的图像处理模块pillow和OCR模块pytesseract来识别上述验证码(数字加字母)。我们识别上述验证码的算法过程如下:这里还有小编准备的一份python学...【详细内容】
2020-02-17  Tags: Python 验证码  点击:(20)  评论:(0)  加入收藏
今天要给大家介绍的是验证码的爬取和识别,不过只涉及到最简单的图形验证码,也是现在比较常见的一种类型。运行平台:WindowsPython版本:Python3.6IDE: Sublime Text其他:Chrome浏...【详细内容】
2019-11-19  Tags: Python 验证码  点击:(55)  评论:(0)  加入收藏
▌简易百科推荐
大家好,我是菜鸟哥,今天跟大家一起聊一下Python4的话题! 从2020年的1月1号开始,Python官方正式的停止了对于Python2的维护。Python也正式的进入了Python3的时代。而随着时间的...【详细内容】
2021-12-28  菜鸟学python    Tags:Python4   点击:(1)  评论:(0)  加入收藏
学习Python的初衷是因为它的实践的便捷性,几乎计算机上能完成的各种操作都能在Python上找到解决途径。平时工作需要在线学习。而在线学习的复杂性经常让人抓狂。费时费力且效...【详细内容】
2021-12-28  风度翩翩的Python    Tags:Python   点击:(1)  评论:(0)  加入收藏
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  IT资料库    Tags:Python 库   点击:(2)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  子冉爱python    Tags:Python   点击:(4)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  程序汪小成    Tags:Python入门   点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  编程啊青    Tags:Verilog   点击:(9)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  修道猿    Tags:Python   点击:(6)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  我头秃了    Tags:python   点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  程序员小新ds    Tags:python初   点击:(5)  评论:(0)  加入收藏
Hi,大家好。我们在接口自动化测试项目中,有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ,接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
2021-12-21  Python可乐    Tags:Python   点击:(8)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条