您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

时间:2020-07-11 13:38:18  来源:  作者:
Python 抓取沪深A股重大公告,实现手机24小时实时监控!

前言

往期的文章中,基本上都是写策略。而今天,作者将利用Python抓取东方财富上面的,当日上市公布重大事项内容。

上市公司的公告,也是对我们交易来说也是有一定的意义的。

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

上市公司的公告有的会在盘中进行公布,我可以做到实时监控重大事项的动态,这将有助于辅助交易。

因此,作者将从东方财富上抓取的上市公司公告,通过钉钉所提供的机器人接口就发送到手机

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

实现上市公司重大事项监控的业务逻辑。

想要动态获取上市公司的公告,程序就必须得一直刷新。用刷新前的数据与刷新后的数据对比。如果最新的数据比上一刻的数据要长,说明有新的公告发布。此时,我们在进行后续的操作。

如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

效果如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

上述就是,实现监控上市公司最新公告的整个逻辑。由于我们爬取的是动态加载的数据,需要找到存放上市公司公告的数据文件的url才能够抓取

作者在接下来会非常详细的为大家介绍,整个功能是如何实现的!

利用Python 实现监控上市公司最新发布的公告。

在开始之前,首先要保证你已经下载了钉钉PC端,注册账号并登陆。作者将用6步完成整个功能的实现,让我们开始吧。

1.第一步,导入对应的包和随机请求头。

作者将使用xpath,来获取网页信息,xpath是一个非常简单实用的工具,建议使用它来进行抓取数据。

如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

2.第二步,获取从00:00 到目前已发布的所有公告数据。

我们程序在启动之前,要知道已经发布了的公告有哪些,这些数据是不会被推送的。

1) 获取已发布的公告url。通过xpath获取每页的公告,并通过正则提取出每个股票公告详情页面的链接

以便我们在后面找到对应的PDF文件链接。

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

代码如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

上图中的url,我们需要到js文件中才能找到。

如下图:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

url就在header里面。

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

2) 获取当日已发布的公告链接。

这里作者会通过字符串的截取,将公告的里的时间截取出来和本地计算机时间相比。如果相同,则为当日公告。

反之,则为昨日公告。

链接如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

代码实现:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

3.第三步,获取最新公告中的PDF链接和标题。

这一步相对复杂一点点。我们首先通过Whlie循环,不断的运行上面的函数。

1)当获取到数据后,与上一次对比。如果产生了新的数据,那么就存入待推送公告的列表中。

代码如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

run:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

2) 上图中的info和PDF,就是当日最新发布的公告。我们会通过下面这个函数,抓取公告对应的PDF文件链接。

以及,将公告标题的格式格式化。具体格式为(股票代码):公告标题。

代码如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!
Python 抓取沪深A股重大公告,实现手机24小时实时监控!

run:

(002719):*ST麦趣关于对公司2019年年报的问询函相关问题的专项说明。.....

4.第四步,将最新公告的链接缩短,并向钉钉发送post请求。

由于PDF的链接过于长,所以作者通过一个短网址的API将其缩短。

这样的话,在钉钉接收数据的时候页面看起来就比较的简洁。

1) 通过API缩短网址。

代码如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

run:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

2) 向钉钉发送post请求。

① 准备工作。

首先,我们需要在钉钉群中点击-右上角第一个按钮,进入智能群助手里并添加一个机器人。

如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

其次,复制下面的链接,接下来我们将最新的上市公司公告数据向这个链接发送post请求。

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

https://oapi.dingtalk.com/robot/send?access_token=a9cc560b7fbbabfc43406f1aba598bd4684ca093a1f44167715366d90a9faa85

② 通过sent_msg()方法,向钉钉推送最新的上市公司公告数据。

代码如下图所示:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

run:

Python 抓取沪深A股重大公告,实现手机24小时实时监控!

小结。

上述,实现了上市公司公告实时监控的功能,并通过钉钉接收消息。文章分享的是一个比较初级的版本。

读者可以根据自己的需要进行修改,例如一次性送多条数据等等。

最后

其实主要的是接收信息的这么一个平台,如果没有它,我们抓取的数据就不能够很好的、及时的传递到我们的移动端或pc端。

当然了,我们还可以利用钉钉这个接口将自己的量化交易策略成交回报,发送至手机,以达到监控策略持仓的目的。

文章及代码仅供交流学习,切勿用于非法用途。



Tags:Python   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
大家好,我是菜鸟哥,今天跟大家一起聊一下Python4的话题! 从2020年的1月1号开始,Python官方正式的停止了对于Python2的维护。Python也正式的进入了Python3的时代。而随着时间的...【详细内容】
2021-12-28  Tags: Python  点击:(1)  评论:(0)  加入收藏
学习Python的初衷是因为它的实践的便捷性,几乎计算机上能完成的各种操作都能在Python上找到解决途径。平时工作需要在线学习。而在线学习的复杂性经常让人抓狂。费时费力且效...【详细内容】
2021-12-28  Tags: Python  点击:(1)  评论:(0)  加入收藏
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  Tags: Python  点击:(2)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  Tags: Python  点击:(4)  评论:(0)  加入收藏
近日只是为了想尽办法为 Flask 实现 Swagger UI 文档功能,基本上要让 Flask 配合 Flasgger, 所以写了篇 Flask 应用集成 Swagger UI 。然而不断的 Google 过程中偶然间发现了...【详细内容】
2021-12-23  Tags: Python  点击:(6)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  Tags: Python  点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  Tags: Python  点击:(8)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  Tags: Python  点击:(6)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  Tags: Python  点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  Tags: Python  点击:(5)  评论:(0)  加入收藏
▌简易百科推荐
大家好,我是菜鸟哥,今天跟大家一起聊一下Python4的话题! 从2020年的1月1号开始,Python官方正式的停止了对于Python2的维护。Python也正式的进入了Python3的时代。而随着时间的...【详细内容】
2021-12-28  菜鸟学python    Tags:Python4   点击:(1)  评论:(0)  加入收藏
学习Python的初衷是因为它的实践的便捷性,几乎计算机上能完成的各种操作都能在Python上找到解决途径。平时工作需要在线学习。而在线学习的复杂性经常让人抓狂。费时费力且效...【详细内容】
2021-12-28  风度翩翩的Python    Tags:Python   点击:(1)  评论:(0)  加入收藏
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  IT资料库    Tags:Python 库   点击:(2)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  子冉爱python    Tags:Python   点击:(4)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  程序汪小成    Tags:Python入门   点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  编程啊青    Tags:Verilog   点击:(8)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  修道猿    Tags:Python   点击:(6)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  我头秃了    Tags:python   点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  程序员小新ds    Tags:python初   点击:(5)  评论:(0)  加入收藏
Hi,大家好。我们在接口自动化测试项目中,有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ,接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
2021-12-21  Python可乐    Tags:Python   点击:(8)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条