您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

Window环境下编译Flink1.10源码

时间:2020-04-03 14:49:03  来源:  作者:

导读:Apache Flink是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。官方文档虽然很详细,但想对Flink进一步深入了解则需要阅读Flink的源码。本文主要讨论Flink源码获取编译,及可能会遇到的问题及解决方案。

Window环境下编译Flink1.10源码

 

基本环境

  • 至少JDK 8
  • Maven 3
  • Flink官网推荐工具使用 IDEA(下面内容均基于IDEA)

Flink源码拉取

//使用git从github拉取
https://github.com/apache/flink/

由于从GitHub拉取比较慢,解决的方式有多种。这里列举一种借助gitee的方式:

1、登录gitee -- 创建仓库 -- 导入已有仓库,耐心等待一段时间。

Window环境下编译Flink1.10源码

 

2、将代码从gittee clone到本地。

下载安装 Scala 插件

因Flink具有用scala编写的API,因需要配置Scala插件及Scala SDK。

配置Scala IDEA插件:File -- Settings -- Plugins -- Maketplace -- 搜索Scala -- install

Window环境下编译Flink1.10源码

 

下载并配置Scala SDK

https://www.scala-lang.org/download/     //从官网下载scala的SDK
Window环境下编译Flink1.10源码

 

配置Scala SDK:File -- Project Structure -- Platform Settings -- Global Libraries -- +号 -- 选择Scala SDK

Window环境下编译Flink1.10源码

 

这里选择Brown--指定刚下好Scala SDK 目录(解压)

Window环境下编译Flink1.10源码

 

执行编译命令

mvn clean install -DskipTests -Drat.skip=true  

可能会遇到的问题及解决方案

问题1:由于flink-runtime-web模块引入了frontend-maven-plugin依赖,并安装了node和部分依赖组件,会因网络原因导致 [ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.6:install-node-and-npm (install node and npm)

解决方式:

//修改 flink-runtime-web 的 pom,xml 文件镜像为淘宝镜像
<nodeDownloadRoot>http://npm.taobao.org/mirrors/node/</nodeDownloadRoot>
<npmDownloadRoot>http://npm.taobao.org/mirrors/npm/</npmDownloadRoot>
Window环境下编译Flink1.10源码

 

问题2:Could not resolve dependencies for project org.apache.flink:flink-avro-confluent-registry:jar:1.6.2:

解决方式:

//1、下载kafka-schema-registry-client-4.1.0.jar 
http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/4.1.0/kafka-schema-registry-client-4.1.0.jar 
//2、手动安装
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=4.1.0 -Dpackaging=jar  -Dfile=你所存放的目录/kafka-schema-registry-client-4.1.0.jar
//3、继续编译
mvn clean install -DskipTests -Drat.skip=true -rf :flink-avro-confluent-registry

编译完成

Window环境下编译Flink1.10源码

 

感谢您的阅读,如果喜欢本文欢迎关注和转发,本头条号将坚持原创,持续分享IT技术知识。对于文章内容有其他想法或意见建议等,欢迎提出共同讨论共同进步



Tags:Flink1.10   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
导读:Apache Flink是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。官方文档虽然很详细,但想对Flink进一步深入了解则需要阅读Flink的源码。本文主...【详细内容】
2020-04-03  Tags: Flink1.10  点击:(92)  评论:(0)  加入收藏
▌简易百科推荐
本文分为三个等级自顶向下地分析了glibc中内存分配与回收的过程。本文不过度关注细节,因此只是分别从arena层次、bin层次、chunk层次进行图解,而不涉及有关指针的具体操作。前...【详细内容】
2021-12-28  linux技术栈    Tags:glibc   点击:(3)  评论:(0)  加入收藏
摘 要 (OF作品展示)OF之前介绍了用python实现数据可视化、数据分析及一些小项目,但基本都是后端的知识。想要做一个好看的可视化大屏,我们还要学一些前端的知识(vue),网上有很多比...【详细内容】
2021-12-27  项目与数据管理    Tags:Vue   点击:(2)  评论:(0)  加入收藏
程序是如何被执行的&emsp;&emsp;程序是如何被执行的?许多开发者可能也没法回答这个问题,大多数人更注重的是如何编写程序,却不会太注意编写好的程序是如何被运行,这并不是一个好...【详细内容】
2021-12-23  IT学习日记    Tags:程序   点击:(9)  评论:(0)  加入收藏
阅读收获✔️1. 了解单点登录实现原理✔️2. 掌握快速使用xxl-sso接入单点登录功能一、早期的多系统登录解决方案 单系统登录解决方案的核心是cookie,cookie携带会话id在浏览器...【详细内容】
2021-12-23  程序yuan    Tags:单点登录(   点击:(8)  评论:(0)  加入收藏
下载Eclipse RCP IDE如果你电脑上还没有安装Eclipse,那么请到这里下载对应版本的软件进行安装。具体的安装步骤就不在这赘述了。创建第一个标准Eclipse RCP应用(总共分为六步)1...【详细内容】
2021-12-22  阿福ChrisYuan    Tags:RCP应用   点击:(7)  评论:(0)  加入收藏
今天想简单聊一聊 Token 的 Value Capture,就是币的价值问题。首先说明啊,这个话题包含的内容非常之光,Token 的经济学设计也可以包含诸多问题,所以几乎不可能把这个问题说的清...【详细内容】
2021-12-21  唐少华TSH    Tags:Token   点击:(10)  评论:(0)  加入收藏
实现效果:假如有10条数据,分组展示,默认在当前页面展示4个,点击换一批,从第5个开始继续展示,到最后一组,再重新返回到第一组 data() { return { qList: [], //处理后...【详细内容】
2021-12-17  Mason程    Tags:VUE   点击:(14)  评论:(0)  加入收藏
什么是性能调优?(what) 为什么需要性能调优?(why) 什么时候需要性能调优?(when) 什么地方需要性能调优?(where) 什么时候来进行性能调优?(who) 怎么样进行性能调优?(How) 硬件配...【详细内容】
2021-12-16  软件测试小p    Tags:性能调优   点击:(20)  评论:(0)  加入收藏
Tasker 是一款适用于 Android 设备的高级自动化应用,它可以通过脚本让重复性的操作自动运行,提高效率。 不知道从哪里听说的抖音 app 会导致 OLED 屏幕烧屏。于是就现学现卖,自...【详细内容】
2021-12-15  ITBang    Tags:抖音防烧屏   点击:(25)  评论:(0)  加入收藏
11 月 23 日,Rust Moderation Team(审核团队)在 GitHub 上发布了辞职公告,即刻生效。根据公告,审核团队集体辞职是为了抗议 Rust 核心团队(Core team)在执行社区行为准则和标准上...【详细内容】
2021-12-15  InfoQ    Tags:Rust   点击:(25)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条