【云计算】工作流调度器之azkaban介绍，安装，测试案例-职坐标

【云计算】工作流调度器之azkaban介绍，安装，测试案例

小标 2018-12-24 来源：阅读 1013 评论 0

摘要：本文主要向大家介绍了【云计算】工作流调度器之azkaban介绍，安装，测试案例，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】工作流调度器之azkaban介绍，安装，测试案例，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

1 介绍

1.1 需要工作流调度系统的原因
一个完整的数据分析系统通常都是由大量任务单元组成，shell脚本程序，java程序，mapreduce程序、hive脚本等。各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

1.2 数据处理流程

某个业务系统每天产生大量的原始数据，处理步骤如下所示。

通过Hadoop先将原始数据同步到HDFS上；借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；将明细数据进行复杂的统计分析，得到结果报表信息；需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

1.3 工作流调度实现方式

简单的任务调度：直接使用linux的crontab来定义；

复杂的任务调度：开发调度平台,或使用现成的开源调度系统，比如ooize、azkaban等.

1.4 常见工作流调度系统

在hadoop领域，常见的工作流调度器有Oozie, Azkaban,Cascading,Hamake等.

1.5 Azkaban介绍

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点：

Web用户界面方便上传工作流方便设置任务之间的关系调度工作流认证/授权(权限的工作) 能够杀死并重新启动工作流模块化和可插拔的插件机制项目工作区工作流和任务的日志记录和审计

2 Azkaban安装部署

2.1 准备工作

Azkaban Web服务器：azkaban-web-server-2.5.0.tar.gz

Azkaban执行服务器：azkaban-executor-server-2.5.0.tar.gz

目前azkaban只支持 mysql,需安装mysql服务器

2.2 解压安装包

tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C azkaban

tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C azkaban

2.3 脚本导入mysql

mysql -uroot -proot

2.4 创建 SSL 配置

参考地址

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

这里配置的密码是123456

完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/server

2.5 配置服务器节点的时区

先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可. 拷贝该时区文件，覆盖系统本地时区配置

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2.6 修改azkaban.properties

目录/home/hadoop/azkaban/server/conf

#Azkaban Personalization Settings
azkaban.name=Test                           #服务器UI名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban                               #描述
azkaban.color=#FF3601                                                 #UI颜色
azkaban.default.servlet.path=/index                         #
web.resource.dir=web/                                                 #默认根web目录
default.timezone.id=Asia/Shanghai                           #默认时区,已改为亚洲/上海默认为美国

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager   #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml              #用户配置,具体配置参加下文

#Loader for projects
executor.global.properties=conf/global.properties    # global配置文件所在位置
azkaban.project.dir=projects                                                #

database.type=mysql                                                              #数据库类型
mysql.port=3306                                                                       #端口号
mysql.host=localhost                                                      #数据库连接IP
mysql.database=azkaban                                                       #数据库实例名
mysql.user=root                                                                 #数据库用户名
mysql.password=root                                                          #数据库密码
mysql.numconnections=100                                                  #最大连接数

# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
jetty.maxThreads=25                                                               #最大线程数
jetty.ssl.port=8443                                                                   #Jetty SSL端口
jetty.port=8081                                                                         #Jetty端口
jetty.keystore=keystore                                                          #SSL文件名
jetty.password=123456                                                             #SSL文件密码
jetty.keypassword=123456                                                      #Jetty主密码与 keystore文件相同
jetty.truststore=keystore                                                                #SSL文件名
jetty.trustpassword=123456                                                   # SSL文件密码

# 执行服务器属性
executor.port=12321                                                               #执行服务器端口

# 邮件设置
mail.sender=xxxxxxxx@163.com                                       #发送邮箱
mail.host=smtp.163.com                                                       #发送邮箱smtp地址
mail.user=xxxxxxxx                                       #发送邮件时显示的名称
mail.password=**********                                                 #邮箱密码
job.failure.email=xxxxxxxx@163.com                              #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com                            #任务成功时发送邮件的地址
lockdown.create.projects=false                                           #
cache.directory=cache                                                            #缓存目录
#Loader for projects
executor.global.properties=conf/global.properties    # global配置文件所在位置
azkaban.project.dir=projects                                                #

database.type=mysql                                                              #数据库类型
mysql.port=3306                                                                       #端口号
mysql.host=localhost                                                      #数据库连接IP
mysql.database=azkaban                                                       #数据库实例名
mysql.user=root                                                                 #数据库用户名
mysql.password=root                                                          #数据库密码
mysql.numconnections=100                                                  #最大连接数

# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
jetty.maxThreads=25                                                               #最大线程数
jetty.ssl.port=8443                                                                   #Jetty SSL端口
jetty.port=8081                                                                         #Jetty端口
jetty.keystore=keystore                                                          #SSL文件名
jetty.password=123456                                                             #SSL文件密码
jetty.keypassword=123456                                                      #Jetty主密码与 keystore文件相同
jetty.truststore=keystore                                                                #SSL文件名
jetty.trustpassword=123456                                                   # SSL文件密码

# 执行服务器属性
executor.port=12321                                                               #执行服务器端口

# 邮件设置
mail.sender=xxxxxxxx@163.com                                       #发送邮箱
mail.host=smtp.163.com                                                       #发送邮箱smtp地址
mail.user=xxxxxxxx                                       #发送邮件时显示的名称
mail.password=**********                                                 #邮箱密码
job.failure.email=xxxxxxxx@163.com                              #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com                            #任务成功时发送邮件的地址
lockdown.create.projects=false                                           #
cache.directory=cache                                                            #缓存目录

2.7 配置 azkaban-users.xml

目录 /home/hadoop/azkaban/server/conf

2.8 执行服务器 executor 配置

/home/hadoop/azkaban/executor/conf/azkaban.properties

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

3 启动

3.1 启动 web 服务器

在azkaban web服务器目录下执行启动命令 bin/azkaban-web-start.sh

或者启动到后台
nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out &

3.2 启动执行服务器

在执行服务器目录下执行启动命令bin/azkaban-executor-start.sh

[hadoop@node1 ~]$ cd azkaban/executor/
[hadoop@node1 executor]$ bin/azkaban-executor-start.sh
Using Hadoop from /home/hadoop/apps/hadoop-2.7.6
Using Hive from /home/hadoop/apps/hive
bin/..
:bin/../lib/azkaban-2.5.0.jar:bin/../lib/commons-collections-3.2.1.jar:bin/../lib/commons-configuration-1.8.jar:bin/../lib/commons-dbcp-1.4.jar:bin/../lib/commons-dbutils-1.5.jar:bin/../lib/commons-email-1.2.jar:bin/../lib/commons-fileupload-1.2.1.jar:bin/../lib/commons-io-2.4.jar:bin/../lib/commons-jexl-2.1.1.jar:bin/../lib/commons-lang-2.6.jar:bin/../lib/commons-logging-1.1.1.jar:bin/../lib/commons-pool-1.6.jar:bin/../lib/guava-13.0.1.jar:bin/../lib/h2-1.3.170.jar:bin/../lib/httpclient-4.2.1.jar:bin/../lib/httpcore-4.2.1.jar:bin/../lib/jackson-core-asl-1.9.5.jar:bin/../lib/jackson-mapper-asl-1.9.5.jar:bin/../lib/jetty-6.1.26.jar:bin/../lib/jetty-util-6.1.26.jar:bin/../lib/joda-time-2.0.jar:bin/../lib/jopt-simple-4.3.jar:bin/../lib/junit-4.8.jar:bin/../lib/log4j-1.2.16.jar:bin/../lib/mail-1.4.5.jar:bin/../lib/mysql-connector-java-5.1.28.jar:bin/../lib/servlet-api-2.5.jar:bin/../lib/slf4j-api-1.6.1.jar:bin/../lib/slf4j-log4j12-1.6.4.jar:bin/../lib/velocity-1.7.jar:bin/../lib/velocity-tools-2.0.jar:bin/../extlib/*.jar:bin/../plugins/*/*.jar:/home/hadoop/apps/hadoop-2.7.6/conf:/home/hadoop/apps/hadoop-2.7.6/*:/home/hadoop/apps/hive/conf:/home/hadoop/apps/hive/lib/*
Starting AzkabanExecutorServer on port 12321 ...
[hadoop@node1 executor]$ 2018/09/05 22:41:41.739 +0800 ERROR [AzkabanExecutorServer] [Azkaban] Starting Jetty Azkaban Executor...
2018/09/05 22:41:41.758 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban settings file from bin/../conf
2018/09/05 22:41:41.758 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban private properties file
2018/09/05 22:41:41.759 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban properties file
2018/09/05 22:41:41.781 +0800 INFO [AzkabanExecutorServer] [Azkaban] Setting timezone to Asia/Shanghai
2018/09/05 22:41:41.804 +0800 INFO [log] [Azkaban] Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2018/09/05 22:41:41.945 +0800 INFO [FlowRunnerManager] [Azkaban] Execution dir retention set to 86400000 ms
2018/09/05 22:41:41.995 +0800 INFO [AzkabanExecutorServer] [Azkaban] Registering MBeans...
2018/09/05 22:41:42.003 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxJettyServer registered.
2018/09/05 22:41:42.006 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning recently finished
2018/09/05 22:41:42.032 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old projects
2018/09/05 22:41:42.032 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old execution dirs
2018/09/05 22:41:42.035 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxFlowRunnerManager registered.
2018/09/05 22:41:42.035 +0800 INFO [log] [Azkaban] jetty-6.1.26
2018/09/05 22:41:42.152 +0800 INFO [log] [Azkaban] Started SocketConnector@0.0.0.0:12321
2018/09/05 22:41:42.153 +0800 INFO [AzkabanExecutorServer] [Azkaban] Azkaban Executor Server started on port 12321