Azkaban简介

阅读量：243 次

发布时间：2019-03-01

本文共 467 字，大约阅读时间需要 1 分钟。

Azkaban简介

一、Azkaban 介绍

1.1 背景

一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：

如何定时调度某个任务？

如何在某个任务执行完成后再去执行另一个任务？

如何在任务失败时候发出预警？

…

面对这些问题，工作流调度系统应运而生。Azkaban 就是其中之一。

1.2 功能

Azkaban 产生于 LinkedIn，并经过多年生产环境的检验，它具备以下功能：

兼容任何版本的 Hadoop

易于使用的 Web UI

可以使用简单的 Web 页面进行工作流上传

支持按项目进行独立管理

定时任务调度

模块化和可插入

身份验证和授权

跟踪用户操作

支持失败和成功的电子邮件提醒

SLA 警报和自动查杀失败任务

重试失败的任务

Azkaban 的设计理念是在保证功能实现的基础上兼顾易用性，其页面风格清晰明朗，下面是其 WEB UI 界面：

二、Azkaban 和 Oozie

<

转载地址：http://ikxv.baihongyu.com/

你可能感兴趣的文章

MYSQL 幻读（Phantom Problem）不可重复读

mysql 往字段后面加字符串

mysql 快速自增假数据，新增假数据，mysql自增假数据

Mysql 批量修改四种方式效率对比（一）

Mysql 报错 Field 'id' doesn't have a default value

MySQL 报错：Duplicate entry 'xxx' for key 'UNIQ_XXXX'

Mysql 拼接多个字段作为查询条件查询方法

mysql 排序id_mysql如何按特定id排序

Mysql 提示：Communication link failure

mysql 插入是否成功_PDO mysql：如何知道插入是否成功

Mysql 数据库InnoDB存储引擎中主要组件的刷新清理条件：脏页、RedoLog重做日志、Insert Buffer或ChangeBuffer、Undo Log

mysql 数据库中 count(*),count(1),count(列名)区别和效率问题

mysql 数据库备份及ibdata1的瘦身

MySQL 数据库备份种类以及常用备份工具汇总

mysql 数据库存储引擎怎么选择？快来看看性能测试吧

MySQL 数据库操作指南：学习如何使用 Python 进行增删改查操作

MySQL 数据库的高可用性分析

MySQL 数据库设计总结

Mysql 数据库重置ID排序

Mysql 数据类型一日期