蓝鲸智云作业平台产品白皮书

导出PDF

前言

随着移动互联网和网络游戏的兴起和发展,全世界都卷入了一场前所未有的创业浪潮。谁掌握了能够支撑爆发式用户增长,并稳定运营维护的秘诀,既离成功不远了;在运维基础平台的领域里,作业平台是一套已经在腾讯互娱内部运行多年,稳定可靠的、具有大并发处理能力的操作平台。

1.产品概述

作业平台(Job)是一套基于蓝鲸智云管控平台 Agent 管道之上的基础操作平台,具备大并发处理能力;除了支持脚本执行、文件拉取/分发、定时任务等一系列可实现的基础运维场景以外,还运用流程化的理念很好的将零碎的单个任务组装成一个作业流程;而每个任务都可做为一个原子节点,提供给其它系统和平台调度,实现调度自动化。

2 核心优势

2.1 传输文件更灵活、快速

作业平台的任务执行和文件传输都是基于 Agent 触发的,Agent 使用 BT(BitTorrent) 方案应对大文件传输,使得文件拉取和传输更加高速、效率。

文件的拉取和传送不再仅限于“点对多”的方式,我们采用了独特创新的“多对多、多对一”的模式,让以往零散复杂的文件分发任务变得更方便快捷。

2.2 更清晰的 web 化脚本管理

云化脚本管理模式,帮助运维团队协作管理更清晰;多个协作者可借助平台进行脚本共享使用,除了脚本单独执行外,也可将多个脚本或文件传输流程串接组合成作业任务。

2.3 万级并发,让批量执行更高效

真正意义上的支持过万级并发执行任务,不必因企业发展加速、服务器管理规模扩大而带来的操作执行性能和效率上的问题而担忧!

2.4 流程式管理,一切皆“作业”

面对特定的版本发布或变更的特性场景下,我们往往需要执行多个步骤;例如,停进程、拉取版本文件、分发版本文件到各个节点机器,最后再拉起进程正式对外服务;这就需要很多个步骤执行动作,你也可以选择将所有步骤封装成一个大脚本,但这太低效了,并且维护成本会很高。

作业平台的作业管理模块很好的解决了这个问题,用户只需要将某一个特定业务场景的脚本或文件传输操作,按照顺序组装定制成一个作业任务,以后便可一键完成整套操作,即方便又便于管理。

2.5 “秒级”定时,任务执行 Timing 更精准

突破了传统 Linux 系统自带的分钟级定时任务,作业平台能够支持到以秒为最小时间粒度的定时任务计划;且每个定时任务执行过程都会被记录日志,让一切操作都可追溯。

2.6 开放 API 接口,以原子形态连接一切

作业平台还开放了 API 接口,以原子节点的形态开放提供给其它系统或平台进行调度,真正意义上的“连接一切”。

3. 版本差异

序号 功能特性 社区版 企业版 公有云
1 无限制的管控节点
2 可视化任务编排
3 支持Windows/Linux等主流OS
3 敏感数据加密
5 操作审计
6 作业全局变量
7 公共脚本库
8 SQL执行 ×
9 支持PowerShell
10 文件分发支持正则表达式 × ×
11 目录分发 × ×
12 API访问次数无限制 × ×
13 支持AIX小型机 × ×
14 企业级分布式高可用方案 × ×
15 企业级作业定制 × ×
16 出错通知机制 ×
17 二级密码验证 × ×
18 脚本引用 ×
19 脚本版本管理 ×

表一:作业平台各版本功能对比表

4.功能介绍

特性 子特性 功能描述
作业执行 快速脚本执行 可通过手动编写、从已有的脚本克隆、从本地上传,三种方式导入脚本并批量执行。
快速分发文件 支持本地上传和服务器上选择两种方式,除了一对多,还可以多对多、多对一形式进行文件分发。
快速SQL执行 支持SQL批量执行
常用作业执行 查看已经保存的作业任务,可进行“执行、克隆、编辑、定时、删除”操作。
新建作业 将多个脚本执行或文件分发的节点结合在一个流程步骤内,形成一个新建的作业任务。
定时作业 对已创建的作业任务进行定时启停,可修改和删除。
业务管理 账户管理 对服务器上的用户进行注册登记和管理。
脚本管理 新建、执行、编辑和删除脚本。
DB账户管理 针对SQL执行功能,设置DB账户
SQL管理 针对常用SQL脚本的管理
执行历史 执行历史 对所有在作业平台执行过的脚本执行、文件分发、API调用、定时任务等操作进行记录,方便查看详情。
个人设置 通知管理 针对作业执行成功、失败、等待执行等三类场景进行通知,确保完成整个作业执行流程
安全管理 针对作业执行的一些安全设置,比如“多平台IP在同一作业执行时的提醒功能”
英文版本 英文版本 操作界面支持英文

业务总览

查看业务的设备和作业执行状态。

4.1 快速脚本执行

快速的进行脚本的批量执行操作。

4.2 快速分发文件

快速的将文件分发到多台服务器上(Linux/Windows)。

4.3 快速 SQL 执行

批量执行 SQL 脚本

4.4 常用作业执行

查看已经保存的作业任务,可进行“执行、克隆、编辑、定时、删除”操作。

4.5 新建作业

将多个脚本执行或文件分发的节点结合在一个流程步骤内,形成一个新建的作业任务。

4.6 定时作业

对已创建的作业任务进行定时启停,可修改和删除。

4.7 帐户管理

对服务器上的用户进行注册登记和管理。

4.8 脚本管理

新建、执行、编辑和删除脚本。

4.9 DB 账户管理

针对 SQL 执行功能,设置 DB 账户

4.10 SQL 管理

针对常用 SQL 脚本的管理

4.11 执行历史

对所有在作业平台执行过的脚本执行、文件分发、API 调用、定时任务等操作进行记录,方便查看详情。

4.12 通知管理

针对作业执行成功、失败、等待执行等三类场景进行通知,确保完成整个作业执行流程

4.13 安全管理

针对作业执行的一些安全设置,比如“多平台 IP 在同一作业执行时的提醒功能”

4.14 英文版本

操作界面支持英文

5.入门指南

5.1 快速脚本执行

在服务器上快速执行一次性脚本

执行的脚本类型支持ShellbatPerlPythonPowerShell

5.2 快速分发文件

5.2.1 从本地分发文件到服务器

本地文件fta_white_paper.pdf上传到远程服务器/tmp/`目录

5.2.2 从服务器分发文件到服务器

A服务器/tmp/index.html文件上传到B服务器/tmp/目录

6.场景案例

6.1 常用作业执行

常用作业的功能引入了流程编排的理念,将原子任务组装成一个复杂的运维场景,比如版本发布、变更、扩容,也可以把原子任务提供给上层SaaS(如标准运维、故障自愈等)实现调度自动化。

我们先执行一个作业,然后再来创建一个作业。

6.1.1 执行常见作业

6.1.2 创建作业

创建一个运维常见的发布场景(包括分发补丁停服更新二进制补丁更新DB补丁起服等5个步骤)

6.2 SQL执行

作业平台除了支脚本执行、文件分发外,还支持SQL执行

当前支持部署在Linux下的MySQL、Oracle数据库

6.2.1 SQL执行 - MySQL

6.2.2 SQL执行 - Oracle

6.2.3 添加DB账户

SQL执行功能以 DB账号别名作为DB账号的唯一标识,关联对应的DB账号DB密码DB端口DB类型执行SQL的系统账户

7.结语

通过使用蓝鲸智云作业平台来管理您的基础运维操作,除了具备万级高并发性能优势,灵活的动态分组功能让传统的反复勾选操作成为过去,实现将一个的操作流程制作成完整的作业任务,丰富的API开放接口使得作业任务原子化后,业务可以进一步扩大使用场景;所以,请放心将您的工作交给它!

说明:蓝鲸智云可能不定期根据外部市场需求变化和技术进展对以上描述的功能特性、计费方式进行升级或变更。具体功能特性以官网实时发布特性为准。

本文档是否对您有帮助?