Linkis下载-微服务架构 v0.11.0

软件介绍

Linkis是一个体积小巧、占用系统资源空间不大的微服务框架架构，支持TiSpark、Python、HBase等多个计算存储引擎，对外提供统一的REST、WebSocket、JDBC接口以及提交执行SQL、Scala等脚本的计算中间件，为用户提供金融多级租户隔离、资源观看以及权限隔离等操作功能；Linkis微服务框架功能强大、简单专业，支持统一变量、函数以及用户资源文件管理等多种功能，可为用户提供统一存储、上下文以及资料库等公共服务，同时可以进行离线批量操作、开发探索、可视化BI等特色功能操作，非常的简单实用

软件功能

1.Linkis管理台

用户可以查看和管理自己的Job

用户可以查看和管理自己的引擎

用户可以查看Yarn的资源使用情况和用户资源使用排名

用户可以配置引擎的启动参数

用户可以设置变量

2.支持标签功能

支持给EngineManager打标签

启动引擎时，支持为引擎打标签

支持通过标签访问目标引擎

3.AppGovernance应用治理实现

系统级、用户级应用全生命周期管理，包括离线批量、交互式查询和实时流式应用

为离线和交互式应用提供复用能力和智能切换能力

智能限流、应用智能保护

4.支持Flink和SparkStructuredStreaming

软件特色

统一作业执行服务：一个分布式的REST/WebSocket服务，用于接收用户提交的各种脚本请求。

目前支持的计算引擎有：Spark、Python、TiSpark、Hive和Shell等。

支持的脚本语言有：SparkSQL、SparkScala、Pyspark、R、Python、HQL和Shell等；

资源管理服务：支持实时管控每个系统和用户的资源使用情况，限制系统和用户的资源使用量和并发数，并提供实时的资源动态图表，方便查看和管理系统和用户的资源；

目前已支持的资源类型：Yarn队列资源、服务器（CPU和内存）、用户并发个数等。

应用管理服务：管理所有系统的所有用户应用，包括离线批量应用、交互式查询应用和实时流式应用，为离线和交互式应用提供强大的复用能力，并提供应用全生命周期管理，自动释放用户多余的空闲应用；

统一存储服务：通用的IO架构，能快速对接各种存储系统，提供统一调用入口，支持所有常用格式数据，集成度高，简单易用；

统一上下文服务：统一用户和系统资源文件（JAR、ZIP、Properties等），用户、系统、计算引擎的参数和变量统一管理，一处设置，处处自动引用；

物料库：系统和用户级物料管理，可分享和流转，支持全生命周期自动管理；

元数据服务：实时的库表结构和分区情况展示。

官方教程

一，确定您的安装环境

Linkis根据安装的难易程度，提供了以下几种安装环境的准备方式，其区别如下：

精简版：

最小环境依赖，单中断安装模式，只包含Python引擎，只需要用户Linux环境支持Python就可以。

请注意：精简版只允许用户提交Python脚本。

点我进入精简版Linkis环境准备

简单版：

依赖Python，Hadoop和Hive，分布式安装模式，包含Python引擎和Hive引擎，需要用户的Linux环境先安装好了Hadoop和Hive。

简单版允许用户提交HiveQL和Python脚本。

点我进入简单版Linkis环境准备

标准版

依赖Python，Hadoop，Hive和Spark，分散安装模式，包含Python引擎，Hive引擎和Spark引擎，需要用户的Linux环境先安装好了Hadoop，Hive和Spark，Linkis的机器依赖占用的hadoop/hive/spark的配置文件，并不需要和DataNode和NameNode机器部署在一起，在单独的客户端机器上面部署即可。

标准版允许用户提交Spark脚本（包含SparkSQL，Pyspark和Scala），HiveQL和Python脚本。请注意：安装标准版需要机器内存在10G以上如果机器内存不足，需要添加或修改环境变量：exportSERVER_HEAP_SIZE="512M"

点我进入标准版Linkis环境准备

二，精简版Linkis环境准备

一种。基础软件安装

下面的软件必装：

MySQL（5.5+），如何安装MySQL

JDK（1.8.0_141以上），如何安装JDK

Python（2.x和3.x都支持），如何安装Python

b。创建用户

例如：部署用户是hadoop账号

在部署机器上创建部署用户，用于安装

须藤useraddhadoop

因为Linkis的服务基于sudo-u${linux-user}方式来切换引擎，从而执行作业，所以部署用户需要有sudo权限，而且是免密的。

vi/etc/sudoers

hadoopALL=(ALL)NOPASSWD:NOPASSWD:ALL

如果您的Python想拥有画图功能，则还需在安装串口，安装画图模块。命令如下：

python-mpip安装matplotlib

C。安装包准备

从Linkis已发布的版本中（单击此处进入下载页面），下载最新安装包。

先解压安装包到安装目录，逐步解压后的文件进行配置修改。

tar-xvfwedatasphere-linkis-xxx-dist.tar.gz

（1）修改基础配置

（2）修改数据库配置

环境准备完毕，点我进入五，安装和使用

三，简单版Linkis环境准备

一种。基础软件安装

下面的软件必装：

MySQL（5.5+），如何安装MySQL

JDK（1.8.0_141以上），如何安装JDK

Python（2.x和3.x都支持），如何安装Python

Hadoop（社区版和CDH3.0以下版本都支持）

Hive（1.2.1，2.0和2.0以上版本，可能存在兼容性问题）

b。创建用户

例如：部署用户是hadoop账号

在所有需要部署的机器上创建部署用户，进行安装

须藤useraddhadoop

因为Linkis的服务基于sudo-u${linux-user}方式来切换引擎，从而执行作业，所以部署用户需要有sudo权限，而且是免密的。

在每台安装子系统设置如下的多个环境变量中，杀死Linkis能正常使用Hadoop和Hive

修改安装用户的.bash_rc，命令如下：

C。SSH免密配置（分布式模式必须）

如果您的Linkis都部署在同一台服务器上，本步骤可以跳过。

如果您的Linkis部署在多台服务器上，那么您还需要为这些服务器配置ssh免密登陆。

如何配置SSH免密登陆

d。安装包准备

从Linkis已发布的版本中（单击此处进入下载页面），下载最新安装包。

先解压安装包到安装目录，逐步解压后的文件进行配置修改。

tar-xvfwedatasphere-linkis-xxx-dist.tar.gz

（1）修改基础配置

（2）修改数据库配置

环境准备完毕，点我进入五，安装和使用

四，标准版Linkis环境准备

一种。基础软件安装

下面的软件必装：

MySQL（5.5+），如何安装MySQL

JDK（1.8.0_141以上），如何安装JDK

Python（2.x和3.x都支持），如何安装Python

Hadoop（社区版和CDH3.0以下版本都支持）

Hive（1.2.1，2.0和2.0以上版本，可能存在兼容性问题）

Spark（Linkis版本0.7.0开始，支持Spark2.0以上所有版本）

b。创建用户

例如：部署用户是hadoop账号

在所有需要部署的机器上创建部署用户，进行安装

须藤useraddhadoop

因为Linkis的服务基于sudo-u${linux-user}方式来切换引擎，从而执行作业，所以部署用户需要有sudo权限，而且是免密的。

在每台安装子系统设置如下的多个环境变量中，杀死Linkis能正常使用Hadoop，Hive和Spark

修改安装用户的.bash_rc，命令如下：

如果您的Pyspark想拥有画图功能，则还需在所有安装路由器，安装画图模块。命令如下：

python-mpip安装matplotlib

C。SSH免密配置（分布式模式必须）

如果您的Linkis都部署在同一台服务器上，本步骤可以跳过。

如果您的Linkis部署在多台服务器上，那么您还需要为这些服务器配置ssh免密登陆。

如何配置SSH免密登陆

d。安装包准备

从Linkis已发布的版本中（单击此处进入下载页面），下载最新安装包。

先解压安装包到安装目录，逐步解压后的文件进行配置修改。

tar-xvfwedatasphere-linkis-xx0-dist.tar.gz

（1）修改基础配置

（2）修改数据库配置

五，安装和使用

1.执行安装脚本：

shbin/install.sh

2.安装步骤

install.sh脚本会询问您安装模式。

安装模式就是精简模式，简单模式或标准模式，请根据您准备的环境情况，选择合适的安装模式。

install.sh脚本会询问您是否需要初始化数据库并导入元数据。

因为担心用户重复执行install.sh脚本，把数据库中的用户数据清空，所以在install.sh执行时，会询问用户是否需要初始化数据库并导入元数据。

第一次安装必须选是。

3.是否安装成功：

通过查看控制台打印的日志信息查看是否安装成功。

如果有错误信息，可以查看具体报错原因。

您也可以通过查看我们的常见问题，获取问题的解答。

4.快速启动Linkis

（1），启动服务：

在安装目录执行以下命令，启动所有服务：

./bin/start-all.shstart.log2start_error.log

（2），查看是否启动成功

可以在Eureka界面查看服务启动成功情况，查看方法：

使用http：//${EUREKA_INSTALL_IP}：${EUREKA_PORT}，在浏览器中打开，查看服务是否注册成功。

如果您没有在config.sh中指定EUREKA_INSTALL_IP和EUREKA_INSTALL_IP，则HTTP地址为：https://127.0.0.1:20303

如下图，如您的Eureka主页出现以下微服务，则表示服务都启动成功，可以正常对外提供服务了：

注意：其中标红的为DSS服务，其余为Linkis服务，如果只使用linkis可以忽略标红的部分

5.快速使用Linkis

（1），概述

Linkis为用户提供了Java客户端的实现，用户可以使用UJESClient对Linkis后台服务实现快速访问。

（2），快速运行

我们在ujes/client/src/test模块下，提供了UJESClient的两个测试类：

如果您克隆了Linkis的源代码，可以直接运行这两个测试类。

（3），快速实现

下面具体介绍如何快速实现一次对Linkis的代码提交执行。

5.3.1maven依赖

5.3.2参考实现

爪哇

斯卡拉

Tags:Linkis下载,微服务架构,源码相关