第三方应用如何通过HTTP接入Linkis

发布时间：2022-01-05 19:26:41 作者：柒染
来源：亿速云阅读：200

# 第三方应用如何通过HTTP接入Linkis

## 摘要
本文详细阐述第三方应用通过HTTP协议接入Apache Linkis大数据中间件的完整流程，涵盖架构原理、接口规范、认证授权、性能优化等核心环节，并提供Java/Python两种语言的实战代码示例。文章适用于需要与Linkis服务集成的大数据开发工程师和系统架构师。

---

## 一、Linkis HTTP接入架构概述

### 1.1 Linkis的微服务架构
Linkis采用分层微服务设计，主要包含以下核心组件：
- **Gateway**：统一的HTTP入口，处理路由转发和负载均衡
- **PublicService**：公共服务层（用户管理、资源调度等）
- **EngineManager**：引擎生命周期管理
- **Entrance**：任务执行入口
- **EngineConn**：实际执行引擎（Spark/Hive等）

```mermaid
graph TD
    A[第三方应用] -->|HTTP/WS| B(Linkis Gateway)
    B --> C{路由分发}
    C -->|用户认证| D[PublicService]
    C -->|任务提交| E[Entrance]
    C -->|引擎管理| F[EngineManager]

1.2 HTTP接口核心特性

Restful风格API：基于Spring Cloud框架开发
多协议支持：
- 同步调用：HTTP POST/GET
- 异步通信：WebSocket
标准化响应格式：

{
  "method": "/api/rest_j/v1/entrance/submit",
  "status": 0,
  "message": "success",
  "data": {
    "taskID": 12345,
    "execID": "exec_01"
  }
}

二、接入准备环节

2.1 环境要求

组件	版本要求
Linkis	≥1.1.1
JDK	≥1.8
Python	≥3.6

2.2 认证配置

Token申请流程：

# 向管理员获取长期Token
curl -X POST http://linkis-gateway:9001/api/rest_j/v1/token/create \
  -H "Content-Type: application/json" \
  -d '{"appName":"yourApp","user":"linkisUser"}'

请求头设置规范：

headers = {
    "Content-Type": "application/json",
    "Token-User": "linkisUser",  # Token绑定的用户
    "Token-Code": "BQ-CUSTOM-TOKEN"  # 申请的Token值
}

三、核心接口详解

3.1 任务提交接口

Endpoint: POST /api/rest_j/v1/entrance/submit

请求示例：

// Java示例使用OkHttp
public class LinkisClient {
    public String submitJob(String code) throws IOException {
        OkHttpClient client = new OkHttpClient();
        
        MediaType JSON = MediaType.parse("application/json");
        RequestBody body = RequestBody.create(JSON, 
            "{\"executionContent\":{\"code\":\"" + code + "\"},\"params\":{}}");
            
        Request request = new Request.Builder()
            .url("http://linkis-gateway:9001/api/rest_j/v1/entrance/submit")
            .post(body)
            .addHeader("Token-User", "hadoop")
            .addHeader("Token-Code", "YOUR_TOKEN")
            .build();
            
        Response response = client.newCall(request).execute();
        return response.body().string();
    }
}

3.2 状态查询接口

Endpoint: GET /api/rest_j/v1/entrance/{taskID}/status

响应状态码说明：

状态码	含义
0	任务完成
1	任务运行中
2	任务失败
3	任务已取消

四、最佳实践方案

4.1 连接池优化

# Python使用连接池示例
from urllib3 import PoolManager

http = PoolManager(
    maxsize=10,
    block=True,
    timeout=60.0,
    headers={
        "Token-User": "linkisUser",
        "Token-Code": "BQ-CUSTOM-TOKEN"
    }
)

def query_status(task_id):
    resp = http.request(
        'GET',
        f'http://linkis-gateway:9001/api/rest_j/v1/entrance/{task_id}/status'
    )
    return resp.json()

4.2 重试机制实现

// Java实现指数退避重试
public class RetryUtil {
    public static <T> T retry(Callable<T> task, int maxRetries) {
        int retry = 0;
        while (retry < maxRetries) {
            try {
                return task.call();
            } catch (Exception e) {
                long waitTime = (long) Math.pow(2, retry) * 1000;
                Thread.sleep(waitTime);
                retry++;
            }
        }
        throw new RuntimeException("Max retries exceeded");
    }
}

五、安全防护策略

5.1 敏感数据加密

建议对SQL中的敏感字段进行AES加密：

-- 原始SQL
SELECT * FROM user_table WHERE phone = '13800138000'

-- 加密后提交
SELECT * FROM user_table WHERE phone = '${aes:encrypted_string}'

5.2 权限控制矩阵

操作类型	所需权限
提交Hive查询	hive.execute
访问HDFS	hdfs.read
创建引擎	engine.create

六、故障排查指南

6.1 常见错误码

错误码	解决方案
10001	检查Token是否过期或用户权限不足
20003	确认EngineConn资源是否充足
30045	验证提交的代码语法是否正确

6.2 日志分析要点

# 关键日志路径
/var/log/linkis/entrance.log  # 任务入口日志
/var/log/linkis/enginemanager.log  # 引擎管理日志

# 使用grep过滤错误
grep "ERROR" /var/log/linkis/*.log | grep "taskID:12345"

结论

通过HTTP协议接入Linkis需要重点关注： 1. 正确的认证信息传递 2. 合理的资源请求参数 3. 完善的错误处理机制 4. 任务生命周期的完整监控

随着Linkis 1.3版本的发布，HTTP API将新增批量任务管理接口，建议持续关注官方文档更新。

附录

”`

（注：实际文档需补充更多接口细节和性能数据，此处为精简版结构示例）