📖
tbds
  • 前言
  • 部署
    • 安装步骤
  • 平台管理
    • 用户管理
    • 项目管理
    • 系统设置
  • 组件访问开发
    • kafka
    • hadoop
    • hbase
    • accessKey
    • hive
    • spark
    • ftp
    • portalApi
    • hermes
    • 代码访问组件demos
      • hbase
      • hdfs
      • kafka
      • hive
  • 数据接入
    • 数据接入
      • TDBank产品化介绍及使用指引
      • TDBank数据接入指引
      • TDBank采集接口详解
      • OGG Flume Adapter 部署文档
      • DB Demo
      • HDFS Demo
    • Hippo管理
    • 进度监控
    • 血缘分析
  • 实时计算
    • 任务管理
    • 库表模板管理
  • 数据分析
    • 数据交互
    • ideX
  • 任务调度
    • 操作指引
    • 工作流
      • 基本概念
      • 任务基本信息
      • 任务调度设置
      • 任务参数配置
        • shell 脚本
        • ftp导入hdfs
        • kafka导入hbase
        • kafka导入hdfs
        • hdfs导出hbase
        • hive sql 脚本
        • hive导入hdfs
        • hdfs导出DB(mysql,postgreSQL,sql server)
        • tstorm任务
        • spark任务
        • mapreduce任务
        • db导入hdfs
        • hdfs导出hive
        • hdfs导出hive-tdsort
        • hive导出mysql
        • mysql导入hive
      • Demo
        • FTP导入HDFS
        • HDFS导出HBASE
        • HDFS导出Mysql
        • HDFS导入HIVE
        • Hive SQL脚本
        • Hive导出MySQL
        • Hive导入HDFS
        • KAFKA导出HBASE
        • KAFKA导出HDFS
        • MYSQL导入HDFS
        • MySQL导入Hive
        • Shell脚本
        • SPARK任务
      • 升级
        • 集成代码更新
        • rpm升级
      • 补充
        • 手动迁移base组件
        • 手动安装runner组件
        • 自定义任务开发文档
        • 时间隐式变量说明
        • 下发并发数说明和调整操作
        • Issues版本说明
        • 设置分组
        • 跨工作流依赖
      • 常见问题定位和解决方式
        • 常用操作
        • 实时接入任务hdfs2hive (tdsort)
        • 实例日志获取失败
        • 实例日志中提示下载文件失败
        • taskSchedule指标为空定位方法
        • 实例依赖失效确认方式
        • 任务实例诊断按钮无调度信息
        • 诊断和定位操作参考
        • 实例一直等待终止定位
        • mongodb 常见问题和处理办法
    • 任务管理
      • 工作流列表
      • 任务管理
      • 任务运行管理
      • 其他
    • 服务器配置
      • 基本概念
      • 操作指南
  • Tstorm
    • Tstorm介绍
    • 开发实例
      • wordcount
  • 数据展现
    • 自助报表
  • 数据资产
    • 库表管理
      • 可管理库表
      • 可读写库表
      • 无归属库表
      • 维表管理
      • 新建表
    • 数据血缘
    • 数据提取
      • 数据地图
      • 任务列表
      • 架构关联
  • 运维中心
    • 系统运维
      • 组件部署
      • 链接归集
      • 诊断
      • 备份
    • 访问管理
    • 文件管理
    • 监控告警
      • 监控
      • 告警
  • 机器学习
    • 系统简介
    • TDInsight功能介绍
      • 工作流
        • 新建工程
        • 新建工作流
        • 创建和配置节点
        • 运行
        • 日志查看
      • 数据输入输出
      • 组件
        • Spark组件
        • Sparkstreaming组件
        • pySpark组件
        • xgboost组件
    • 多实例并发
      • 3种方式驱动实例
      • 实例查询
      • 历史实例
    • TDInsight模型与在线推理
      • 数据流
      • 模型的训练与使用
      • 模型在线服务
    • TDInsight算法/组件说明
      • 数据说明
      • 特征工程
        • 数据预处理
        • 特征提取
        • 特征转换
        • 特征选择
        • 特征评估
      • 机器学习
        • 分类算法
        • 聚类算法
        • 回归算法
        • 推荐算法
        • 关联规则
      • 模型评估
        • Binary Evaluator
        • Multi Evaluator
        • Regression Evaluator
      • 可视化
        • 关系
        • 分布
        • 对比
        • 组合
      • 深度学习算法简介
        • 计算机视觉
        • 自然语言处理
        • 表示学习
Powered by GitBook
On this page
  • 1、MYSQL
  • 2、POSTGRES
  • 3、ORACLE
  • 4、SQLSERVER
  • 5、FTP
  • 6、HIVE
  • 7、HDFS
  • 8、MR_GROUP

Was this helpful?

  1. 任务调度
  2. 服务器配置

操作指南

Previous基本概念NextTstorm

Last updated 4 years ago

Was this helpful?

点击服务器配置右上角按钮【新建配置】创建新增服务器配置。

1、MYSQL

选择服务器类型:mysql,进行MYSQL类型的服务器配置,配置完成后,可以点击【连接测试】按钮,校验服务器配置是否有效。【连接测试】会根据所填的服务器信息去进行连接的测试,判断连接是否正常。

参数说明:

  • 服务器类型:选择服务器的类型,目前支持8种:mysql, postgres, oracle, sqlserver, hive, ftp, hdfs, mr-group;

  • 服务器标识:设置服务器的唯一标识,创建后不支持修改;

  • 服务器说明:服务器的备注信息,便于管理、识别;

  • 责任人:服务器只能被责任人进行修改;

  • 主机地址:MYSQL的连接IP地址,如:10.0.0.1;

  • 端口:MYSQL的连接端口,默认:3306

  • database名称:服务器配置所指向的MYSQL database;

  • 数据库用户名:连接MYSQL并进行后续相应任务操作的用户名;

  • 数据库密码:连接MYSQL的用户所对应的密码;

  • 服务器并发度:并行执行的数量,默认是10,在运行任务时,规定使用该server的任务实例数的上限。

ps: 支持TDSQL版本 如果配置TDSQL版本,在创建tdsql 服务器时(mysql),在 服务器说明 中填写tdsql关键字。

2、POSTGRES

选择服务器类型:postgre,进行POSTGRES类型的服务器配置。

  • 主机地址:POSTGRES的连接IP地址,如:10.0.0.1;

  • 端口:POSTGRES的连接端口,默认:5432

  • database名称:服务器配置所指向的POSTGRES database;

  • 数据库用户名:连接POSTGRES并进行后续相应任务操作的用户名;

  • 数据库密码:连接POSTGRES的用户所对应的密码;

3、ORACLE

选择服务器类型:oracle,进行ORACLE类型的服务器配置。

  • 主机地址:ORACLE的连接IP地址,如:10.0.0.1;

  • 端口:ORACLE的连接端口,默认:1521;

  • database名称:ORACLE数据库的实例名,常用:orcl;

  • 数据库用户名:连接ORACLE并进行后续相应任务操作的用户名;

  • 数据库密码:连接ORACLE的用户所对应的密码;

4、SQLSERVER

选择服务器类型:sqlserver,进行SQLSERVER类型的服务器配置。

  • 服务器版本:SQLSERVER的版本:MSSQL_2008:SQLSERVER 2008版本;

  • 主机地址:SQLSERVER的连接IP地址,如:10.0.0.1;

  • 端口:SQLSERVER的连接端口,默认:1433;

  • database名称:SQLSERVER连接的database

  • 数据库用户名:连接SQLSERVER并进行后续相应任务操作的用户名;

  • 数据库密码:连接SQLSERVER的用户所对应的密码;

5、FTP

选择服务器类型:ftp,进行FTP类型的服务器配置。

  • 主机地址:FTP服务的连接IP地址,如:10.0.0.1;

  • 端口:FTP的连接端口,默认:2222;

  • ftp用户名:连接FTP用户

  • ftp用户密码:连接FTP的用户所对应的密码;

备注: 选择创建FTP服务器配置时,默认会加载套件内安装的FTP服务的配置信息,如果新增非套件内的FTP服务器,则修改对应的连接信息即可。

ps:有关ftps协议 添加如下两个配置,能支持ftps 协议

  • 传输协议 选择:ftps

    认证信息 填写格式为:jks absolute path;storePassword(例如/tmp/ftpclient.jks;39604a9b0c816abfb971b16701825810)

6、HIVE

选择服务器类型:hive,进行HIVE类型的服务器配置。

  • 端口: Hive server 端口 默认:10000; hive HA 模式下,可不填

备注: 1. 选择创建Hive服务器配置时,默认会加载套件内安装的Hive服务的配置信息; 2. 服务器配置目前仅支持套件内的Hive集群,不支持外部的Hive集群; 3. Hive的连接信息用户默认取任务的执行用户和对应的LDAP密码;

7、HDFS

选择服务器类型:HDFS,进行HDFS类型的服务器配置。

  • namenode主机地址:默认获取集群内HDFS的namenode主机IP,若namenode为HA,则获取配置的文件空间,集群内默认是:hdfs://hdfsCluster

备注: 1. 选择创建HDFS服务器配置时,默认会加载套件内安装的HDFS服务的配置信息; 2. 服务器配置目前仅支持套件内的HDFS集群,不支持外部的HDFS集群;

8、MR_GROUP

选择服务器类型:mr_group,进行MR_GROUP类型的服务器配置。MR_GROUP的配置与HDFS配置保持一致。MR_GROUP主要用于跑MR任务,指定MR任务使用的HDFS。

连接地址: a. 指定节点:Hive server的主机地址ip; b. hive HA: zookeeper ip:port列表/hive在zk 上的命名空间 其中zookeeper ip:port列表对应 hive-site 配置的hive.cluster.delegation.token.store.zookeeper.connectString 属性值。 其中hive在zk 上的命名空间 对应 hive-site 配置的hive.server2.zookeeper.namespace属性值。

连接指定节点

使用hive AH

备注: 服务器责任人可以对服务器配置进行修改和删除操作,非责任人,只能查看服务器配置信息。