📖
tbds
  • 前言
  • 部署
    • 安装步骤
  • 平台管理
    • 用户管理
    • 项目管理
    • 系统设置
  • 组件访问开发
    • kafka
    • hadoop
    • hbase
    • accessKey
    • hive
    • spark
    • ftp
    • portalApi
    • hermes
    • 代码访问组件demos
      • hbase
      • hdfs
      • kafka
      • hive
  • 数据接入
    • 数据接入
      • TDBank产品化介绍及使用指引
      • TDBank数据接入指引
      • TDBank采集接口详解
      • OGG Flume Adapter 部署文档
      • DB Demo
      • HDFS Demo
    • Hippo管理
    • 进度监控
    • 血缘分析
  • 实时计算
    • 任务管理
    • 库表模板管理
  • 数据分析
    • 数据交互
    • ideX
  • 任务调度
    • 操作指引
    • 工作流
      • 基本概念
      • 任务基本信息
      • 任务调度设置
      • 任务参数配置
        • shell 脚本
        • ftp导入hdfs
        • kafka导入hbase
        • kafka导入hdfs
        • hdfs导出hbase
        • hive sql 脚本
        • hive导入hdfs
        • hdfs导出DB(mysql,postgreSQL,sql server)
        • tstorm任务
        • spark任务
        • mapreduce任务
        • db导入hdfs
        • hdfs导出hive
        • hdfs导出hive-tdsort
        • hive导出mysql
        • mysql导入hive
      • Demo
        • FTP导入HDFS
        • HDFS导出HBASE
        • HDFS导出Mysql
        • HDFS导入HIVE
        • Hive SQL脚本
        • Hive导出MySQL
        • Hive导入HDFS
        • KAFKA导出HBASE
        • KAFKA导出HDFS
        • MYSQL导入HDFS
        • MySQL导入Hive
        • Shell脚本
        • SPARK任务
      • 升级
        • 集成代码更新
        • rpm升级
      • 补充
        • 手动迁移base组件
        • 手动安装runner组件
        • 自定义任务开发文档
        • 时间隐式变量说明
        • 下发并发数说明和调整操作
        • Issues版本说明
        • 设置分组
        • 跨工作流依赖
      • 常见问题定位和解决方式
        • 常用操作
        • 实时接入任务hdfs2hive (tdsort)
        • 实例日志获取失败
        • 实例日志中提示下载文件失败
        • taskSchedule指标为空定位方法
        • 实例依赖失效确认方式
        • 任务实例诊断按钮无调度信息
        • 诊断和定位操作参考
        • 实例一直等待终止定位
        • mongodb 常见问题和处理办法
    • 任务管理
      • 工作流列表
      • 任务管理
      • 任务运行管理
      • 其他
    • 服务器配置
      • 基本概念
      • 操作指南
  • Tstorm
    • Tstorm介绍
    • 开发实例
      • wordcount
  • 数据展现
    • 自助报表
  • 数据资产
    • 库表管理
      • 可管理库表
      • 可读写库表
      • 无归属库表
      • 维表管理
      • 新建表
    • 数据血缘
    • 数据提取
      • 数据地图
      • 任务列表
      • 架构关联
  • 运维中心
    • 系统运维
      • 组件部署
      • 链接归集
      • 诊断
      • 备份
    • 访问管理
    • 文件管理
    • 监控告警
      • 监控
      • 告警
  • 机器学习
    • 系统简介
    • TDInsight功能介绍
      • 工作流
        • 新建工程
        • 新建工作流
        • 创建和配置节点
        • 运行
        • 日志查看
      • 数据输入输出
      • 组件
        • Spark组件
        • Sparkstreaming组件
        • pySpark组件
        • xgboost组件
    • 多实例并发
      • 3种方式驱动实例
      • 实例查询
      • 历史实例
    • TDInsight模型与在线推理
      • 数据流
      • 模型的训练与使用
      • 模型在线服务
    • TDInsight算法/组件说明
      • 数据说明
      • 特征工程
        • 数据预处理
        • 特征提取
        • 特征转换
        • 特征选择
        • 特征评估
      • 机器学习
        • 分类算法
        • 聚类算法
        • 回归算法
        • 推荐算法
        • 关联规则
      • 模型评估
        • Binary Evaluator
        • Multi Evaluator
        • Regression Evaluator
      • 可视化
        • 关系
        • 分布
        • 对比
        • 组合
      • 深度学习算法简介
        • 计算机视觉
        • 自然语言处理
        • 表示学习
Powered by GitBook
On this page
  • 初始化
  • 配置manager
  • 配置replicat
  • 启动
  • 诊断

Was this helpful?

  1. 数据接入
  2. 数据接入

OGG Flume Adapter 部署文档

所需软件包:

  • Linux平台:122011_ggs_Adapters_Linux_x64.zip

  • Windows平台:V100448-01.zip (Oracle GoldenGate for Big Data 12.2.0.1.0 on Microsoft Windows x64)

初始化

1) 在/data/ggsAdapters中解压安装包

2) ./ggsci

3) GGSCI > create subdirs

配置manager

4) GGSCI > edit params mgr

PORT 7809
PURGEOLDEXTRACTS /data/ggsAdapters/dirdat/*, USECHECKPOINTS

配置replicat

5) cp AdapterExamples/big-data/flume/* dirprm/

6) vi dirprm/flume.props

gg.handlerlist = flumehandler
gg.handler.flumehandler.type=flume
gg.handler.flumehandler.RpcClientPropertiesFile=custom-flume-rpc.properties

gg.handler.flumehandler.format=delimitedtext
gg.handler.flumehandler.format.fieldDelimiter=|
gg.handler.flumehandler.format.includePosition=false
gg.handler.flumehandler.format.pkUpdateHandling=update

gg.handler.flumehandler.mode=tx
gg.handler.flumehandler.EventMapsTo=op
gg.handler.flumehandler.PropagateSchema=true
gg.handler.flumehandler.includeTokens=false

goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE

gg.log=log4j
gg.log.level=INFO

gg.report.time=30sec

## /data/apache-flume-1.7.0-bin 为flume安装路径
gg.classpath=dirprm/:/data/apache-flume-1.7.0-bin/lib/*:

javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=ggjava/ggjava.jar

7) vi custom-flume-rpc.properties

client.type=default
hosts=h1
## flume agent IP与端口
hosts.h1=localhost:41414
batch-size=100
connect-timeout=20000
request-timeout=20000

8) ./ggsci

9) GGSCI > edit params rflume

REPLICAT rflume

## dbo.def为源端数据库表的定义,需要在源端使用defgen工具生成后拷贝过来
SOURCEDEFS dirdef/dbo.def

-- Trail file for this example is located in "AdapterExamples/trail" directory
-- Command to add REPLICAT
-- add replicat rflume, exttrail AdapterExamples/trail/tr
-- Win平台下为 ggjava.dll
TARGETDB LIBFILE libggjava.so SET property=dirprm/flume.props
REPORTCOUNT EVERY 1 MINUTES, RATE
GROUPTRANSOPS 10000

MAP dbo.*, TARGET dbo.*;

启动

10) export JAVA_HOME=/usr/jdk64/jdk1.8.0_111

11) export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/server/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so Win平台下为libjvm.dll和libjsig.dll,确保这两个文件存在

12) ./ggsci

13) GGSCI > start mgr

14) GGSCI > add replicat rflume, exttrail /data/ggsAdapters/dirdat/et, begin now

15) GGSCI > start rflume

诊断

  1. GGSCI命令行中运行info all确保mgr与rflume都处于RUNNING状态;

  2. 如果出错可查看错误日志ggserr.log,或dirrpt/RFLUME.rpt;

  3. 确保dirdat目录下写入了etXXXXXXXXX文件,该文件由源端pump进程写入,存储了源端的增量数据;

PreviousTDBank采集接口详解NextDB Demo

Last updated 4 years ago

Was this helpful?