Oracle DML/DDL同步数据(OGG_12.2_for_Windows)

Oracle DML/DDL 同步数据 (OGG_12.2_for_Windows)

Oracle DML/DDL 同步数据 (OGG_12.2_for_Windows) 1

一、环境准备并安装 GoldenGate 3

1、基本环境 3

2、配置日志模式 3

3、创建 GoldenGate 用户帐号 4

4、安装 GoldenGate 软件 5

5、模拟生产库，初始化数据 5

二、  GoldenGate DML 同步配置 6

1 、GoldenGate DML 同步源端配置 6

1、源 MGR 进程 6

2 、配置 Extract 进程组 7

3 、配置 Pump 进程组 8

4 、目标端初始化 9

2 、GoldenGate DML 同步目标端配置 9

1 、 目标端 MGR 进程 10

2 、添加检查表 10

3 、添加 checkpoint 表 11

4、配置目标端 Peplicat 进程组 11

5、可以查看 checkpoint 状态 12

6、验证同步 12

三： GoldenGate DDL 同步配置 12

1 、支持 DDL 复制运行脚本 12

2、修改 extract 进程的 params 文件 14

3、修改目标端 replicat 进程的 params 文件 15

4、测试 16

5、验证 16

四、常见问题 16

一、环境准备并安装 GoldenGate

1、基本环境

1)  源端

IP 地址： 10.6.252.44

数据库： Oracle 11.2.0.4

SID: cjc

操作系统版本： Windows 7

ogg 版本： Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401

ggs_Windows_x64_shiphome.zip

2)  目标端

IP 地址： 10.11.82.56

数据库： Oracle 11.2.0.4

SID: chenjch

操作系统版本： Windows 7

ogg 版本： Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401

ggs_Windows_x64_shiphome.zip

2、配置日志模式

#  源服务器端

(1) 配置归档模式

sqlplus / as sysdba

shutdown immediate;

startup mount;

alter database archivelog;

alter database open;

(2) 配置日志模式 ( 打开强制规档与补充日志模式 )

alter database add supplemental log data; 

alter database force logging;

ALTER SYSTEM SET ENABLE_GOLDENGATE_REPLICATION = TRUE SCOPE=BOTH;

alter system set recyclebin=off scope=spfile; 

(3) 查看配置结果：

SQL> select log_mode,supplemental_log_data_min,force_logging from v$database;

LOG_MODE    SUPPLEME FOR

------------ -------- ---

ARCHIVELOG  YES      YES

3、创建 GoldenGate 用户帐号

su - oracle

sqlplus / as sysdba;

create tablespace ogguser datafile 'D:\APP\ADMINISTRATOR\ORADATA\CJC\ogguser.dbf' size 10m autoextend on next 1m maxsize unlimited;

create tablespace ogguser datafile 'D:\APP\ADMINISTRATOR\ORADATA\CHENJCH\ogguser.dbf' size 10m autoextend on next 1m maxsize unlimited;

create user ogguser identified by ogguser

default tablespace ogguser

temporary tablespace temp;

grant connect,resource,dba to ogguser;

4、安装 GoldenGate 软件

ogg12 版本安装是图形界面，选择安装版本 (11);

D:\ogg\ggs_Windows_x64_shiphome\Disk1\setup.exe

启动图形界面后，选择

OGG 目录 :D:\app\Administrator\product\11.2.0\oggcore_1 --- 需要提前创建

Oracle 目录 :D:\app\Administrator\product\11.2.0\dbhome_1

直接安装即可；

安装后， D:\app\Administrator\product\11.2.0\oggcore_1 下会包含所有目录，无需执行 create subdirs 命令；

5、模拟生产库，初始化数据

建立测试用户及初始化数据

create user test identified by test;

grant connect ,resource ,dba to test;

conn test/test

create table test (id number ,name varchar2(20));

创建包含 CLOB 字段的表并初始化

create table t_clob(tid number,c_clob clob);

二、  GoldenGate DML 同步配置

1 、GoldenGate DML 同步源端配置

1)  先配置 DML 同步

cd D:\app\Administrator\product\11.2.0\dbhome_1

ggsci.exe 

dblogin userid ogguser password ogguser

1、源 MGR 进程

1)  编辑主进程组

edit params mgr

PORT 7809

dynamicportlist 7800-8000

autorestart extract *,retries 5,waitminutes 2,resetminutes 5

PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 7

LAGREPORTHOURS 1  

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

说明 :

port  指定 mgr 进程通信端口

dynamicportlist  表示 mgr 进程可以为源与目的端动态通信指定端口 ,ogg12 已经废弃；

autorestart extract*  表示自动重启 extract 进程组，每 2 分钟尝试重启所有进程，重试 5 次，每 5 分钟清零。

minkeepdays 7   队列传递结束后 , 依然保留本地队列 7 天

LAGREPORTHOURS 1         /*  每隔 1 小时检查延迟报告 

LAGINFOMINUTES 30        /*  每隔 30 分钟检查延迟 , 如果超过延迟阈值 , 将写入错误日志 

LAGCRITICALMINUTES 45    /* 延迟阈值 45 分钟

2)  启动主管理进程

start mgr

2 、配置 Extract 进程组

1)  编辑配置文件

edit param ext1

extract ext1

setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

userid ogguser,password ogguser

exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd

table test.*;

说明 :

extract ext1 定义 extract 进 ?? 名字

dynamicresolution

setenv 设置环境变量

userid  登录数据库

exttrail 指定本地 trail 文件地址

table  定义同步的表

AMERICAN_AMERICA.AL32UTF8  实验环境的字符集，可用 SELECT userenv('language') from dual; 查出

TRANLOGOPTIONS  CONVERTUCS2CLOBS  clob 大字段的转换

GETTRUNCATES  获取 Truncate 操作

tranlogoptions rawdeviceoffset 0    /*  裸设备文件偏移量 (AIX 系统专有参数 ) ，此实验不用

2)  添加抽取进程

add extract ext1,tranlog,begin now

3)  添加本地 trail 文件

add exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd,extract ext1

说明 :

创建本地 trail 文件，主 extract 进程负责写这部分文件， pump 负责把这部分文件传到目标服务器端。

4)  启动服务

start extract ext1

3 、配置 Pump 进程组

1)  编辑配置文件

edit param extpump

extract extpump

dynamicresolution

passthru

rmthost 10.11.82.56,mgrport 7809,compress

rmttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\mb

table test.*;

2)  添加 pump 进程

add extract extpump,exttrailsource D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd

3)  添加远程 trail 文件

add rmttrail /ogg/app/oracle/dirdat/mb,extract extpump

说明 :  指定远程 trail 文件

4)  启动 pump 进程

start extract extpump

至此：源端配置完成，查看相关进程是剖正常启动

命令：

info all  查看所有进程的状态

view report ext1  可查看失败进程的报错

4 、目标端初始化

建立测试用户及初始化数据

create user test identified by test;

grant connect ,resource ,dba to test;

conn test/test

create table test (id number ,name varchar2(20));

创建包含 CLOB 字段的表并初始化

create table t_clob(tid number,c_clob clob);

2 、GoldenGate DML 同步目标端配置

安装 ogg 软件，安装目录和原服务器一样，安装过程忽略

数据库上进行配置，创建用户，授权

create user ogguser identified by ogguser

default tablespace ogguser

temporary tablespace temp;

grant connect,resource,dba to ogguser;

1 、目标端 MGR 进程

cd D:\app\Administrator\product\11.2.0\dbhome_1

ggsci.exe 

dblogin userid ogguser password ogguser

1)  编辑配置文件

edit param mgr

port 7809

dynamicportlist 7800-8000

autostart er *

autorestart extract *, waitminutes 2, resetminutes 5

lagreporthours 1

laginfominutes 3

lagcriticalminutes 5

purgeoldextracts D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\rt*, usecheckpoints, minkeepdays 3

2)  启动

start mgr

2 、添加检查表

说明 :  当我们在 GLOBALS  文件里指定了默认的 checkpoint  之后，新的 Replicat groups  在创建时会自动使用这个参数，不需要其他指令

1)  编辑全局配置文件

GGSCI (dg2) 4> edit param ./GLOBALS

CHECKPOINTTABLE ogguser.checkpoint

2 ） exit # 这里需要退出 ggsci 终端

3 、添加 checkpoint 表

./ggsci

GGSCI (dg2) 1> dblogin userid ogguser password ogguser

GGSCI (dg2 as ogguser@mbdb) 2> add checkpointtable ogguser.checkpoint

4、配置目标端 Peplicat 进程组

1)  编辑配置文件

edit params repl

replicat repl

userid ogguser,password ogguser

reperror default,discard

discardfile D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc,append,megabytes 4096 ----megabytes 只过小可能会导致 repl 无法启动

map test.*, target test.*;

2)  添加复制进程

add replicat repl,exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\mb, CHECKPOINTTABLE ogguser.checkpoint

3)  启动进程

start repl -----aftercsn

5、可以查看 checkpoint 状态

su - oracle

sqlplus ogguser/ogguser

SQL> select tname from tab;

TNAME

-------------------------------------

CHECKPOINT TABLE

CHECKPOINT_LOX TABLE

select * from checkpoint;

注 1 ： ogg_11.1.1.1.2 只有 CHECKPOINT 一张表。

注 2 ： ogg_11.2.x.x.1 之后的版本有 CHECKPOINT,CHECKPOINT_LOX 两张表。

查看相关进程是否正常启动

info all 

6、验证同步

源端对 test 用户下所有表进行 insert,update,delete 操作，确保目标端可以正常同步所有 DML 操作产生的数据；

三： GoldenGate DDL 同步配置

1 、支持 DDL 复制运行脚本

#  服务器源端配置

1)  指定数据库模式

D:\app\Administrator\product\11.2.0\oggcore_1\ggsci.exe 

GGSCI (dg1) 1> edit param ./GLOBALS

ggschema ogguser

GGSCI (dg1) 3> stop mgr

2)  安装 DDL 对象

进入到 ogg 的安装目录，此实验为 D:\app\Administrator\product\11.2.0\oggcore_1

sqlplus / as sysdba

SQL> grant dba to ogguser;

SQL> @marker_setup  说明 :  均指定用户 ogguser

SQL> @ddl_setup  说明 : 11.1.1.2 需要手动输入  ogguser,INITIALSETUP,yes

SQL> @role_setup

SQL> grant GGS_GGSUSER_ROLE to ogguser;

SQL> @ddl_enable

SQL> @marker_status.sql

注 1:  执行 dbmspool 包将在数据库中创建 DBMS_SHARED_POOL 包，之后 ddl_pin 包需要用到

SQL> @?/rdbms/admin/dbmspool.sql

注 2: 执行 ddl_pin.sql 通过 dbms_shared_pool.keep 存储过程将 DDLReplication 相关对象 keep 在共享池中，以保证这些对象不 RELOAD ，提升性能。

SQL> @ddl_pin.sql ogguser

2、修改 extract 进程的 params 文件

#  服务器源端配置

# source 端修改 extract 进程的 params 文件，添加 "ddl include all" 参数，重启 extract 进程

1)  停止 ext1 进程

GGSCI (test) 2> stop extract ext1

2)  编辑配置文件

GGSCI (test) 3> edit params ext1

extract ext1

dynamicresolution

setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

userid ogguser,password ogguser

exttrail /ogg/app/oracle/dirdat/yd

report at 1:00

reportrollover at 1:00

ddl include all

ddloptions addtrandata,report

GETTRUNCATES

TRANLOGOPTIONS  CONVERTUCS2CLOBS

table test.*;

#  说明：加了两行 tranlogoption  与  ddl

3) 启动 mgr,eora 进程

GGSCI (test) 4> start mgr

GGSCI (test) 5> start extract ext1

4)  查看进程启动情况

GGSCI (test) 6> info extract ext1

3、修改目标端 replicat 进程的 params 文件

#  目标服务器配置

# target 端修改 replicat 进程的 params 文件，

添加 "ddlerror default ignore retryop maxretries 3 retrydelay 5"  等参数，重启 replicat 进程，操作如下

1)  停止 mgr 进程

GGSCI (slave) 1> stop mgr

2)  停止 repl 进程

GGSCI (slave) 1> stop replicat repl

3)  编辑 repl 配置文件

GGSCI (slave) 1> edit params repl

GGSCI (slave) 2> view params repl

replicat repl

userid ogguser,password ogguser

reperror default,discard

discardfile D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc,append,megabytes 4096

ddloptions report

ddlerror default ignore retryop maxretries 3 retrydelay 5

ddlerror default discard

ddlerror default ignore retryop

map test.*, target test.*;

4)  启动 rora_t1 进程

GGSCI (slave) 4> start mgr #  会自动启动 repl 进程

GGSCI (slave) 5> info replicat repl

4、测试

在源端 test 用户创建一个表，查看目标端是否成功创建。

create table t1(id number);

5、验证 

在目标端查看 t1 表及数据是否同步过来

四、常见问题

问题一：

insert 和 delete 可以同步， update 不能同步；

解决方案：

ggsci > dblogin userid gg, password gg

ggsci > add trandata test.*

问题二：

repl 进程无法启动

查看日志

D:\app\Administrator\product\11.2.0\oggcore_1\ggserr.log

D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc

megabytes 值过小，可能会引起 rep1 进程 ABENDED ；

欢迎关注我的微信公众号"IT小Chen"，共同学习，共同成长！！！