2.--Goldgate常用参数说明

OGG常见参数说明

1.配置管理进程mgr：

ggsci(test01) 1> view param mgr

port 7809

dynamicportlist 7809-7900

--autostart er *

autorestart extract *,retries5,waitminutes 3

purgeoldextracts./dirdat/*,usecheckpoints, minkeepdays 3

lagreporthours 1

laginfominutes 30

lagcriticalminutes 45

 

manager进程参数配置说明：

port：指定服务监听端口；默认端口为7809

dynamicportlist：动态端口：可以制定最大256个可用端口的动态列表，当指定的端口不可用时，管理进程将会从列表中选择一个可用的端口，源端和目标段的collector、replicat、ggsci进程通信也会使用这些端口；

comment：注释行，也可以用--来代替;

autostart：指定在管理进程启动时自动启动哪些进程；

autorestart：自动重启参数设置：本处设置表示每3分钟尝试重新启动所有extract进程，共尝试5次；

purgeoldextracts：定期清理trail文件设置：本处设置表示对于超过3天的trail文件进行删除。

lagreport、laginfo、lagcritical：

定义数据延迟的预警机制：本处设置表示mgr进程每隔1小时检查extract的延迟情况，如果超过了30分钟就把延迟作为信息记录到错误日志中，如果延迟超过了45分钟，则把它作为警告写到错误日志中。

 

2.抽取进程和传输进程

 

抽取进程和传输进程其实都是extract进程，也可以配置在一个进程完成这两个功能，但是当网络传输有问题时，这样抽取也就不能继续运行了，所以推荐分开配置为两个进程.

 

抽取进程:

GGSCI (test01) 1> view param ETEST01

 

extract ETEST01

setenv (NLS_LANG = AMERICAN_AMERICA.ZHS16GBK)

setenv (ORACLE_HOME = /oracle/app/oracle/product/11.2.4/db_1)

setenv (ORACLE_SID = test01)

userid goldengate, password goldengate

REPORT AT 01:59

REPORTROLLOVER at 02:00

GETTRUNCATES

EXTTRAIL ./dirdat/exp

NUMFILES 2000

DYNAMICRESOLUTION

DDL INCLUDE MAPPED

DDLOPTIONS ADDTRANDATA RETRYOP RETRYDELAY 10 MAXRETRIES 10                     

DDLOPTIONS REPORT

------lizhen-----

TABLE DEMO.CALL_RULE_INFO;

 

GGSCI > ADD EXTRACT ETEST01 , TRANLOG, BEGIN NOW, threads 1  ---RAC 注意

GGSCI > ADD EXTTRAIL ./dirdat/exp, EXTRACT ETEST01 , MEGABYTES 200

 

传输进程

GGSCI (test01) 1> edit param PTEST01

extract PTEST01

setenv (NLS_LANG = AMERICAN_AMERICA.ZHS16GBK)

setenv (ORACLE_HOME = /oracle/app/oracle/product/11.2.4/db_1)

setenv (ORACLE_SID = testdb)

userid goldengate, password goldengate

PASSTHRU

REPORT AT 01:59

REPORTROLLOVER at 02:00

RMTHOST 10.18.4.41, MGRPORT 7809, COMPRESS 

RMTTRAIL ./dirdat/rep

DYNAMICRESOLUTION

NUMFILES 2000

gettruncates

------lizhen-------

TABLE DEMO.CALL_RULE_INFO;

 

GGSCI > ADD EXTRACT PTEST01, EXTTRAILSOURCE ./dirdat/exp

GGSCI > ADD RMTTRAIL ./dirdat/rep, EXTRACT PTEST01, MEGABYTES 200

 

 

 

extract进程参数配置说明：

extract

extract进程参数配置说明

 

setenv

配置系统环境变量

 

userid/password

指定ogg连接数据库的用户名和密码

 

comment

注释行，也可以用--来代替

 

table

定义需复制的表，后面需以;结尾

 

tableexclude

定义需要排除的表,如果在table参数中使用了通配符,可以使用该参数指定排除掉得表

 

getupdateafters|ignoreupdateafters

是否在队列中写入后影像,缺省复制

 

getupdatebefores|ignoreupdatebefores

是否在队列中写入前影像,缺省不复制

 

getupdates|ignoreupdates

是否复制update操作,缺省复制

 

getdeletes|ignoredeletes

是否复制update操作,缺省复制

 

getinserts|ignoreinserts

是否复制insert操作,缺省复制

 

gettruncates|ignoretrundates

是否复制truncate操作,缺省不复制

 

NUMFILES

使用NUMFILES参数控制OGG给多少张TABLE 和MAP进行初始化的内存分配，并且此参数必须在TABLE or MAP，SOURCEDEFS or TARGETDEFS 之前生效, Default 1000.

 

rmthost

指定目标系统及其goldengatemanager进程的端口号，还用于定义是否使用压缩进行传输，本例中的compress为压缩传输；

 

rmttrail

指定写入到目标断的哪个队列

 

exttrail

指定写入到本地的哪个队列

 

sqlexec

在extract进程运行时首先运行一个sql语句

 

passthru

禁止extract进程与数据库交互，适用于data pump传输进程

 

report

定义自动定时报告

 

statoptions

定义每次使用stat时统计数字是否需要重置

 

reportcount

报告已经处理的记录条数统计数字

 

tltrace

打开对于数据库日志的跟踪日志

 

discardfile

定义discardfile文件位置，如果处理中有记录出错会写入到此文件中

 

dboptions

指定对于某种特定数据库所需要的特殊参数；

 

tranlogoptions

指定在解析数据库日志时所需要的特殊参数，例如：对于裸设备，可能需要加入以下参数 rawdeviceoggset 0

 

warnlongtrans

指定对于超过一定时间的长交易可以在gsserr.log里面写入警告信息，本处配置为每隔3分钟检查一次场交易，对于超过2小时的进行警告；

 

 

3.复制进程

GGSCI (test01) 1> view param RTEST01

replicat RTEST01

setenv (NLS_LANG = AMERICAN_AMERICA.ZHS16GBK)

userid goldengate, password goldengate

REPORTCOUNT EVERY 30 MINUTES,RATE

REPORT AT 01:00

REPORTROLLOVER at 02:00

DISCARDFILE ./DIRRPT/RTEST01.DSC,APPEND, MEGABYTES 1000

DISCARDROLLOVER on friday

HANDLECOLLISIONS

REPERROR DEFAULT,ABEND

ASSUMETARGETDEFS

CHECKSEQUENCEVALUE

ALLOWNOOPUPDATES

DYNAMICRESOLUTION

NUMFILES 2000

DDL INCLUDE MAPPED

DDLOPTIONS REPORT

GROUPTRANSOPS 500

MAXTRANSOPS 500

------lizhen--------

MAP DEMO.CALL_RULE_INFO,TARGET TEST.CALL_RULE_INFO;

 

ggsci >add replicat RTEST01 ,exttrail ./dirdat/rep

 

 

setenv (NLS_LANG = AMERICAN_AMERICA.ZHS16GBK)

setenv (ORACLE_HOME = /oracle/app/oracle/product/11.2.4/db_1)

setenv (ORACLE_SID = testdb)

设置环境变量

 

DBOPTIONS DEFERREFCONST

约束延迟设置。在复制进程的事物被提交之前，延迟级联删除、级联更新时的校验和实施。

 

GETTRUNCATES

捕获生产端truncate table的操作。

 

REPORT AT 01:00

每天早上1点报告

 

REPORTCOUNT EVERY 30 MINUTES, RATE

每隔30分钟报告一次从程序开始到现在的抽取进程或者复制进程的事物记录数，并汇报进程的统计信息

 

REPORTROLLOVER AT 02:00

为了防止report file被写满，每天2：00做一次文件过期设定

 

REPERROR DEFAULT, ABEND

除了特殊指定的REPERROR语句，报告所有复制期间出现的错误，回滚非正常中断的事物和进程

定义出错以后进程的响应，一般可以定义为两种：abend，即一旦出现错误即停止复制，此为缺省配置；discard，出现错误后继续复制，只是把错误的数据放到discard文件中。

 

—HANDLECOLLISIONS

当灾备端已经存在数据的情况下，解决复制过程中出现的冲突。如果要重新做初始化，可以删除drop灾备端数据库后再rman恢复，这样做的话就不需要该参数了。

 

ALLOWNOOPUPDATES

当生产端有某些列但是目标表却没有，或者复制进程中配置了COLSEXCEPT 参数 在这些情况下，当生产端对那些列进行更新，目标表将不发生任何变化

 

assumetargetdefs

使用ASSUMETARGETDEFS参数时，用MAP语句中指定的生产库源表和灾备端目标表具有相同的列结构。它指示的Oracle GoldenGate不在生产端查找源表的结构定义。

 

DISCARDFILE ./dirrpt/repsa.dsc, APPEND, MEGABYTES 1024M

将执行失败的记录保存在discard file中，该文件位于./dirrpt/extya.dsc,大小为1024MB。 文件中已经包含记录的话，再后面继续追加，不删除之前的记录。

 

DISCARDROLLOVER AT 02:00

为了防止discard file被写满，每天2：00做一次文件过期设定

 

MAP

用于指定源端与目标端表的映射关系；

 

MAPEXCLUDE

用于使用在map中使用*匹配时排除掉指定的表

 

MAXTRANSOPS

将大交易拆分，每xx条记录提交一次。

 

GROUPTRANSOPS

将小交易合并成一个大的交易进行提交，减少提交次数，降低系统io消耗

 

SOURCEDEFS

假定两端数据结构不一致，使用此参数指定源端的数据结构定义文件，该文件需要由glodengate工具产生。

 

SQLEXEC

在进程运行时首先运行一个sql语句