データベース連携方式について

既存システムがレガシーであったり、違うベンダーが構築したサーバーであるなどの理由で、新機能や拡張機能を別のサーバー上で新システムとして構築する場合があります。もちろん、データベースも新たに用意する場合が多いのですが、その場合は既存システムには極力修正をいれない方針でデータベース連携を実現しないといけなかったりします。
他システムのデータベースに更新が必要な場合は、データ整合性を理由として新システムが直接更新するのは避けたほうが賢明です*2。既存システムに修正をいれない方針自体を見直したほうがいいでしょう。ただし、データ参照のみであれば、データベース連携が選択候補として上がります。

データベース連携としては、

• 直接参照
• コピー（複製）作成

の大きく分けて２通りの方法があります。
それぞれの特徴について見ていきましょう。

なお、今回の方式は他システムのデータベースへ物理的にアクセスできる環境が前提です。

相手先テーブル.変更日時 >= 前回コピー実施時間 - α

実装例

論理的な話ばかりでは面白くないので、ジャーナルテーブルを用いた差分コピーを簡単に実装してみます。
例として、他システムのデータベース(Oracle Database Express Edition)にあるユーザマスタを別データベース(JavaDB)のユーザマスタにコピーします。

コピー元テーブルの定義は次のとおりです。

create table ユーザ(
  ユーザID number(20) primary key
, ユーザ名 varchar2(100)
)

ユーザテーブルのジャーナルテーブルの定義は次のとおりです。

create table ユーザ_JNL(
  ID number(20)
, OPERATION char(1)
, OLD_ユーザID  number(20)
, NEW_ユーザID number(20)
, CREATED date
)

OPERATIONには、

のコード値が設定されます。
OLD_ユーザIDには削除や変更前のキー、NEW_ユーザIDには変更後のキーや作成したキーが設定されます。

ジャーナルテーブルのIDを生成するシーケンスの定義は次のとおりです。

create sequence ユーザ_JNL_SEQ 
    start with 1 increment by 1 nomaxvalue nocycle nocache

ユーザテーブルに作成するTriggerの定義は次のとおりです。

create or replace trigger ユーザ_TRGR
after delete or insert or update on ユーザ
for each row
begin
  if inserting then
    insert into ユーザ_JNL values(
        ユーザ_JNL_SEQ.nextval
      , 'I', null, :new."ユーザID", sysdate);
  elsif updating then
    insert into ユーザ_JNL values(
        ユーザ_JNL_SEQ.nextval
      , 'U', :old."ユーザID", :new."ユーザID", sysdate);
  elsif deleting then
    insert into ユーザ_JNL values(
        ユーザ_JNL_SEQ.nextval
      , 'D', :old."ユーザID", null, sysdate);
  end if;
end;

ジャーナルテーブルには操作、および変更前のキーと変更後のキーしか保存しません。
同一キーに対して変更後に削除された場合などの考慮については、バッチ側で実装することにします。
ある同一キーへの操作にともなうコピー先テーブルへの操作の状態遷移は次のとおりです。

ジャーナルテーブルを読み取って、コピーを作成する機能をGradleのタスクで実装しました。タスクのスケジュール実行はJenkinsなどを用いて容易に実現できますね！

import groovy.sql.Sql

configurations {
    driver
}

dependencies {
    driver fileTree(
            dir: 'libs'
            , include: ['ojdbc6.jar', 'orai18n.jar']
    )
    driver fileTree(
            dir: 'C:\\Program Files\\Java\\jdk1.8.0_25\\db\\lib'
            , include: ['derby.jar']
    )
}
configurations.driver.each {
    GroovyObject.class.classLoader.addURL(it.toURL())
}

def connectFrom() {
    Sql.newInstance(
            'jdbc:oracle:thin:@127.0.0.1:1521:xe'
            , 'hoge'
            , 'hoge'
            , 'oracle.jdbc.driver.OracleDriver')
}

def connectTo() {
    Sql.newInstance(
            'jdbc:derby:C:\\javadb\\db\\;create=true'
            , 'hoge'
            , 'hoge'
            , 'org.apache.derby.jdbc.EmbeddedDriver')
}

task makedb << {

    def sqlTo = connectTo()
    sqlTo.execute """
        create table ユーザ(
             ユーザID bigint primary key,
             ユーザ名 varchar(100)
        )
        """
}

task selectdb << {

    def sqlTo = connectTo()
    sqlTo.rows("select * from ユーザ").each {
        println it
    }
}

task dbcopy << {

    def sqlFrom = connectFrom()
    def sqlTo = connectTo()

    def jnls = sqlFrom.rows(
        'SELECT * FROM ユーザ_JNL order by ID')
    if (jnls.size == 0) {
        return
    }

    sqlTo.withTransaction {
        collect(jnls).each {
            if (it.operation == "D" || it.operation == "U") {
                sqlTo.execute(
                        'DELETE FROM ユーザ WHERE ユーザID=?',
                        [it.OLD_ユーザID]
                )
            }
            if (it.operation == "I" || it.operation == "U") {
                def user = sqlFrom.firstRow(
                        'SELECT * FROM ユーザ WHERE ユーザID=?',
                        [it.NEW_ユーザID])
                sqlTo.execute(
                        'INSERT INTO ユーザ VALUES(?, ?)',
                        [user.ユーザID, user.ユーザ名])
            }
        }
        sqlTo.commit()
    }
    sqlFrom.execute(
            'DELETE FROM ユーザ_JNL WHERE ID <= ?',
            [jnls.last().ID])
}

def collect(jnls) {

    jnls.inject([]) { ac, jnl ->
        def findJnl = ac.find {
            def targetKey = jnl.OPERATION == "I" ?
                    jnl.NEW_ユーザID : jnl.OLD_ユーザID
            (it.NEW_ユーザID ?: it.OLD_ユーザID) == targetKey
        }
        if (findJnl != null) {
            if (findJnl.OPERATION == "I") {
                if (jnl.OPERATION == "U") {
                    jnl.OPERATION = "I"
                    jnl.OLD_ユーザID = null
                } else if (jnl.OPERATION == "D") {
                    ac.remove(findJnl)
                    return
                }

            } else if (findJnl.OPERATION == "U") {
                if (jnl.OPERATION == "U") {
                    jnl.OLD_ユーザID = findJnl.OLD_ユーザID
                } else if (jnl.OPERATION == "D") {
                    jnl.OPERATION = "D"
                    jnl.OLD_ユーザID = findJnl.OLD_ユーザID
                }

            } else if (findJnl.OPERATION == "D") {
                if (jnl.OPERATION == "I") {
                    jnl.OPERATION = "U"
                    jnl.OLD_ユーザID = findJnl.OLD_ユーザID
                }
            }
            ac.remove(findJnl)
        }
        ac.add(jnl)
        ac
    }
}

dbcopyタスクでジャーナルテーブルを読み取って差分をコピーします。同一キーに対する操作の状態遷移に対する"おまとめ処理"は、collect関数で実現しています。
まだまだ業務レベルの品質*9ではありませんが、そこそこ動くものができました。

まとめ

今回のジャーナルテーブルを用いた連携方式では、1分くらい間隔でタスク実行する前提を考えて作成しました。それ以上のデータ鮮度が必要な場合は、コピー元に変更が入った直後に変更を通知する仕組みが必要ですね。

このようなケースでは、かわしまさんの以下の記事を参考に実装すればいいかと思います*10！
qiita.com

また、システム連携はステークホルダとの連携がなによりも重要です。人間がきちんと連携できないとシステムも連携出来なくなりますのでw
日頃からみなさんも、適切なコミュニケーション連携を心がけましょう〜*11！