Postgres 生成列: 注意点とベストプラクティス

レプリケーション対象となっているテーブルで PostgreSQL の生成列を使用する場合、いくつか重要な注意点があります。これらの落とし穴は、レプリケーション処理や宛先システムにおけるデータ整合性に影響を与える可能性があります。

生成列に関する問題

pgoutput 経由では公開されない: 生成列は、論理レプリケーションプラグインである pgoutput を通じて公開されません。つまり、PostgreSQL から別のシステムへデータをレプリケーションする際、生成列の値はレプリケーションストリームに含まれません。
主キーに関する問題: 生成列が主キーの一部になっている場合、宛先側で重複排除に問題が生じる可能性があります。生成列の値がレプリケーションされないため、宛先システムは行を正しく特定して重複排除するために必要な情報を持てません。
スキーマ変更に関する問題: すでにレプリケーション対象となっているテーブルに生成列を追加した場合、Postgres が新しい列に対する RelationMessage を提供しないため、その新しい列は宛先側で値が埋められません。その後、同じテーブルに新しい非生成列を追加すると、ClickPipe がスキーマの整合性を取ろうとした際に、宛先側で生成列を見つけられず、その結果レプリケーション処理が失敗します。

これらの制限を回避するには、次のベストプラクティスを検討してください。

レプリケーション先で生成列を再作成する: レプリケーション処理に生成列の取り扱いを任せるのではなく、dbt（Data Build Tool）などのツールやその他のデータ変換メカニズムを用いて、レプリケーション先でこれらの列を再作成することを推奨します。
主キーに生成列を使用しない: レプリケーション対象となるテーブルを設計する際は、生成列を主キーの一部として含めないようにするのが望ましいです。

今後のバージョンでは、ユーザーが次の点で作業しやすくなるように UI に機能を追加する予定です。

生成列を含むテーブルの特定: UI 上で生成列を含むテーブルを識別できる機能を提供します。これにより、この問題の影響を受けるテーブルをユーザーが把握しやすくなります。
ドキュメントとベストプラクティス: UI には、レプリケーテッドテーブルで生成列を使用する際のベストプラクティスを含める予定です。一般的な落とし穴を回避するための指針も提供します。