データエンジニアリング実践｜専門分野・発展選択肢

このページはプロモーション（広告）を含みます。

専門分野・発展選択肢 ／ 6授業

このモジュールでは、遅延や重複を含むイベントを取り込み、件数と金額を正しく保ったまま利用者へ継続して提供できる基盤を、設計し検証できるようになることを目指します。データエンジニアリングは、収集・スキーマ・変換・検査・保存・再処理・監視をつなぐ仕事です。分析やモデルがどれほど優れていても、入力の数字が二重・欠落・古いままなら、その結論は使えません。

6授業の流れ

1. 取込契約と粒度 取込契約と粒度：受け取る条件を値で合意し、違反を隔離し、重複をキーで除く
2. CDCとイベント時刻 CDCとイベント時刻：変更を確定順（LSN）で適用し、3つの時刻を使い分ける
3. バッチとストリーム バッチとストリーム：watermark で枠を確定し、配送保証と運用費で方式を選ぶ
4. 整合性と再処理 整合性と再処理：原本から再処理し、版を残し、業務システムと照合する
5. 品質と提供SLA 品質と提供SLA：提供判定を自動化し、SLO・エラー予算・SLAを数値で管理する
6. 基盤設計と障害演習 基盤設計と障害演習：部品を設計書にまとめ、障害を注入して不変条件で判定する

全体を貫く例は、e1＝100円、e2＝200円、e1 の再送でも合計は300円、後から e3＝50円が届いたら350円の版2として追える、というものです。

つまずきやすい点：取込時刻で日付を区切る、到着順に上書きする、再送を足し込む、訂正を黙って上書きする、平均で品質を測る、模擬の合格を本番の保証と混同する、の6つです。

模擬範囲：演習はブラウザ内の小さな Python と SQL による模擬です。確かめられるのは規則の正しさで、大規模分散基盤の処理能力や実製品の設定は対象外です。製品の設定名や料金は執筆時点（2026年）の一般的な説明として読み、最新は公式情報で確認してください。

修了後は、監視・SLO・ドリフト・障害（有料版）（監視と回復）で本番運用を深めたり、統合データ品質プロジェクト（有料版） の受入基準を自分の基盤に当てはめたりできます。

到達目標

• 取込契約（粒度・キー・時刻・配送保証・遅延の上限・制御合計）を値で書き、違反を隔離・重複をキーで除いて「受信＝合格＋隔離＋重複」を確かめられる
• CDCの変更をLSNの順で冪等に適用し、イベント時刻・確定時刻・取込時刻を使い分けて時点の状態を再現できる
• watermark で枠を確定し、遅延イベントを版の訂正で扱い、鮮度・遅延の分布・運用費から方式を選べる
• 原本から冪等に再処理して版を残し、業務システムと件数・金額で照合し、提供判定とSLO・エラー予算で提供を管理できる
• 基盤設計書と障害演習の計画を書き、不変条件で結果を判定し、模擬で確かめた範囲と実基盤で確かめることを区別できる

授業

• 取込契約と粒度　70分
• CDCとイベント時刻　70分
• バッチとストリーム　80分
• 整合性と再処理　80分
• 品質と提供SLA　80分
• 基盤設計と障害演習　100分

アプリでは、各授業の確認問題・SQLとPythonの演習・総合テストと課題に取り組めます。