データ分析基盤の設計 S3データレイク・Glue・Athena・Redshift を要件から選ぶ

SAP-C02 では「散在する業務データを集約して分析したい」という要件が定番です。似た役割のサービスが並ぶため、取り込み・カタログ・クエリという役割分担で整理すると迷いません。

覚え方は「集める・意味づける・問い合わせる」

分析基盤は3工程に分けられます。集める＝S3にデータレイクとして貯める、意味づける＝Glue でスキーマをカタログ化し変換する、問い合わせる＝Athena や Redshift で分析する。問題文が「まず何をすべきか」を聞いているなら集約、「どうやって参照するか」なら問い合わせの層を答えます。

層ごとの使いどころ

取り込みは、ストリーミングなら Amazon Data Firehose で S3 へ直接配信し、オンプレの既存ファイルなら DataSync、データベースからの継続同期なら AWS DMS の継続的レプリケーションを使います。数分以内にダッシュボードへ反映したいならストリーミング、夜間バッチで十分ならGlueジョブでのバッチ変換が妥当です。カタログは Glue Data Catalog に集約し、クローラーでスキーマを自動検出させます。分析は、アドホックに月数回、S3上のファイルをそのままSQLで見たいなら Athena（サーバーレスでスキャン量課金）、数百人が毎日ダッシュボードを見る、複雑な結合を高速に返したいなら Redshift（クラスターを常時稼働、Redshift Spectrum でS3も参照可）を選びます。

チェックリスト

• データレイクの3層（取り込み・カタログ・分析）を説明できる
• Athena と Redshift の選択基準を課金モデルで説明できる
• Glue クローラーと Data Catalog の役割を説明できる
• Parquet 変換とパーティション分割によるコスト削減を説明できる
• DMS・DataSync・Data Firehose の使い分けを言える

まとめ

分析基盤は「集める・意味づける・問い合わせる」で分解し、頻度と同時実行数から分析エンジンを選びます。 理解度の確認にはクイズが便利です。試験範囲や申し込みの最新情報はAWS認定 公式ページもあわせて確認してください。