第1回では、Microsoft FabricがOneLakeという1つの湖を中心にしたSaaS型の統合分析基盤であることを整理しました。今回はいよいよ実践編、「データをどうやってOneLakeに集めるか」です。Fabricには集め方が何通りもあり、それぞれコピーするのか・参照だけなのかで性質が大きく変わります。ここを整理できると、分析基盤の設計がグッと見通しよくなります。
パイプライン、ショートカット、ミラーリング…データを取り込む方法が多すぎて、どれをいつ使うのか分からない。
この記事は、Fabricシリーズの第2回として、「データを集める・整える」技術を次の4つに絞って整理します。
- パイプライン / Dataflow で基本的な取り込みができる
- メダリオン構成（Bronze→Silver→Gold） を設計できる
- ショートカット（外部ストレージをコピーせず参照）を理解している
- ミラーリング（外部DBをニアリアルタイム複製）を理解している
各セクションの最後に「これが説明できればOK」という自己チェックを置いています。ポイントは常に「これはコピーするのか、参照だけなのか」を意識することです。
パイプライン / Dataflow で基本の取り込み
最も基本的な取り込みが、データパイプラインとDataflow Gen2です。どちらもFabricの Data Factory ワークロードが提供する機能で、外部のデータをOneLake（レイクハウスやウェアハウス）にコピーして取り込みます。
| データパイプライン | Dataflow Gen2 | |
|---|---|---|
| 得意なこと | 大量データのコピー・オーケストレーション | GUIでの変換・クレンジング |
| 操作感 | アクティビティを繋ぐフロー図 | Power Query（Excel的なGUI） |
| 向く場面 | 「A地点からB地点へまとめて運ぶ」 | 「運びながら形を整える」 |
いちばん基本の流れは、パイプラインの Copyアクティビティ でソース（DBやファイル）からレイクハウスへデータをコピーするパターンです。200以上のコネクタが用意されており、オンプレのSQL Serverからクラウドのストレージまで幅広く繋げます。
【パイプライン（Copyアクティビティ）の基本形】
外部ソース OneLake
┌──────────┐ ┌──────────────┐
│ SQL DB │ ── Copy ──► │ レイクハウス │
│ CSV/API │ (コピー) │ /Tables │
└──────────┘ └──────────────┘
→ データは「実際にコピーされて」OneLakeに入る使い分けの目安は、「純粋に運ぶだけならパイプライン、運びながら列の加工やクレンジングもしたいならDataflow Gen2」です。まずはパイプラインのCopyでサンプルデータをレイクハウスに入れてみるのが、Fabric入門の第一歩になります。
【ここが説明できればOK①】
「パイプラインのCopyアクティビティで外部データをレイクハウスにコピーできる。GUIで変換もしたいならDataflow Gen2を使う」——これを説明できれば、1つ目のチェックはクリアです。
メダリオン構成（Bronze→Silver→Gold）を設計する
データを取り込んだら、次は「どう整理して精製するか」です。ここで業界標準になっているのが メダリオンアーキテクチャ です。
メダリオンアーキテクチャとは、データをBronze（生）→Silver（整形）→Gold（集計）の3層に分けて、段階的に品質を高めていく設計パターンです。
メダル（金・銀・銅）にちなんだ名前で、下の層ほど「生」、上の層ほど「磨き上げられた」データになります。料理に例えると、Bronze＝市場から届いたままの食材、Silver＝洗って切った下ごしらえ済み、Gold＝盛り付けまで終わった完成料理です。
Bronze（生データ層）
└─ 取り込んだそのまま。加工なし・欠損もそのまま保持
│ クレンジング・型変換・重複排除
▼
Silver（整形層）
└─ きれいに整えた「使える」データ。結合や名寄せ済み
│ 集計・ビジネスロジック適用
▼
Gold（集計層）
└─ 分析・Power BI用に集計済み。そのままレポートに使えるなぜわざわざ層を分けるのか。ポイントは「Bronzeで生データを必ず残しておく」ことにあります。加工をやり直したくなっても生データが手元にあれば作り直せますし、各層で役割が明確なので、障害時の切り分けやチームでの分担もしやすくなります。FabricではOneLake上のレイクハウスにこの3層を作り、パイプラインやノートブックで層から層へデータを流していきます。
「Bronze＝生、Silver＝下ごしらえ、Gold＝完成品」。この3段階を意識するだけで、データ基盤の設計がグッと整理されるよ！
【ここが説明できればOK②】
「メダリオンはBronze（生）→Silver（整形）→Gold（集計）と段階的にデータを精製する設計で、Bronzeに生データを残すことで作り直しや切り分けがしやすくなる」——これを説明できれば、2つ目のチェックはクリアです。
ショートカット｜コピーせず「参照」で取り込む
ここからが、Fabricならではの強力な機能です。まず ショートカット（Shortcut）。パイプラインがデータをコピーしたのに対し、ショートカットはコピーしません。
ショートカットとは、ADLSやAmazon S3、Google Cloud Storageといった外部ストレージのデータを、コピーせず「参照（リンク）」としてOneLakeに取り込む機能です。
まさにWindowsの「ショートカット（アイコンのリンク）」と同じ発想です。実体は別の場所にあるのに、OneLakeの中にあるかのように扱えます。ETL（コピー移送）が不要なので、大容量データをわざわざ移さずに、その場で分析できます。
【ショートカット＝ゼロコピーの参照】
外部ストレージ OneLake
┌──────────┐ ┌──────────────┐
│ ADLS │ ◄── 参照 ─── │ ショートカット │
│ S3 / GCS │ (コピー無し) │ （リンクだけ） │
└──────────┘ └──────────────┘
→ 実体は外部のまま。OneLakeには「参照」だけが載る
（S3にあるデータを、移さずFabricで分析できる）ショートカットが効くのは、「すでにS3やADLSに大量のデータがあり、コピーコストや移送時間を避けたい」場面です。マルチクラウド環境で、AWS S3のデータをFabricから直接触りたいときなどにも威力を発揮します。インテリジェントなキャッシュが働くため、外部への転送（egress）コストも抑えられます。
【ここが説明できればOK③】
「ショートカットは、外部ストレージ（ADLS/S3/GCS）のデータをコピーせず参照としてOneLakeに取り込むゼロコピー機能。ETL不要でその場分析できる」——これを説明できれば、3つ目のチェックはクリアです。
ミラーリング｜外部DBをニアリアルタイムで複製
最後は ミラーリング（Mirroring） です。ショートカットが「ストレージのファイルを参照」だったのに対し、ミラーリングは「データベースの中身を、変更まで追いかけて複製し続ける」機能です。
ミラーリングとは、Azure SQL Database・Cosmos DB・Snowflake・Databricksといった外部データベースの変更を、ほぼリアルタイムでOneLakeに複製し続ける機能です。手動のコピーやパイプラインを組まずに、分析用のコピーが常に最新に保たれます。
ポイントは、業務システムのDB（本番）を止めず・重くせず、その変更（追加・更新・削除）だけをOneLake側へ流し込み続ける点です。CDC（変更データキャプチャ）の仕組みで、鏡（ミラー）のようにDBの姿をOneLakeに映し出します。
【ミラーリング＝DBのニアリアルタイム複製】
業務DB（本番） OneLake
┌──────────────┐ ┌──────────────┐
│ Azure SQL │ ══ 変更を ══► │ ミラーDB │
│ Cosmos DB │ 常時複製 │ （常に最新） │
│ Snowflake │ └──────────────┘
└──────────────┘
↑本番は止めない → 分析はこの複製側で実行
（本番に負荷をかけない）この機能が嬉しいのは、「本番DBに分析クエリを投げて重くする」という典型的な悩みを解決してくれる点です。分析はミラー側でやるので、業務システムに影響しません。しかもパイプラインを組む手間もなく、複製されたデータはOneLake上でショートカットや他のワークロードからそのまま使えます。Fabricの Databases ワークロードの中核をなす機能です。
3つの取り込み方法を、「コピーするか・参照か・複製し続けるか」で最後に並べておきます。
| 方法 | 性質 | 向く場面 |
|---|---|---|
| パイプライン | コピー（一括・定期） | まとめて運ぶ・定期バッチ |
| ショートカット | 参照（ゼロコピー） | 外部ストレージを移さず分析 |
| ミラーリング | ニアリアルタイム複製 | 業務DBを止めず常に最新で分析 |
【ここが説明できればOK④】
「ミラーリングは、外部DB（Azure SQL/Cosmos DB/Snowflake等）の変更をニアリアルタイムでOneLakeに複製し続ける機能。本番に負荷をかけず、常に最新のコピーで分析できる」——これを説明できれば、4つ目のチェックはクリアです。
まとめ
今回は「データを集める・整える」技術を整理しました。この4つを、「コピー／参照／複製」の違いとセットで説明できれば完璧です。
- パイプライン / Dataflow：外部データをレイクハウスにコピーして取り込む基本形
- メダリオン：Bronze（生）→Silver（整形）→Gold（集計）で段階的に精製
- ショートカット：外部ストレージをコピーせず参照（ゼロコピー）
- ミラーリング：外部DBをニアリアルタイムで複製（本番に負荷をかけない）
データがOneLakeに集まったら、次は「集めたデータをどう分析・可視化するか」です。第3回では、Fabric最大の目玉のひとつ Direct Lakeモード と、Power BI連携を整理します。「なぜFabricのPower BIは速いのか」の答えがここにあります。
