1717592117
2024-06-04 06:30:00
昨年の Summit と Snow Day での Snowflake のすべての発表を経て、新機能は徐々に一般公開されています。 今度は次の番です 動的テーブルしたがって、ユースケースとして何を提供できるのか、特にそれらを導入する方法を理解するために、それらに焦点を当てます。 さあ行こう ！
動的テーブル: 動的テーブルとは何ですか?何に使用されますか?
動的テーブルは、永続テーブルや一時テーブルと同様、Snowflake の特定のタイプのテーブルです。 これらを使用すると、クエリからのデータをテーブルに具体化できます。 情報が物理的に保存されるため、応答時間は従来のビューよりも効率的になります。
これは、マテリアライズド ビューとよく似ています。 確かにそうですが、制限はありません（いくつかの制限はありますが） いくつかの これは考慮する必要があります)! 実際、マテリアライズド ビューは、多くのシナリオを妨げる複雑な操作 (結合など) を実行せずに、単一のソース テーブルにのみ基づくことができます。
もう 1 つの基本的な違いは、データの鮮度の概念です。 マテリアライズド ビューは、ソース テーブル内のデータが変更されるたびに自動的に更新されます。 このメカニズムは実用的ではありますが、コストがすぐに高くなる可能性があります。
動的テーブルは、Snowflake の特定のタイプのテーブルです。 これらを使用すると、クエリからのデータをテーブルに具体化できます。 情報が物理的に保存されるため、応答時間は従来のビューよりも効率的になります。
動的テーブルのリフレッシュは「ラグ」、つまり更新遅延に基づいています。 したがって、データの鮮度が 5 分または 4 時間になるように、ビジネス ニーズに応じて調整できます。 したがって、発生するコストを制御できます。 一方で、専門職にとって一貫した方法でこれらの期限を定義するには、チェーンの明確なビジョンを持つことが重要です。
以下の図ですべてをまとめてみましょう。
動的テーブルに頼るべきユースケースはどれですか?
動的テーブルの強みにより、他のものを必要とせずに直接 Snowflake にリアルタイム データ パイプラインを導入するための非常に優れた候補となります。 ETL/ELT系ツール。
実際、複数のテーブルからソースを取得できることに加えて、動的テーブルは他の動的テーブルに基づくこともできます。 この原則から、エンドツーエンドのデータ変換フローを非常によく想像できます。
上の図では、ソース テーブルは運用データベースからの生データです。 最初の動的テーブルは顧客ディメンションであり、2 番目の動的テーブルは顧客ディメンションから注文と情報を取得するファクト テーブルです。 ユーザーは データビジュアライゼーション は、これらのテーブルを使用して、ソース テーブルが更新された瞬間からほぼリアルタイムでデータを視覚化します。
Snowflake に ETL/ELT を受講できる場所は残っていますか?
この質問に答えるには、次の 2 つのタイプがあることを明確にする必要があります。
- Informatica、Talend、Semarchy xDI、Matillion など、グラフィカルかつ人間工学に基づいた「ローコード」…
- 「コード」、たとえば DBT (Data Built Tool)。フローはもっぱら SQL、Python コードなどに基づいています。
「ローコード」の場合、動的テーブルとのアプローチの違いが重要です。 したがって、これはユーザーの使用法が大幅に変わることを意味するため、それらを置き換えることを想像するのは複雑です。
「コード」については、疑問が生じます。 実際、クエリから構築されたテーブル自体が他のテーブルにデータを入力するために使用されるという、同じ変換原理が見られます。
ただし、動的テーブルには DBT が提供するすべての利点があるわけではなく、いくつかの重要な要素が失われます。
- Git などのバージョン管理システムとの統合。
- テストを定義して自動化する機能
- 自動ドキュメントの生成
したがって、動的テーブルは、オーケストレーターを使用せずにほぼリアルタイムで、特定のユースケース向けに ETL/ELT を補完するものとして位置付けられています。
動的テーブルを設定して監視するにはどうすればよいですか?
Snowflake はそのパラダイムに忠実に、シンプルさを保っています。 動的テーブルの作成は、非常に古典的な DDL (データ記述言語) 操作を使用して実行されます。
Snowsight モニタリング メニューには、グローバル モニタリングに必要なすべての情報を保存する新しいダイナミック テーブル カテゴリが表示されます。
自分自身を鍛えるために、私がお勧めできるのは、 クイックスタート スノーフレーク これにより、機能の発見を段階的に進めることができます。
コストに関しては、次の 2 つの側面を考慮する必要があります。
- ストレージ: 指定されているように、これらのテーブルのデータは具体化され、Snowflake アカウントの全体ボリュームで考慮されます。
- プロセス。 従来の仮想ウェアハウスを引き続き使用しますが、サイズと実行時間に応じてクレジットが消費されます。
これは明らかなことのように思えますが、次のことを覚えておく価値があります。 Snowflake でコストを最適化する、SQL クエリに関する優れたプラクティスが正しく適用されていることを確認することが重要です。
この記事で動的テーブルについて理解を深め、動的テーブルが ETL/ELT に代わるものではないことを理解していただければ幸いです。 これらは、特にほぼリアルタイムのパイプラインの実装において、それらを補完します。
シェズ ビジネスと意思決定 (Orange Business) では、利用可能になった最新機能を常に把握するために、Snowflake などのパートナーのロードマップを非常に重視しています。 これにより、お客様のユースケースに基づいて最適なアドバイスを行うことができます。
さらに詳しく知りたい場合は、 お問い合わせ 😉
👉 フォローして、すべてのニュースをリアルタイムでご覧ください リンクトイン 👈
#動的テーブルは #ETLELT #を置き換えることができますか