レイクハウス向けのフルマネージドエンタープライズストレージ
Apache Iceberg の BigQuery テーブルは、オープンソース テーブル形式の制限に対処します。 Apache Iceberg 用の BigQuery テーブルを使用すると、BigQuery は、顧客の手間をかけずにテーブル メンテナンス タスクを自律的に処理します。 BigQuery は、より小さいファイルを最適なファイル サイズに結合することでテーブルを最適化し、データの自動再クラスタリングとファイルのガベージ コレクションを提供します。たとえば、最適なファイル サイズはテーブルのサイズに基づいて適応的に決定されます。 Apache Iceberg の BigQuery テーブルは、BigQuery ネイティブ テーブルの自動ストレージ最適化を効率的かつコスト効率よく実行する 10 年以上の専門知識の恩恵を受けています。 OPTIMIZE または VACUUM を手動で実行する必要はありません。
高スループットのストリーミング取り込みのために、Apache Iceberg の BigQuery テーブルを利用します ボルテックス、BigQuery ストレージ書き込み API を強化するエクサバイト規模の構造化ストレージ システム。 Apache Iceberg の BigQuery テーブルは、最近取り込まれたタプルを行指向形式で永続的に保存し、定期的に Parquet に変換します。高スループットの取り込みと並列読み取りは、オープンソースの Spark コネクタと Flink BigQuery コネクタを通じてサポートされています。 Pub/Sub と Datastream は、Apache Iceberg の BigQuery テーブルにデータを取り込むことができるため、特注のインフラストラクチャを維持する必要はありません。
Apache Iceberg の BigQuery テーブルは、BigQuery のテーブル メタデータを保存します。 スケーラブルなメタデータ管理システム。 BigQuery はきめ細かいメタデータを保存し、分散クエリ処理とデータ管理技術を使用してメタデータを処理します。その結果、Apache Iceberg の BigQuery テーブルは、メタデータをオブジェクト ストアにコミットする必要があるという制約を受けず、テーブル形式で可能なものよりも高い変更率が可能になります。ライターはトランザクション ログを直接変更できないため、テーブルのメタデータは改ざんが防止され、信頼できる監査履歴が残ります。
Apache Iceberg の BigQuery テーブルは、ストレージ API によって適用されるきめ細かいセキュリティ ポリシーを引き続きサポートすると同時に、Dataplex を通じてガバナンス ポリシー管理、データ品質、エンドツーエンド リネージのサポートを拡張します。
#Apache #Iceberg #用の #BigQuery #テーブルの発表