Snowflakeへのコンテキスト化されたOTデータパイプライン

ベンダーにとらわれないOTデータを製造現場から確実に収集し、それをエッジの資産と生産コンテキストで強化し、分析、ML、企業で利用できるように管理されたクエリ可能なコピーをSnowflakeに配信するにはどうすればよいでしょうか？

概要

Industrial EdgeがOTテレメトリとイベントをキャプチャ、正規化、コンテキスト化し、ファイルベースとストリーミングの取り込みパターンの両方を使用してSnowflakeに配信する、エッジからクラウドへのハイブリッドアーキテクチャです。Snowflakeは、ランディングレイヤー、キュレーションレイヤー、分析レイヤーのエンタープライズデータクラウドとして機能し、ほぼリアルタイムの分析、モデルスコアリング、運用アプリ、MES/ERP/SCADAシステムとの統合を可能にします。この設計では、データの一貫性、セキュリティ、回復力、ベンダーにとらわれない相互運用性が優先されます。

詳細はこちら

詳細なアーキテクチャ

エッジコレクションとコンテキスト化（Industrial Edge）

Industrial Edge は、製造現場の近くでオンプレミスのデバイスを稼働させ、OTコネクタ（OPC UA、Modbus、イーサネット/IPなど）を介してベンダーにとらわれないオートメーション機器に接続します。未加工のテレメトリ、アラーム、イベントを取得します。
エッジでは、フィルタリング、圧縮、タイムスタンプの正規化、資産メタデータ（資産階層、作業指示/バッチコンテキスト）による強化、クラウド帯域幅を削減するためのローカル集計など、データが前処理されます。
内部データバス（MQTT/Unified Namespace）またはIndustrial Information Hub は、調和のとれたトピックストリームを下流のコンポーネントと地元の消費者に伝えます。

詳細なアーキテクチャを参照してください

architecture hub snowflake detailed graphic no text

説明

プロトコルとフォーマットのブリッジ

FFT DataBridge（エッジアプリ）は、ファイルベースの取り込み用にデータを変換して準備します。接続損失を処理するためにバッファリングし、データをインテリジェントにバッチ処理し、Snowflakeのキーペア認証で安全に認証し、Snowpipe処理のためにクラウドステージに書き込みます。
Snowflake Connector（Edge App）は、連続ストリームのデータバスをサブスクライブし、スキーマの検証とヘルスチェックを実行し、短時間の停止をメモリにバッファリングし、Snowpipe Streamingを使用してSnowflakeに行を低遅延で直接挿入します。

Snowflakeデータプラットフォーム

ステージ+パイプ（FFT DataBridge）を介したJSONベースの取り込み：生のペイロードはステージングエリアに配置されます。Snowpipe/Tasksは厳選されたテーブルと履歴アーカイブを作成します。
行ベースの直接取り込み（Snowflake Connector経由のSnowpipeストリーミング）：操作中の行をダッシュボードや監視に継続的かつ低遅延で利用できます。
変換パイプライン（SQL、Snowpark、Streams、Tasks）は、BIとML向けに、精選され、時間調整された、コンテキストが充実したデータセットを生成します。
Snowflakeは、企業で利用するためのガバナンス（アクセス制御、マスキング、リネージュ）、スケーリング、クロスクラウド機能を提供します。
Snowflakeは、主要なクラウドプロバイダー（AWS、Microsoft Azure、Google Cloud Platform）全体でネイティブかつ一貫して動作し、真のクロスクラウド展開、レプリケーション、データモビリティを提供します。