ベンダーにとらわれないOTデータを製造現場から確実に収集し、それをエッジの資産と生産コンテキストで強化し、管理されたAI対応のコピーをDatabricksに配信して、高度な分析、Industrial AI、企業利用を実現するにはどうすればよいでしょうか？
Siemens Industrial Edge からデータブリックスへ
Industrial EdgeがOTデータストリームを取り込んで充実させ、テレメトリとイベントをソースで調整してコンテキスト化してから、Databricksへのストリーミング取り込みを通じてFFT DataBridge経由で転送する、エッジからクラウドへのハイブリッドなセットアップです。Databricks内では、データはランディング層、キュレーション層、分析層にわたって変換および構造化され、高度な分析、Industrial AI、モデル開発とライフサイクル管理、運用アプリケーションのエンタープライズレイクハウス基盤を形成し、MES、ERP、SCADA環境との統合を可能にします。全体的なアプローチは、AIへの対応、信頼できる一貫したデータ、堅牢なセキュリティ、高い回復力、オープンでベンダー中立の相互運用性を確保するように設計されています。
Industrial Edge はオンプレミスのデバイスを製造現場の近くで実行し、OTコネクタ（OPC UA、Modbus、Ethernet/IPなど）を介してベンダーにとらわれないオートメーション機器に接続します。未加工のテレメトリ、アラーム、イベントを取得します。
エッジでは、フィルタリング、圧縮、タイムスタンプの正規化、資産メタデータ（資産階層、作業指示/バッチコンテキスト）による強化、クラウド帯域幅を削減するためのローカル集計など、データが前処理されます。
内部データバス（MQTT/Unified Namespace）またはIndustrial Information Hub は、調和のとれたトピックストリームを下流のコンポーネントと地元の消費者に伝えます。
FFT DataBridge (Edge App) は、ストリーミングやDatabricksへのほぼリアルタイムの取り込み用にデータを準備して充実させます。無料のコンパニオンアプリであるFFT DataServiceは、Industrial Information Hub エッセンシャル（エッジアプリ）からコンテキスト化されたデータにアクセスし、FFT DataBridgeで利用できるようにします。FFT DataBridgeは、整列されたコンテキスト化されたデータストリームをZerobus経由で公開し、Unityカタログが管理するテーブルへの継続的な配信を可能にします。
堅牢性を確保するために、このソリューションはインメモリバッファリングとローカルパーシスタンスを使って、接続の中断や長時間の停電を防ぎます。Databricks側では、データはUnity CatalogのDeltaテーブルに段階的に取り込まれ、ダウンストリームの分析やAIワークロードへの管理された低遅延のアクセスが可能になります。安全な接続は、トークンベースまたはキーベースの認証メカニズムによって維持されます。
Zerobusを介したストリーミングインジェストは、データを継続的にDatabricksに送ります。受信したOTペイロードは、Unity Catalogによって管理されるBronze Deltaテーブルに書き込まれ、未加工の構造とメタデータを保持して完全なトレーサビリティと監査可能性を確保します。
Lakeflowの宣言型パイプライン、Databricksワークフロー、Apache Sparkで構築された変換パイプラインは、データをシルバー（キュレーション）レイヤーとゴールド（分析）レイヤーに段階的に絞り込み、時間調整、コンテキストの強化、BI利用への備え、AI主導のユースケースをサポートします。
AIモデルは、MLflowとMosaic AIを使用してDatabricksで一元的に開発およびトレーニングされ、Siemens Industrial Edge にデプロイして製造現場の近くで低レイテンシーで実行できるため、クローズドループ最適化と物理AIシナリオが可能になります。
Unity Catalogは、きめ細かなアクセス制御、データマスキング、リネージトラッキングなどのエンドツーエンドのガバナンスを実施します。一方、レイクハウスプラットフォームはAWS、Microsoft Azure、Google Cloud Platformでネイティブに動作し、クロスクラウド展開とシームレスなデータモビリティをサポートします。
Databricksは、未加工のOTデータと厳選されたOTデータをオープンレイクハウスに保存し、単一の管理されたプラットフォームから一貫した分析、Industrial AI、工場間の洞察を可能にします。
FFT DataBridgeによるエッジサイドの集約、フィルタリング、インテリジェントなバッチ処理は、必要に応じて忠実性を保ちながら、データ量とクラウドへの取り込みコストを削減します。
MLflow、Mosaic AI、Databricks SQLは、予知保全、品質最適化、エネルギー管理のための機能エンジニアリング、モデtraining、展開を加速します。
FFT DataBridgeのエッジバッファリング（リングメモリ、ファイルパーシステンス）とリトライロジックは、ネットワークが停止してもデータを失うことなくデータの継続性を維持します。
エンドツーエンドの暗号化、トークンベースの認証、ロールベースのアクセス、およびUnity Catalogコントロールは、完全な系統追跡で機密の運用データを保護します。
DatabricksでトレーニングされたAIモデルをIndustrial Edge にデプロイして低遅延の意思決定を行うことができ、物理AIと自律的な製造が可能になります。
OTコネクタ、アプリ、ローカルデータバス、バッファストレージをホストします。
安全な取得、エンリッチメント、フィルタリング、集約、オーケストレーションを担当します。
Industrial Edge・マネジメントで一元管理されています。
Siemens Industrial Edge Ecosystem 産業用コネクタは、さまざまなベンダーの資産を接続することで、製造現場のデータを引き出します。
Industrial Information Hub は、産業データの調和、コンテキスト化、マッピングを可能にします。
停電、再試行、中断、バッチ処理、パッケージングを処理するためにデータをバッファします。
産業データを Zerobus 経由で Unity Catalog が管理するデータブリックスデルタテーブルにストリーミングします。
追加の取り込みミドルウェアは必要ありません。
ブロンズレイヤー：元のペイロードとメタデータを監査用の差分テーブルとして保存します。
シルバー/ゴールドレイヤー：レポートや運用アプリに使用される、構造化され精選されたデータセット。
Zerobusを介したほぼリアルタイムのデータ取り込み。
