Skip to main content
此页面采用自动翻译显示。 改为用英语查看?
2022年品牌演变
合作伙伴解决方案

将情境化的 OT 数据管道导入 Databricks

我们如何才能可靠地从车间收集与供应商无关的 OT 数据,利用边缘的资产和生产环境对其进行丰富,并将受管控的、人工智能就绪的副本交付到 Databricks 中,用于高级分析、工业 AI 和企业消费?

概述

架构中心数据块概述

西门子工业边缘到数据积木

  1. 通过预配置的连接器将不受供应商限制的车间设备连接到 Industrial Edge。
  2. 使用 FFT DataBridge 在 Siemens Industrial Edge 设备和 Databricks 数据智能平台之间建立安全可靠的连接,以基于文件的方式摄取到云对象存储(S3、ADLS 或 GCS)
  3. 在 Databricks Lakehouse 中存储和管理统一的工业数据,以进行可扩展的分析和工业 AI。
  4. 在协调的数据层上执行高级分析和训练 AI 模型,包括 OEE 监控、预测性维护、质量优化和代理人工智能应用。将模型部署回 Industrial Edge 以实现低延迟执行。

一种边缘到云的混合设置,其中 Industrial Edge 摄取和丰富 OT 数据流,在源头对遥测和事件进行协调和情境化,然后通过流式摄取到 Databricks 通过 FFT DataBridge 将其转发到数据块。在Databricks中,数据跨着陆层、策划层和分析层进行转换和结构化,为高级分析、工业人工智能、模型开发和生命周期管理、运营应用以及实现与MES、ERP和SCADA环境的集成奠定了企业湖库基础。总体方法旨在确保人工智能就绪、可信和一致的数据、强大的安全性、高弹性以及开放的、供应商中立的互操作性。

    边缘收集和情境化 (Industrial Edge)

    Industrial Edge 在车间附近运行本地设备,并通过 OT 连接器(OPC UA、Modbus、Ethernet/IP 等)连接到与供应商无关的自动化设备。它采集原始遥测、警报和事件。

    在边缘,对数据进行预处理:过滤、压缩、时间戳标准化、使用资产元数据(资产层次结构、工作单/批次上下文)进行丰富,以及本地聚合以减少云带宽。

    内部数据库(MQTT /统一命名空间)或 Industrial Information Hub 为下游组件和本地用户传播统一的主题流。

    协议和格式桥接

    FFT DataBridge(边缘应用程序)准备并丰富了数据,以便将数据流式传输和近乎实时地提取到 Databricks 中。它的免费配套应用FFT DataService可以访问来自工业信息中心基础知识(边缘应用程序)的情境化数据,并将其提供给FFT DataBridge,FFT DataBridge随后通过Zerobus发布对齐的情境化数据流,从而实现持续交付直接到Unity目录管理的表中。

    为确保稳健性,该解决方案使用内存缓冲和本地持久性来弥合连接中断和长时间中断。在 Databricks 方面,数据以增量方式导入 Unity Catalog 下的增量表中,从而为下游分析和 AI 工作负载提供受管控的低延迟访问。通过基于令牌或基于密钥的身份验证机制来维护安全连接。

    Databricks 数据情报平台

    通过 Zerobus 进行流式采集会持续将数据传送到 Databricks 中,传入的 OT 有效负载将写入由 Unity Catalog 管理的 Bronze Delta 表中,保留原始结构和元数据,以实现完全的可追溯性和可审计性。

    使用 Lakeflow 声明式管道、Databricks Workflows 和 Apache Spark 构建的转型管道逐步将数据细化为银级(精选)和金级(分析)层,支持时间调整、情境丰富、为 BI 消费以及人工智能驱动的用例做好准备。

    人工智能模型使用 MLFlow 和 Mosaic AI 在 Databricks 中集中开发和训练,然后可以部署回 Siemens Industrial Edge,在车间附近进行低延迟执行,从而实现闭环优化和物理 AI 场景。

    Unity Catalog 强制实施端到端监管,包括精细的访问控制、数据屏蔽和世系跟踪,而 Lakehouse 平台则在 AWS、微软 Azure 和谷歌云平台上原生运行,支持跨云部署和无缝数据移动。

    价值观与福利

    组件