Skip to main content
Эта страница переведена автоматически. Перейти к английской версии?
Партнерское решение

Контекстуализированный конвейер данных OT в Databricks

Как мы можем надежно собирать независимые от поставщиков данные от OT в цехе, обогащать их контекстом активов и производства на периферии и предоставлять управляемую копию Databricks с поддержкой искусственного интеллекта для расширенной аналитики, промышленного искусственного интеллекта и корпоративного потребления?

Обзор

Обзор блоков данных Architecture Hub

От Siemens Industrial Edge до информационных блоков

  1. Подключайте производственное оборудование, не зависящее от производителя, к Industrial Edge с помощью предварительно сконфигурированных разъемов.
  2. Создайте безопасное и надежное соединение между устройствами Siemens Industrial Edge и платформой анализа данных Databricks с помощью FFT DataBridge для загрузки файлов в облачное объектное хранилище (S3, ADLS или GCS)
  3. Храните гармонизированные промышленные данные и управляйте ими в Databricks Lakehouse для масштабируемой аналитики и промышленного искусственного интеллекта.
  4. Выполняйте расширенную аналитику и обучайте модели искусственного интеллекта на гармонизированном уровне данных, включая мониторинг OEE, профилактическое обслуживание, оптимизацию качества и агентские приложения искусственного интеллекта. Верните модели в Industrial Edge для выполнения с минимальными задержками.
Загрузить PDF-файл

Гибридная конфигурация между периферией и облаком, в которой Industrial Edge получает и обогащает потоки данных OT, согласовывает и контекстуализирует телеметрию и события в источнике, а затем передает их через FFT DataBridge путем потоковой передачи в Databricks. В Databricks данные трансформируются и структурируются по уровням загрузки, обработки и аналитики, образуя корпоративную основу для расширенной аналитики, промышленного искусственного интеллекта, разработки моделей и управления жизненным циклом, операционных приложений и интеграции со средами MES, ERP и SCADA. Общий подход разработан таким образом, чтобы обеспечить готовность ИИ, надежные и достоверные данные, надежную безопасность, высокую отказоустойчивость и открытую, независимую от поставщиков совместимость.

Подробная архитектура

архитектура, концентратор, элементы данных, детальная архитектура, 1280x720
Загрузить подробный PDF-файл

    Сбор и контекстуализация данных Edge (Industrial Edge)

    Industrial Edge размещает локальные устройства рядом с цехом и подключается к оборудованию автоматизации, не зависящему от производителя, через разъемы OT (OPC UA, Modbus, Ethernet/IP и т. д.). Он собирает необработанные телеметрические данные, сигналы тревоги и события.

    На периферии происходит предварительная обработка данных: фильтрация, сжатие, нормализация временных меток, обогащение метаданными активов (иерархии активов, контекст рабочего задания/пакетной обработки) и локальное агрегирование для уменьшения пропускной способности облака.

    Внутренняя база данных (MQTT/Unified Namespace) или Industrial Information Hub обеспечивает согласованные тематические потоки для дочерних компонентов и местных потребителей.

    Связь между протоколами и форматами

    FFT DataBridge (приложение Edge) подготавливает и обогащает данные для потоковой передачи и ввода в Databricks в режиме, близком к реальному времени. Бесплатное сопутствующее приложение, FFT DataService, получает доступ к контекстуализированным данным из Industrial Information Hub Essentials (Edge App) и делает их доступными для FFT DataBridge, которая затем публикует согласованные контекстуализированные потоки данных через Zerobus, обеспечивая непрерывную доставку непосредственно в таблицы, управляемые каталогом Unity.

    Для обеспечения надежности решение использует буферизацию в памяти и локальное сохранение данных для устранения перебоев в подключении и продолжительных простоев. Со стороны Databricks данные постепенно загружаются в таблицы Delta в Unity Catalog, что обеспечивает регулируемый доступ с малой задержкой к последующим аналитическим нагрузкам и рабочим нагрузкам искусственного интеллекта. Безопасное подключение обеспечивается с помощью механизмов аутентификации на основе токенов или ключей.

    Платформа анализа данных Databricks

    Потоковая передача данных через Zerobus непрерывно передает данные в Databricks, где входящие полезные данные OT записываются в таблицы Bronze Delta, управляемые Unity Catalog, сохраняя исходную структуру и метаданные для полной прослеживаемости и аудита.

    Конвейеры трансформации, построенные с использованием декларативных конвейеров Lakeflow, рабочих процессов Databricks и Apache Spark, постепенно превращают данные в серебряный (курируемый) и золотой (аналитический) слои, обеспечивая согласование времени, обогащение контекста и готовность к использованию бизнес-аналитики, а также сценарии использования на основе искусственного интеллекта.

    Модели искусственного интеллекта разрабатываются и обучаются централизованно в Databricks с использованием MLFlow и Mosaic AI, а затем могут быть развернуты обратно в Siemens Industrial Edge для выполнения с малыми задержками рядом с цехом, что позволяет оптимизировать замкнутый цикл и использовать физические сценарии искусственного интеллекта.

    Unity Catalog обеспечивает комплексное управление, включая детальный контроль доступа, маскирование данных и отслеживание происхождения, а платформа Lakehouse изначально работает в AWS, Microsoft Azure и Google Cloud Platform, поддерживая межоблачное развертывание и бесперебойную мобильность данных.

    Ценности и преимущества

    Компоненты