Skip to main content
Esta página é exibida usando tradução automática. Prefere ver em inglês?
Evolução da marca 2022
Solução de parceria

Pipeline de dados de OT contextualizado no Databricks

Como podemos coletar de forma confiável dados de OT independentes de fornecedores do chão de fábrica, enriquecê-los com o contexto de ativos e produção na borda e entregar uma cópia governada e pronta para IA no Databricks para análise avançada, IA Industrial e consumo corporativo?

Visão geral

Visão geral dos databricks do hub de arquitetura

Siemens Industrial Edge para Databricks

  1. Conecte equipamentos de chão de fábrica independentes de fornecedores ao Industrial Edge por meio de conectores pré-configurados.
  2. Crie uma conexão segura e confiável entre a Siemens Industrial Edge Devices e a Databricks Data Intelligence Platform usando o FFT DataBridge para ingestão baseada em arquivos no armazenamento de objetos em nuvem (S3, ADLS ou GCS)
  3. Armazene e gerencie dados industriais harmonizados no Databricks Lakehouse para análises escaláveis e IA Industrial.
  4. Execute análises avançadas e treine modelos de IA na camada de dados harmonizada, incluindo monitoramento de OEE, manutenção preditiva, otimização de qualidade e aplicativos de IA agente. Implante modelos de volta ao Industrial Edge para execução de baixa latência.

Uma configuração híbrida de ponta a nuvem em que o Industrial Edge ingere e enriquece fluxos de dados de OT, alinhando e contextualizando a telemetria e os eventos na origem antes de encaminhá-los via FFT DataBridge por meio da ingestão de streaming para o Databricks. No Databricks, os dados são transformados e estruturados em níveis iniciais, selecionados e analíticos, formando a base corporativa para: análises avançadas, IA Industrial, desenvolvimento de modelos e gerenciamento do ciclo de vida, aplicativos operacionais e permitindo a integração com ambientes MES, ERP e SCADA. A abordagem geral foi projetada para garantir a prontidão da IA, dados confiáveis e consistentes, segurança robusta, alta resiliência e interoperabilidade aberta e independente do fornecedor.

Arquitetura detalhada

    Coleção e contextualização do Edge (Industrial Edge)

    O Industrial Edge opera dispositivos locais perto do chão de fábrica e se conecta a equipamentos de automação independentes do fornecedor por meio de conectores OT (OPC UA, Modbus, EtherNet/IP etc.). Ele adquire telemetria bruta, alarmes e eventos.

    Na borda, os dados são pré-processados: filtragem, compactação, normalização de data e hora, enriquecimento com metadados de ativos (hierarquias de ativos, ordem de trabalho/contexto de lote) e agregação local para reduzir a largura de banda da nuvem.

    Um banco de dados interno (MQTT/Unified Namespace) ou um Hub de Informações Industriais propaga fluxos de tópicos harmonizados para componentes posteriores e consumidores locais.

    Conexão de protocolos e formatos

    O FFT DataBridge (aplicativo Edge) prepara e enriquece os dados para streaming e ingestão quase em tempo real no Databricks. Seu aplicativo complementar gratuito, o FFT DataService, acessa dados contextualizados do Industrial Information Hub Essentials (Edge App) e os disponibiliza para o FFT DataBridge, que então publica fluxos de dados alinhados e contextualizados via Zerobus, permitindo a entrega contínua diretamente nas tabelas governadas pelo Catálogo Unity.

    Para garantir a robustez, a solução usa buffer na memória e persistência local para eliminar interrupções de conectividade e interrupções prolongadas. No lado do Databricks, os dados são ingeridos incrementalmente nas tabelas Delta no Unity Catalog, permitindo acesso governado e de baixa latência para cargas de trabalho de análise downstream e IA. A conectividade segura é mantida por meio de mecanismos de autenticação baseados em tokens ou chaves.

    Plataforma de inteligência de dados Databricks

    A ingestão de streaming via Zerobus entrega continuamente dados ao Databricks, onde as cargas de entrada de OT são gravadas em tabelas Bronze Delta regidas pelo Unity Catalog, preservando a estrutura bruta e os metadados para total rastreabilidade e auditabilidade.

    Os pipelines de transformação criados com Lakeflow Declarative Pipelines, Databricks Workflows e Apache Spark refinam progressivamente os dados em camadas Silver (curadas) e Gold (analíticas), oferecendo suporte ao alinhamento temporal, ao enriquecimento contextual e à prontidão para o consumo de BI, bem como para casos de uso orientados por IA.

    Os modelos de IA são desenvolvidos e treinados centralmente no Databricks usando MLflow e Mosaic AI e podem então ser implantados de volta na Siemens Industrial Edge para execução de baixa latência perto do chão de fábrica, permitindo otimização de circuito fechado e cenários físicos de IA.

    O Unity Catalog impõe governança de ponta a ponta, incluindo controle de acesso refinado, mascaramento de dados e rastreamento de linhagem, enquanto a plataforma Lakehouse é executada de forma nativa na AWS, Microsoft Azure e Google Cloud Platform, suportando a implantação entre nuvens e a mobilidade perfeita de dados.

    Valores e benefícios

    Componentes