Skip to main content
Esta página é apresentada utilizando tradução automática. Prefere ver em inglês?
Solução de Parceiro

Pipeline de dados OT contextualizado no Databricks

Como podemos recolher de forma fiável dados de OT independentes do fornecedor no chão de fábrica, enriquecê-lo com ativos e contexto de produção na borda e entregar uma cópia governada e pronta para IA no Databricks para análise avançada, Industrial AI e consumo empresarial?

Visão geral

Visão geral dos bancos de dados do hub de arquitetura

Siemens Industrial Edge para Databricks

  1. Ligue o equipamento de chão de fábrica independente do fornecedor ao Industrial Edge através de conectores pré-configurados.
  2. Crie uma ligação segura e fiável entre a Siemens Industrial Edge Devices e a Databricks Data Intelligence Platform utilizando o FFT DataBridge para a ingestão baseada em ficheiros no armazenamento de objectos na nuvem (S3, ADLS ou GCS)
  3. Armazene e gerencie dados industriais harmonizados no Databricks Lakehouse para análises escaláveis e Industrial AI.
  4. Execute análises avançadas e treine modelos de IA na camada de dados harmonizada, incluindo monitorização OEE, manutenção preditiva, otimização de qualidade e aplicações de IA agênticas. Implemente modelos de volta ao Industrial Edge para execução de baixa latência.

Uma configuração híbrida de ponta a nuvem onde o Industrial Edge ingere e enriquece fluxos de dados OT, alinhando e contextualizando a telemetria e os eventos na origem antes de encaminhá-los via FFT DataBridge através da ingestão de streaming para o Databricks. No Databricks, os dados são transformados e estruturados em níveis de aterragem, curadoria e análise, formando a base empresarial lakehouse para: análise avançada, Industrial AI, desenvolvimento de modelos e gestão do ciclo de vida, aplicações operacionais e permitindo a integração com ambientes MES, ERP e SCADA. A abordagem geral foi concebida para garantir a prontidão da IA, dados fiáveis e consistentes, segurança robusta, alta resiliência e interoperabilidade aberta e neutra em relação ao fornecedor.

Arquitetura detalhada

    Coleta e contextualização de borda (Industrial Edge)

    O Industrial Edge executa dispositivos locais perto do chão de fábrica e liga-se a equipamentos de automação independentes do fornecedor através de conectores OT (OPC UA, Modbus, Ethernet/IP, etc.). Adquire telemetria bruta, alarmes e eventos.

    No limite, os dados são pré-processados: filtragem, compressão, normalização do carimbo de data/hora, enriquecimento com metadados de ativos (hierarquias de ativos, ordem de serviço/contexto em lote) e agregação local para reduzir a largura de banda na nuvem.

    Um banco de dados interno (MQTT/Unified Namespace) ou Industrial Information Hub propaga fluxos de tópicos harmonizados para componentes downstream e consumidores locais.

    Protocolo e ponte de formato

    O FFT DataBridge (Edge App) prepara e enriquece os dados para streaming e ingestão quase em tempo real no Databricks. A sua aplicação complementar gratuita, o FFT DataService, acede a dados contextualizados do Industrial Information Hub Essentials (Edge App) e disponibiliza-os ao FFT DataBridge, que depois publica fluxos de dados alinhados e contextualizados via Zerobus, permitindo a entrega contínua diretamente no Catálogo Unity — tabelas governadas.

    Para garantir a robustez, a solução utiliza buffer na memória e persistência local para ligar interrupções de conectividade e interrupções prolongadas. No lado do Databricks, os dados são ingeridos incrementalmente nas tabelas Delta no Unity Catalog, permitindo acesso governado e de baixa latência para análises downstream e cargas de trabalho de IA. A conectividade segura é mantida através de mecanismos de autenticação baseados em tokens ou chaves.

    Plataforma de inteligência de dados Databricks

    A ingestão de streaming via Zerobus fornece dados continuamente para o Databricks, onde as cargas de entrada de OT são gravadas em tabelas Bronze Delta governadas pelo Catálogo Unity, preservando a estrutura bruta e os metadados para total rastreabilidade e auditabilidade.

    Os pipelines de transformação construídos com Lakeflow Declarative Pipelines, Databricks Workflows e Apache Spark refinam progressivamente os dados em camadas Silver (curadas) e Gold (analíticas), suportando alinhamento de tempo, enriquecimento contextual e prontidão para o consumo de BI, bem como casos de uso orientados por IA.

    Os modelos de IA são desenvolvidos e treinados centralmente no Databricks usando MLflow e Mosaic AI, e podem então ser implantados de volta na Siemens Industrial Edge para execução de baixa latência perto do chão de fábrica, permitindo otimização de circuito fechado e cenários físicos de IA.

    O Unity Catalog impõe uma governação de ponta a ponta, incluindo controlo de acesso refinado, mascaramento de dados e rastreio de linhagem, enquanto a Lakehouse Platform é executada nativamente na AWS, Microsoft Azure e Google Cloud Platform, suportando implementação entre nuvens e mobilidade de dados perfeita.

    Valores & benefícios

    Componentes