어떻게 하면 제조 현장에서 공급업체에 구애받지 않는 OT 데이터를 안정적으로 수집하고, 엣지에서 자산 및 생산 컨텍스트로 보강하고, 고급 분석, 산업 AI 및 기업 소비를 위해 통제된 AI 지원 사본을 Databricks에 제공할 수 있을까요?
지멘스 인더스트리얼 엣지 투 데이터브릭스
Industrial Edge가 OT 데이터 스트림을 수집하고 보강하여 Databricks로의 스트리밍 수집을 통해 FFT DataBridge를 통해 전달하기 전에 소스에서 원격 측정과 이벤트를 정렬하고 컨텍스트화하는 하이브리드 엣지 투 클라우드 설정이에요.Databricks에서 데이터는 랜딩, 큐레이팅, 분석 계층 전반에서 변환되고 구조화되어 고급 분석, 산업 AI, 모델 개발 및 라이프사이클 관리, 운영 애플리케이션, MES, ERP, SCADA 환경과의 통합 활성화를 위한 엔터프라이즈 레이크하우스 기반을 형성해요.전반적인 접근 방식은 AI 준비성, 신뢰할 수 있고 일관된 데이터, 강력한 보안, 높은 복원력, 개방적이고 공급업체 중립적인 상호 운용성을 보장하도록 설계되었어요.
Industrial Edge는 작업장에서 가까운 온프레미스 장치로 실행되고 OT 커넥터 (OPC UA, 모드버스, 이더넷/IP 등) 를 통해 공급업체에 구애받지 않는 자동화 장비에 연결해요.원시 원격 측정, 알람, 이벤트를 획득해요.
엣지에서는 필터링, 압축, 타임스탬프 정규화, 자산 메타데이터 강화 (자산 계층, 작업 주문, 배치 컨텍스트), 클라우드 대역폭 감소를 위한 로컬 집계 등 데이터가 사전 처리돼요.
내부 데이터버스 (MQTT/ 통합 네임스페이스) 또는 Industrial Information Hub는 다운스트림 구성 요소와 현지 소비자를 위해 통일된 주제 스트림을 전파해요.
FFT DataBridge (엣지 앱) 는 스트리밍 및 Databricks로의 실시간에 가까운 통합을 위해 데이터를 준비하고 보강해요.무료 컴패니언 앱인 FFT DataService는 Industrial Information Hub Essentials (엣지 앱) 에서 컨텍스트화된 데이터에 액세스하여 FFT DataBridge에서 사용할 수 있게 해줘요. 그러면 정렬되고 상황에 맞는 데이터 스트림을 제로버스를 통해 퍼블리시하여 Unity 카탈로그가 관리되는 테이블에 직접 지속적으로 제공할 수 있어요.
견고성을 보장하기 위해 솔루션은 인메모리 버퍼링과 로컬 지속성을 사용하여 연결 중단과 장기간의 정전을 연결해요.데이터브릭스 쪽에서는 데이터가 Unity 카탈로그 아래의 델타 테이블에 점진적으로 수집되어 다운스트림 분석과 AI 워크로드에 대해 통제되고 지연 시간이 짧은 액세스가 가능해요.보안 연결은 토큰 기반 또는 키 기반 인증 메커니즘을 통해 유지돼요.
Zerobus를 통한 스트리밍 수집은 Databricks로 데이터를 지속적으로 전달해요. 여기서 들어오는 OT 페이로드는 Unity 카탈로그가 관리하는 Bronze Delta 테이블에 기록되어 완전한 추적성과 감사 가능성을 위해 원시 구조와 메타데이터를 보존해요.
레이크플로우 선언형 파이프라인, 데이터브릭스 워크플로우, 아파치 스파크로 구축한 변환 파이프라인은 데이터를 실버 (큐레이티드) 레이어와 골드 (분석) 레이어로 점진적으로 세분화하여 시간 정렬, 컨텍스트 강화, BI 사용 준비 및 AI 기반 사용 사례를 지원해요.
AI 모델은 MLflow와 Mosaic AI를 사용하여 Databricks에서 중앙 집중식으로 개발 및 훈련한 다음 Siemens Industrial Edge에 다시 배포하여 작업 현장 근처에서 지연 시간이 짧은 실행을 할 수 있어요. 폐루프 최적화와 물리적 AI 시나리오가 가능해요.
Unity 카탈로그는 세분화된 액세스 제어, 데이터 마스킹, 계보 추적 등 엔드 투 엔드 거버넌스를 적용하고, 레이크하우스 플랫폼은 기본적으로 AWS, Microsoft Azure, Google 클라우드 플랫폼에서 실행되어 클라우드 간 배포와 원활한 데이터 이동성을 지원해요.
Databricks는 개방형 레이크하우스에 원시 및 큐레이트된 OT 데이터를 저장하여 단일 관리 플랫폼에서 일관된 분석, 산업 AI 및 교차 공장 통찰력을 가능하게 해요.
FFT DataBridge의 엣지 사이드 어그리게이션, 필터링, 지능형 배칭은 필요한 부분의 충실도를 유지하면서 데이터 양과 클라우드 통합 비용을 낮춰요.
MLFlow, 모자이크 AI, Databricks SQL은 예측 유지 보수, 품질 최적화, 에너지 관리를 위한 기능 엔지니어링, 모델 교육 및 배포를 가속화해요.
FFT DataBridge의 엣지 버퍼링 (링 메모리, 파일 지속성) 과 재시도 로직은 네트워크 중단 시에도 데이터 손실 없이 데이터 연속성을 유지해요.
엔드투엔드 암호화, 토큰 기반 인증, 역할 기반 액세스 및 Unity 카탈로그 제어가 전체 계보 추적으로 민감한 운영 데이터를 보호해요.
Databricks로 학습한 AI 모델을 Industrial Edge에 다시 배포하여 지연 시간이 짧은 의사 결정을 내리고 물리적 AI와 자율 제조를 가능하게 할 수 있어요.
OT 커넥터, 앱, 로컬 데이터버스, 버퍼 스토리지를 호스트해요.
보안 획득, 강화, 필터링, 집계, 오케스트레이션을 담당해요.
Industrial Edge Management를 통해 중앙에서 관리돼요.
Siemens Industrial Edge Ecosystem 산업용 커넥터는 여러 공급업체의 자산을 연결하여 작업장 데이터를 잠금 해제해요.
Industrial Information Hub는 산업 데이터의 조화, 맥락화, 매핑을 가능하게 해요.
정전, 재시도, 중단, 배치 및 패키징을 처리하기 위해 데이터를 버퍼링해요.
제로버스를 통해 산업 데이터를 유니티 카탈로그가 관리하는 데이터브릭스 델타 테이블로 스트리밍해요.
추가 통합 미들웨어가 필요 없어요.
브론즈 레이어: 감사 가능성을 위해 원본 페이로드와 메타데이터를 델타 테이블로 보존해요.
실버/골드 레이어: 보고 및 운영 앱에 사용되는 구조화되고 선별된 데이터셋이에요.
제로버스 이용해서 거의 실시간으로 섭취해요.
