Skip to main content
CASE STUDY

Optymalizacja chłodzenia w centrach danych AI

Globalne zapotrzebowanie na moc obliczeniową stale rośnie. Powstają coraz to nowe, mocniejsze centra danych. Bezprecedensowy rozwój sztucznej inteligencji sprawia, że muszą one działać wydajniej i oszczędniej niż kiedykolwiek wcześniej.

Kluczowym wyzwaniem dla operatorów centrów danych staje się jak najbardziej efektywne użycie zarówno zakontraktowanej energii, jak i innych zasobów.

Szczególnie duży potencjał do optymalizacji w tym zakresie istnieje w obszarze chłodzenia podzespołów. Współczesne systemy wykorzystują w tym celu zaawansowane technologie chłodzenia cieczą, umożliwiające efektywne zarządzanie energią nawet w bardzo intensywnie obciążonych ośrodkach obliczeniowych. Jednym z wiodących producentów takich rozwiązań jest polska firma DCX Liquid Cooling Systems, tworząca innowacyjne systemy chłodzenia cieczą oparte o sprawdzone technologie produkowane m.in. przez Siemensa.

Systemy do zadań specjalnych

Projektując oraz budując swoje rozwiązania DCX Liquid Cooling Systems stawia na sprawdzonych i zaufanych dostawców technologii. Firma korzysta ze sterowników, paneli HMI i zasilaczy Siemensa, a podzespoły te pełnią ważne funkcje w budowanych instalacjach.

Głównymi odbiorcami rozwiązań DCX Liquid Cooling Systems są ośrodki przetwarzania danych dla sztucznej inteligencji oraz centra danych klasy HPC, Hyperscale, Enterprise i Neocloud. Firma zajmuje się projektowaniem i produkcją Jednostek Dystrybucji Chłodziwa (ang. Coolant Distribution Unit lub CDU), pełnych systemów chłodzenia bezpośredniego, systemów chłodzenia immersyjnego oraz modularnych centrów danych.

Firma uczestniczy również we wdrożeniach i instalacjach infrastruktury chłodzenia. Rozwiązania DCX Liquid Cooling Systems z zakresu chłodzenia bezpośredniego zostały zainstalowane przez operatorów centrów danych w takich krajach jak Szwecja, Francja, Stany Zjednoczone, Turcja i Szwajcaria.

DCX Liquid Cooling Systems

DCX Liquid Cooling Systems buduje innowacyjne systemy chłodzenia cieczą oparte o sprawdzone technologie produkowane m.in. przez Siemensa.

Proces dystrybucji i zarządzania mocą w centrum danych AI

W centrum danych energia elektryczna przepływa od przyłącza energetycznego, przez rozdzielnice średniego i niskiego napięcia, transformatory, moduły UPS i magazyny energii, a następnie przez urządzenia PDU (Power Distribution Unit) lub szynoprzewody do szaf serwerowych. Następnie poprzez zasilacze i układy VRM (ang. Voltage Regulator Module – moduł regulacji napięcia), trafia do procesorów CPU, GPU i TPU napędzających moce obliczeniowe centrów danych.

Jednocześnie niemal cała pobrana przez sprzęt IT moc zamienia się w ciepło.

„W systemie DCX specjalistyczne płyty chłodzące odbierają ponad 80% ciepła serwera bezpośrednio z jego podzespołów. Ciepło przepływa pętlą Technology Cooling System do rozwiązań FDU (ang. Facility Coolant Distribution Unit – scentralizowany system dystrybucji chłodziwa), gdzie przekazywane jest przez wymiennik do drugiej, odizolowanej od serwerowni pętli, czyli tak zwanego układu FWS (ang. Facility Water System), odpowiedzialnego za dalsze odprowadzanie ciepła z obiektu” – tłumaczy Maciej Szadkowski, Chief Technology Officer w DCX Liquid Cooling Systems. „Następnie ciepło to może być odprowadzone z obiektu przy użyciu chłodnic wentylatorowych albo wykorzystane w systemie odzysku ciepła. Ponieważ pozostałe elementy serwera mogą nadal wymagać ograniczonego chłodzenia powietrzem, stosujemy rozwiązania typu RDHX, czyli tylne wymienniki ciepła montowane z tyłu szafy rack. Odbierają one ciepło z powietrza opuszczającego serwer i ograniczają jego wpływ na warunki termiczne w serwerowni” – dodaje.

W efekcie możliwe jest znaczące obniżenie zużycia energii. W tradycyjnym centrum danych system chłodzenia może odpowiadać nawet za około 40% całkowitego zużycia energii.

„Przejście na chłodzenie cieczą nie oznacza oczywiście automatycznie oszczędności energii o 40%. Rzeczywiste oszczędności zależą od wielu czynników, jak temperatura otoczenia, parametry pętli chłodzenia, udziału ciepła odbieranego cieczą. Ważną rolę odgrywa także architektura odbioru ciepła resztkowego z serwerowni. Co ważne, ciepło to może być wykorzystane m.in. do ogrzewania basenów, szklarni czy innych obiektów” – tłumaczy Tomasz Buk, Chief Executive Officer w DCX Liquid Cooling Systems.

DCX Liquid Cooling Systems

Przewagą DCX jest wiedza ekspercka i nieszablonowe podejście do tworzenia technologii.

Innowacyjna technologia

DCX Liquid Cooling Systems zastępuje tradycyjne chłodzenie powietrzem i rozproszone CDU instalacjami typu chłodzenia bezpośredniego, chłodzenia zanurzeniowego oraz scentralizowanymi systemami kontroli i dystrybucji chłodziwa.

„Centrom danych AI proponujemy uproszczoną, scentralizowaną topologię chłodzenia opartą na naszym flagowym produkcie – FDU. Oczywiście mówimy tutaj o najbardziej wymagających centrach danych. Takich, których zadaniem jest szkolenie lub obsługa rozwiązań sztucznej inteligencji” – wyjaśnia Maciej Szadkowski.

Przewagą DCX jest wiedza ekspercka i nieszablonowe podejście do tworzenia technologii.

„Jako pierwsza na świecie firma z naszej branży wdrożyliśmy system CDU klasy Hyperscale, zdolny odebrać od 5 do nawet 8 MW ciepła za pomocą jednego urządzenia” – zauważa Tomasz Buk.

Najważniejsze zalety scentralizowanych jednostek chłodzenia DCX to mniejsza liczba pomp, wymienników, paneli i punktów serwisowych, co przekłada się na odzyskanie powierzchni pod sprzęt IT oraz łatwiejszą centralną diagnostykę. Projekt instalacji staje się bardziej powtarzalny, a pętle można prowadzić na odległości przekraczające 50m. Zyskuje na tym także elastyczność projektowania i niezawodność całego systemu. Szafy rozmieszczane są zgodnie z dostępnością mocy i nośnością konstrukcji, a nie odległością od CDU, co ułatwia wdrożenie architektur N+1 i 2N, zapewniających dodatkową redundancję i ciągłość pracy systemu w przypadku awarii lub konieczności przeprowadzenia prac serwisowych.

DCX Liquid Cooling Systems

DCX jako pierwsza firma z branży wdrożyła system CDU klasy Hyperscale, zdolny odebrać od 5 do nawet 8 MW ciepła za pomocą jednego urządzenia. Na zdjęciu od lewej: T.Buk, W.Kuś.

Rola sterowania i automatyki

Architektura sterowania w rozwiązaniach DCX opiera się na 12‑calowym panelu dotykowym HMI, zintegrowanym z bliźniaczymi urządzeniami w budynku oraz z systemem zarządzania budynkiem (BMS). System obejmuje czujniki temperatury, przepływu, ciśnienia i różnicy ciśnień, a także m.in. czujniki wycieku, poziomu cieczy oraz jakości wody.

Istotne komponenty niezbędne do produkcji systemów chłodzenia DCX Liquid Cooling Systems dostarcza Siemens. W rozwiązaniach DCX stosowane są panele SIMATIC HMI MTP1000 oraz sterowniki SIMATIC S7‑1500 z redundantnym procesorem.

„Siemens jest renomowanym dostawcą rozwiązań automatyki. Bezawaryjność urządzeń tego producenta, jak też bardzo dobre relacje z firmą były dla nas kluczowe przy wyborze dostawcy tak istotnych komponentów naszych systemów” – wyjaśnia Tomasz Buk, CEO DCX Liquid Cooling Systems.

Kluczowymi elementami systemu chłodzenia są redundantne sterowniki SIMATIC z logiką dual‑path, inteligentne napędy VFD pomp oraz system uzdatniania cieczy. Istotną rolę pełni także lokalny panel HMI oraz interfejs do warstwy zarządzania obiektem (BMS). Sterowniki SIMATIC odpowiadają m.in. za regulację przepływu, temperatury i ciśnienia wody, sekwencjonowanie pomp oraz utrzymanie bezpiecznych stanów pracy. We flagowych rozwiązaniach DCX Liquid Cooling Systems, jak FDU 8 MW AT2, redundantne są nie tylko sterowniki, ale także układ zasilania.

W roli interfejsu człowiek-maszyna wykorzystywane są panele HMI SIMATIC. Całość interfejsu została stworzona przez zespół DCX Liquid Cooling Systems od podstaw, łącznie z warstwą wizualną. Za pomocą paneli HMI Siemensa operator może monitorować parametry pracy FDU, stan poszczególnych komponentów oraz alarmy systemowe.

"Siemens dostarcza kluczowe komponenty niezbędne do budowy systemów FDU tworzonych przez DCX Liquid Cooling Systems, jak sterowniki czy panele HMI. Wykorzystanie naszych podzespołów w wyjątkowo innowacyjny sposób jest jednym z elementów przewagi konkurencyjnej firmy. Redundantne sterowniki minimalizują ryzyko usterki układu sterowania, przyczyniając się do zwiększenia jego niezawodności. W przypadku wykrycia anomalii w jednym sterowniku procesu, drugi – rezerwowy – przejmuje jego funkcję w czasie krótszym niż 100ms. Cały proces technologiczny pozostaje przy tym niezachwiany” – podkreśla Wojciech Kuś, ekspert ds. wsparcia technicznego i aplikacyjnego w Siemens Polska.

DCX Liquid Cooling Systems

Redundantne sterowniki minimalizują ryzyko usterki układu sterowania, przyczyniając się do zwiększenia jego niezawodności.

DCX Liquid Cooling Systems

We flagowych rozwiązaniach redundantne są nie tylko sterowniki, ale także układ zasilania.

„Systemy chłodzenia DCX Liquid Cooling Systems oferują obecnie jeden z najbardziej przyjaznych użytkownikowi interfejsów w tej branży. Oparty jest on o panele HMI naszej produkcji. Dzięki temu nawet takie elementy, jak nadzór nad pracą urządzeń, kontrola procesów czy odczytywanie parametrów lub alarmów pomagają w zwiększaniu pozytywnego „user experience” użytkowników tych rozwiązań – dodaje Wojciech Kuś.

„Naszą filozofią jest opieranie się na najlepszych komponentach od zaufanych dostawców z Europy. Sprzęt, który tworzymy, ma być demonstracją możliwości europejskiej inżynierii, bazującej na wiedzy i jakości pochodzącej z tego kontynentu. Łańcuch dostaw oraz wartości mają dla nas ogromne znaczenie w procesie tworzenia rozwiązań. Dlatego właśnie decydujemy się na współpracę z takimi firmami jak Siemens, aby dostarczać klientom jakościowe i przewidywalne rozwiązania w możliwie najkrótszym czasie” – wyjaśnia Maciej Szadkowski, CTO DCX Liquid Cooling Systems.

DCX Liquid Cooling Systems

W roli interfejsu człowiek-maszyna wykorzystywane są panele HMI SIMATIC.

Etapy realizacji projektu systemu chłodzenia

Systemy chłodzenia DCX Liquid Cooling Systems dostosowywane są do potrzeb konkretnego centrum danych. Na początku projektu zbierane są wymagania dotyczące m.in. mocy IT, liczby i typu szaf, temperatury, poziomu redundancji oraz możliwości odzysku ciepła. Następnie opracowywany jest projekt termiczny i hydrauliczny układów FWS/TCS, a także dobierane i konfigurowane są m.in. jednostki FDU oraz automatyka sterująca. Równolegle powstaje projekt funkcjonalny sterowania, interfejsów HMI i integracji z systemami BMS/DCIM.

Kolejnym krokiem jest prefabrykacja mechaniczna i elektryczna urządzeń oraz programowanie sterowników PLC i paneli HMI. Przed wysyłką przeprowadzane są m.in. testy obejmujące hydraulikę, systemy elektryczne, funkcjonalne, alarmowe i scenariusze failover. Kluczową rolę odgrywa właściwe podłączenie instalacji na obiekcie, integracja z istniejącymi układami FWS, TCS, zasilaniem oraz systemami nadrzędnymi.

Ostatnie etapy to testy, uruchomienie systemu pod stopniowo zwiększanym obciążeniem. Po przeszkoleniu personelu i przekazaniu dokumentacji następuje oddanie rozwiązania do eksploatacji.

„Tak długo, jak rośnie rynek, rosną również gęstości cieplne szaf, a w związku z tym zapotrzebowanie na coraz większą zdolność chłodzenia. Centra danych będą się rozwijać. Znajdujemy się w sytuacji, w której zapotrzebowanie na moce obliczeniowe przewyższa podaż przestrzeni do ich przetwarzania, co powoduje wzrost zapotrzebowania na chłodzenie” – puentuje Tomasz Buk, CEO DCX.

DCX Liquid Cooling Systems

Produkowane przez DCX Liquid Cooling Systems układy chłodzenia dostosowywane są do potrzeb konkretnego centrum danych.