W niektórych centrach baz danych możliwe jest zastosowanie systemów chłodzenia wodą. Planując chłodzenie zanurzeniowe dla kolejnego projektu centrum baz danych, warto rozważyć poniższe zalecenia.
W uproszczeniu terminem termodynamika opisuje się zjawiska wymiany energii cieplnej z systemu o wysokiej temperaturze do systemu o niskiej temperaturze. W centrum baz danych sprzęt informatyczny jest systemem o wysokiej temperaturze. Celem jest utrzymanie temperatury pracy sprzętu informatycznego na akceptowalnym poziomie, przenosząc wytwarzaną przez niego energię cieplną w jak najbardziej efektywny i wydajny sposób, zazwyczaj przy założeniu jak najmniejszego wydatku pracy mechanicznej.
Przemiana cieplna to skomplikowany proces, a jej tempo i wydajność zależą od wielu czynników. Własności środka chłodzącego (np. systemu o niższej temperaturze) są kluczowe, gdyż wpływają bezpośrednio na tempo wymiany, wynikającą z niego różnicę temperatur pomiędzy systemami i ilość pracy mechanicznej, jaką należy wykonać.
Tempo powstawania energii cieplnej wytwarzanej przez sprzęt informatyczny zależy z kolei od cech sprzętu (procesorów, jednostek przetwarzania grafiki itd.) i oprogramowania. Podczas jednostajnej pracy, poziom wytwarzanej energii cieplnej odpowiada prędkości, z jaką jest ona przenoszona do środka chłodzącego za pomocą elementów wewnętrznych. Wymóg dotyczący określenia prędkości przepływu i osłony temperaturowej środka chłodzącego jest określany na podstawie wartości szczytowej wytwarzanej energii cieplnej i akceptowalnej temperatury wewnętrznej pracy sprzętu informatycznego.
Wymóg tempa przepływu ciepła ma bezpośredni wpływ na pracę mechaniczną wykonywaną przez urządzenia wymuszające cyrkulację czynnika chłodzącego w systemie (pompę lub wentylator). Praca wykonywana przez to urządzenie, w jednostajnym procesie o nieznacznej różnicy w energii kinetycznej lub potencjalnej wynosi ∫vdP, gdzie v to objętość, a P ciśnienie. Choć procesy pracy pompy i wentylatora są nieidealne, wykazują ten sam ogólny trend.
W przypadku budowy centrów baz danych chłodzenie ich urządzeń i infrastruktury powietrzem było oczywistością. Z punktu widzenia sprzętu informatycznego, chłodzenie powietrzem wymaga dostarczenia tegoż powietrza do urządzeń, aby je ochłodzić. Gdy zapotrzebowanie na przepływ powietrza zwiększa się w wyniku wzrostu obciążenia i wydzielanej energii cieplnej, wzrasta energia wentylatora na 2 poziomach: poziom dystrybucji powietrza (np. w przypadku infrastruktury mechanicznej, takiej jak urządzenia dostarczające powietrze, urządzenia utrzymujące właściwą jakość powietrza w pomieszczeniu itd.) i na poziomie samego sprzętu, gdyż urządzenia informatyczne posiadają zintegrowane wentylatory służące do zapewnienia lokalnego obiegu powietrza.
Rozwiązania takie jak separacja stref, szafki z kominami czy rzędowe urządzenia chłodzące, pomagają poprawić wydajność i dostatecznie ochłodzić sprzęt. Jednak powietrze ma gorsze własności cieplne, a jego możliwości są wykorzystywane do granic, gdy obciążenie urządzenia rośnie z czasem. W przypadku obciążeń przekraczających 15 kW/szafkę warto rozważyć alternatywne sposoby chłodzenia, takie jak chłodzenie cieczą.
Chłodzenie cieczą
Chłodzenie cieczą to sytuacja, w której ciecz (lub chłodziwo) musi być dostarczone do sprzętu informatycznego. Szafa IT jest chłodzona cieczą, jeśli ciecz, na przykład woda, płyn dielektrycznym, olej mineralny lub czynnik chłodniczy jest wprowadzany i wyprowadzany z szafy lub sprzętu montowanego na szafie w celu jej chłodzenia. Możliwe jest kilka konfiguracji tego typu systemów, zależnych od rozważanego umieszczenia (na zewnątrz lub wewnątrz szafy). Dla tego samego tempa przemian cieplnych, wymogi dotyczące przepływu płynu i poziomu zużywanej przez pompy cyrkulacyjne energii, są zazwyczaj dużo niższe niż wymogi w zakresie przepływu powietrza i poziom zużytej energii przez wymuszający cyrkulację systemu wentylatorów. Wynika to z faktu, że objętość płynu jest znacznie mniejsza od objętości powietrza.
W przypadku ekstremalnych obciążeń przekraczających 50 do 75 kW/szafę, ciecz powinna być w bezpośrednim kontakcie z wewnętrznymi elementami sprzętu informatycznego, aby wydajnie odprowadzać energię cieplną i utrzymywać akceptowalną temperaturę wewnętrzną. Taki układ jest nazywany chłodzeniem zanurzeniowym i jest ekstremalnym spośród wszystkich sposobów chłodzenia cieczą. Czasem nazywany jest „chłodzeniem na poziomie chipu”, a komercyjne rozwiązania w tym zakresie można skategoryzować na dwa układy:
- Otwarte/pół otwarte zanurzenie. W takim systemie sprzęt informatyczny jest zanurzony w kąpieli cieczy dielektrycznej lub oleju mineralnego. Ciepło jest odprowadzane w wyniku odparowania, naturalnej konwekcji, wymuszonej konwekcji lub połączenia odparowania i konwekcji (patrz: rysunek 1).
- Zanurzenie zamknięte. W takim systemie sprzęt informatyczny jest zamknięty w szczelnym pojemniku, a ciecz np. chłodziwo, płyn dielektryczny lub olej mineralny jest pompowany przez pojemnik. Chłodzenie odbywa się poprzez odparowanie lub konwekcję wymuszoną, a pojemnik znajduje się zazwyczaj pod nadciśnieniem (patrz: rysunek 2).
W obu przypadkach energia cieplna może być odprowadzana do otoczenia poprzez chłodnice hydrauliczne (suche lub parowe) lub skraplacze. Może być również odprowadzona do wody ściekowej (woda schłodzona, gorąca woda o obniżonej temperaturze lub woda skroplona) poprzez wymiennik ciepła.
Dostępnych jest wiele autorskich rozwiązań chłodzenia zanurzeniowego, a większość dostawców może dostosować fabryczny sprzęt informatyczny tak, aby był kompatybilny z ich technologią. Niektórzy dostawcy technologii mogą dostarczyć gotowe rozwiązania, które wymagają niewielkiego lub żadnego zaangażowania ze strony inżyniera konsultującego.
Inni dostarczają swoje produkty jako zestawy części, aby inżynier konsultujący samodzielnie zaprojektował właściwą infrastrukturę. W takim przypadku sukces projektu zależy od współpracy pomiędzy zespołem projektowym a dostawcą technologii chłodzenia. Należy pamiętać, że niniejszy artykuł nie zawiera szczegółowych wskazówek dotyczących projektowania systemów chłodzenia.
Dawniej całkowite obciążenie sprzętu informatycznego (w kilowatach) i gęstość obciążenia (kilowaty/szafę) były określane przez podmioty zaangażowane w proces projektu centrum danych. Te kryteria można użyć razem z zakładaną temperaturą cieczy i spodziewanym delta T całego sprzętu informatycznego, tak aby określić wymogi dotyczące prędkości przepływu i temperaturę osłony w czasie pracy. Zalecenia dotyczące temperatury cieczy i spodziewana wartość delta T zazwyczaj są podawane przez dostawcę technologii, a dane empiryczne są lepsze od założeń teoretycznych. Na przykład wymóg prędkości przepływu o wartości 1 gpm/kW, temperatura cieczy 104°F (40°C) i spodziewana delta T 10°F (12°C) zostały przyjęte przy projektowaniu w konkretnym zastosowaniu. Wymogi te mogą się wyraźnie różnić pomiędzy różnymi dostawcami.
Wybór cieczy
Własności cieczy dla systemów chłodzących mają wpływ na istotne aspekty projektu i powinny być szczegółowo przeanalizowane. W branży mechanicznej powszechnie wykorzystuje się w aplikacjach typowe ciecze, takie jak woda, roztwory glikolu i chłodziwa, a różnice związane z parametrami roboczymi i własnościami nietypowych cieczy mogą stanowić wyzwanie. Niektóre z nich takie jak lepkość kinematyczna, lepkość dynamiczna, ciepło właściwe, gęstość, przewodność cieplna, współczynnik rozszerzalności cieplnej i pojemność cieplna, mogą wpłynąć na kształt projektu. Ponieważ składy takich płynów podlegają ochronie patentowej, ich własności nie są dostępne w standardowych podręcznikach dotyczących projektowania systemów lub katalogach i może je podać tylko dostawca technologii.
Własności i parametry cieczy mają bezpośredni wpływ na charakterystykę przemiany cieplnej i znacznie wpływają na dobór sprzętu do odprowadzania ciepła, np. cewek, wymienników ciepła i systemów chłodzenia cieczy. Jak wspomniano, standardowe dane z katalogów nie będą w tym przypadku przydatne. Jednak najwięksi producenci mogą dostarczyć szacunkowe wydajności cieczy specjalnych.
Obliczenia spadków ciśnienia w systemie również mogą stanowić wyzwanie. Jednym ze sposobów jest zastosowanie zasad mechaniki płynów. Na przykład równanie Darcy-Weisbacha może być wykorzystane do określenia spadku ciśnienia w przewodach dla cieczy newtonowskich. Dla systemów zanurzenia zamkniętego spadek ciśnienia w sprzęcie informatycznym jest zazwyczaj podawany przez dostawcę technologii. Dobierając pompy do cyrkulacji cieczy, należy pamiętać, że własności takie jak gęstość i lepkość mają wpływ na moc, kierunek, objętość przepływu i wydajność pompy. Więksi producenci mogą określić wydajność pompy pracującej z cieczą specjalną. Inną możliwością jest określenie wydajności za pomocą współczynników korekty, równań lub tabel przygotowanych przez różne organizacje, takie jak Hydraulic Institute, i zastosowanie ich w odniesieniu do standardowych wykresów przygotowanych dla wody.
Planując układ zamknięty, należy wziąć pod uwagę kompatybilność materiałów, które będą w bezpośrednim kontakcie z cieczą. Na przykład uszczelki i gniazda zaworów są często produkowane z monomeru etylo-propylenowo-dienowego (EPDM), czyli rodzaju gumy syntetycznej. Jednak EPDM nie jest kompatybilny z cieczami na bazie ropy naftowej.
Podobnie zastosowanie obojętnych materiałów rur, takich jak stal nierdzewna i miedź, a także zastosowanie połączeń mechanicznych zamiast spawania, lutowania lub twardego lutowania, należy każdorazowo omówić z dostawcą technologii. Jakiekolwiek zanieczyszczenie cieczy ze względu na niezgodność z materiałami konstrukcji, może mieć poważne konsekwencje i doprowadzić do groźnej awarii sprzętu informatycznego.
Wymogi dotyczące konserwacji płynów należy omówić z dostawcą technologii. Ciecze oparte na ropie naftowej, takie jak oleje mineralne, są podatne na zanieczyszczenia biologiczne i zanieczyszczenie wodą. Spadek jakości płynu może negatywnie wpływać na wydajność odprowadzania ciepła i doprowadzić do awarii sprzętu informatycznego. Infrastruktura powinna zapewniać możliwość niezbędnych konserwacji płynu.
Dla układów zanurzenia zamkniętego, należy wziąć pod uwagę ograniczenia dotyczące ciśnienia pojemnika, w którym znajduje się sprzęt. Dla jednego z zastosowań dopuszczalne ciśnienie wynosiło poniżej 10 psig (0,7bar). Ten wymóg wpływa na to, jak wysoko musi znajdować się infrastruktura mechaniczna w odniesieniu do sprzętu informatycznego, gdyż ciśnienie statyczne wywierane na sprzęt musi być jak najniższe. Podobnie spadek ciśnienia w pętli obiegowej należy zminimalizować, ze względu na wymagane ciśnienie pompy. Aby zapobiec przypadkowemu powstaniu nadmiernego ciśnienia, należy zamontować zawory bezpieczeństwa lub inne podobne rozwiązania.
Właściwe rozwiązanie?
Mając do czynienia z wyjątkowo zwartymi szafkami na sprzęt, warto rozważyć chłodzenie zanurzeniowe. Jest ono odpowiednie dla zastosowań od kilku kilowatów, aż po kilka megawatów. Dzięki lepszej wydajności odprowadzania ciepła, w porównaniu z systemami chłodzenia powietrzem, można stosować temperaturę cieczy powyżej 100°F (37,8°C). Wyższa temperatura cieczy zwiększa ilość godzin ekonomizacji, pozwala na odzyskiwanie ciepła i w niektórych sytuacjach może pozwolić na całkowitą eliminację urządzeń chłodniczych.
Pomimo zalet mechanicznych należy być ostrożnym, stosując chłodzenie zanurzeniowe w centrach baz danych. Zawsze trzeba ocenić jego wpływ na infrastrukturę pod kątem konstrukcyjnym, elektrycznym, okablowania i ochrony przeciwpożarowej. W typowym centrum baz danych chłodzenie powietrzem wciąż jest niezbędne, gdyż niektóre moduły i sprzęt informatyczny, np. obracające się napędy, nie może być chłodzony cieczą. Technologie chłodzenia zanurzeniowego wciąż są w fazie rozwoju i niezbędne są długoterminowe dane statystyczne, aby ocenić ich niezawodność, użyteczność, możliwość utrzymania oraz koszty eksploatacji sprzętu informatycznego i infrastruktury.
Autor: Saahil Tumber jest starszym konsultantem i głównym inżynierem mechanikiem w Environmental Systems Design Inc., odpowiedzialnym za projektowanie systemów HVAC dla centrów baz danych, powierzchni handlowych i innych obiektów o krytycznym znaczeniu, wymagających wysokiej niezawodności. Jego doświadczenie z centrami baz danych dotyczy zarówno aplikacji dla przedsiębiorstw jak i projektów kolokacyjnych.
