Zaawansowane funkcjonalnie centra danych należą do najnowszych osiągnięć w świecie współczesnych technologii teleinformatycznych. Coraz większe potrzeby rozwojowe sieci, według koncepcji Internet of Things, zmuszają największych graczy w branży komputerowej do zainwestowania miliardów dolarów w nowe centra danych pochłaniające wiele megawatów energii. Motorem boomu w budownictwie centrów danych jest przede wszystkim wzrost skali korzystania z usług opartych na tzw. chmurze, co mocno nadwerężyło zdolności i możliwości serwerów danych (rys. 1). Ponadto centra danych mają istotne znaczenie w obsłudze przedsiębiorstw lub instytucji, gdyż od ich sprawności i wydajności zależy zwykle realizacja ich potrzeb ekonomicznych bądź funkcjonalnych. W przypadku niektórych typów takich kluczowych centrów danych nawet kilkusekundowa przerwa w działaniu może kosztować miliony dolarów.
Zagadnienia wstępne
Poprawne działanie i funkcjonowanie centrów danych (w wielu z nich głównymi komponentami są serwery) nie jest możliwe bez niezawodnych, pewnych dostaw energii elektrycznej. Dlatego z natury rzeczy każda rozmowa na temat budowania centrum danych powinna się rozpoczynać od rozpoznania potrzeb w zakresie zapewnienia ciągłości zasilania w energię elektryczną oraz sposobów organizacji sieci zasilającej.
Zdolność odbioru energii – obciążalność. Właściciel, zanim podejmie jakąkolwiek inną decyzję, musi przeanalizować i zaplanować obciążalność budowanego centrum danych (w megawatach). Dawniej podczas planowania z reguły posługiwano się watami na jednostkę powierzchni. Dziś jednak częściej operuje się kilowatami na szafę, w granicach od 5 do 60 kW. Ta koncentracja energii w przeliczeniu na szafę może mieć również wpływ na rodzaj i wydajność systemu chłodzącego, co także musi zostać uwzględnione w planowaniu obciążalności elektrycznej. Właściciel powinien ponadto wziąć pod uwagę ewentualne rezerwy na poczet wzrostu obciążalności w trakcie eksploatacji serwerów.
Kolejna ważna decyzja – ustalenie poziomu redundancji. W przypadku centrów danych niezawodność jest bardzo ważna, a przerwy w działaniu mogą się okazać bardzo kosztowne. Wyższa niezawodność wiąże się jednak z poważnym wzrostem kosztów budowy centrum danych. Dlatego właściciel powinien zdecydować, gdzie przebiega granica opłacalności, i ustalić, jak duże ryzyko jest akceptowalne.
Energia do celów pomocniczych. Mając już za sobą decyzję o zdolności odbioru energii przez centrum danych, należy obliczyć energię na potrzeby infrastruktury. Obejmuje ona ogrzewanie i chłodzenie centrum danych. Ostatnimi laty wysiłki specjalistów skupiają się na uzyskiwaniu jak najmniejszego poboru energii przez urządzenia infrastrukturalne (nieinformatyczne), dzięki temu możliwa jest poprawa wydajności i obniżenie kosztów eksploatacyjnych. Do opisania efektywności w odniesieniu do energii na potrzeby infrastruktury w centrum danych stworzono pojęcie i wskaźnik „efektywnego wykorzystania energii elektrycznej” (power usage effectiveness, PUE). Im wskaźnik PUE jest bliższy jedności, tym mniejsza jest nieproduktywnie zużywana energia infrastruktury. Dawniej jako regułę przyjmowano, że na infrastrukturę i chłodzenie wykorzystuje się połowę całkowitej energii dostarczanej do centrów danych. Oznacza to, że gdyby centrum danych zdolne było odebrać 10 MW, to infrastruktura i chłodzenie pochłaniałyby tak samo 10 MW, dając PUE o wartości 2. Wskaźnik PUE równy 2 jest uznawany za przeciętny, niemniej dla wielu właścicieli centrów danych jest on niezadowalający. Dzięki nowym technologiom PUE bardzo zbliżyło się do jedności.
Niezawodność i klasy Tier. W celu klasyfikowania centrów danych pod względem niezawodności Uptime Institute opracował standardy określane mianem Tier (tabela). Centra danych zostały podzielone na cztery klasy Tier. Te zakwalifikowane do klasy Tier I nie charakteryzują się redundantnym systemem rozdziału energii elektrycznej, a ich komponenty nie mają redundancji. Centra danych Tier II różnią się od tych z klasy Tier I tym, że posiadają komponenty z redundancją. Centra danych Tier III dysponują sprzętem IT o podwójnym zasilaniu oraz więcej niż jedną ścieżką rozdziału do serwerów. Dla centrów danych Tier IV właściwe są wszystkie cechy centrów danych Tier III, a dodatkowo charakteryzują się one tolerancją uszkodzeń zasilania wynikającą z posiadania więcej niż jednej ścieżki rozdziału energii elektrycznej. Centra danych Tier IV mają system grzewczo-klimatyzacyjny (HVAC), również z podwójnym zasilaniem, oraz zdolność magazynowania energii.
Wybór klasy Tier dla centrum danych zależy od wielu czynników. Dawniej wiele organizacji dysponowało dużymi, skonsolidowanymi centrami danych, co przekładało się na zastosowanie systemów Tier III lub Tier IV. Klasy te okazywały się najlepsze także dla wielu organizacji z branży finansowej. Inne organizacje decydowały się na posiadanie wielu centrów danych, które zdolne byłyby obsłużyć ruch danych, gdyby jedno z nich uległo awarii. Takie podejście pozwalało na stosowanie systemów niższej klasy Tier.
Sposób użytkowania. Centra danych dzielą się także na kategorie stosownie do sposobu ich użytkowania. Można tu wyróżnić centra danych obsługujące domenę prywatną, np. korporację lub jednostkę administracji państwowej, centra danych obsługujące domenę publiczną, np. dostawców Internetu, oraz centra danych na potrzeby wielu użytkowników.
Rozdział energii. Obecnie prowadzone są branżowe dyskusje i debaty nad tym, jakiego rodzaju prąd elektryczny powinien zasilać centra danych. Prąd stały (DC) czy zmienny (AC)? Każdy z rodzajów ma swoje zalety. Ostatnio coraz poważniej rozpatrywana jest kwestia zasilania prądem stałym, ponieważ pracuje na nim sprzęt komputerowy instalowany w centrach danych. Jeżeli zastosujemy rozdział zasilania stałoprądowego, transformatory i prostowniki nie muszą zajmować miejsca w serwerowni. Użycie prądu stałego oznacza też wyeliminowanie harmonicznych, ponieważ nie występują wtedy przebiegi oscylacyjne. Ponadto wykorzystanie prądu stałego likwiduje konieczność przekształcania energii, co przyczynia się do większej efektywności energetycznej (każda sekcja przekształcenia powoduje straty), a tym samym obniżenia kosztów.
Przez wiele lat rozdział energii opierał się jednak głównie na prądzie zmiennym (rys. 2). Z jego wykorzystaniem w zasilaniu wiążą się takie korzyści, jak ogólna dostępność sprzętu na rynku, niższe koszty i łatwiejsza konserwacja (konserwatorzy już znają sprzęt, a części zamienne można zakupić bez problemu). Dawniej większość zmiennoprądowych systemów rozdziału energii projektowano na 208/120 V (standard w USA). Nieprzerwany rozwój technologiczny skłonił do stosowania wyższych napięć, tj. 400/415 V, a nawet 480 V, ze względu na zwiększające się zapotrzebowanie na moc oraz coraz bardziej sprawne energetycznie nowsze urządzenia elektryczne.
Wskaźnik PUE. Kolejnym ważnym czynnikiem w projektowaniu i budowaniu centrów danych jest wskaźnik efektywnego wykorzystania energii elektrycznej PUE, charakteryzujący efektywność energetyczną centrów danych. Im PUE jest bliższy jedności, tym lepiej. Centrum danych o wskaźniku PUE wynoszącym 1,5 lokuje się pośrodku skali efektywności. PUE wyższy od 1,5 oznacza energetycznie nieefektywne centrum danych, natomiast centrum danych o PUE niższym uznaje się za efektywne. Centrum danych o wskaźniku wynoszącym 1,2 – za bardzo efektywne. Najważniejszym elementem centrum danych jest sprzęt IT. Gdyby nie było urządzeń pomocniczych (wspomagających) w strukturze sprzętowej centrów danych, PUE wynosiłby 1. Ponieważ jednak takie urządzenia są niezbędne, PUE zawsze ma wartość wyższą niż 1. Do tej kategorii urządzeń, a zarazem odbiorników energii elektrycznej, należą urządzenia grzewczo-klimatyzacyjne oraz drobne odbiorniki elektryczne, takie jak oświetlenie i urządzenia podłączane do gniazdek.
Projekt elektryczny
Gdy właściciel podejmie już decyzje w powyższych kwestiach, do pracy przystępują profesjonalni projektanci, zwłaszcza inżynierowie elektrycy. Muszą sporządzić projekt systemu, który będzie się cechować jak najwyższą efektywnością, możliwościami rozwoju i brakiem zbędnych „upiększeń”.
Elementy systemu rozdziału energii. System rozdziału energii elektrycznej składa się z wielu części. Pierwsze w kolejności są transformatory energetyczne, które w dużych centrach danych należą do właściciela danego centrum. Gdy napięcie sieci elektroenergetycznej jest już obniżone do wartości odpowiedniej do rozdziału, przechodzi przez rozdzielnicę, która kieruje energię do punktów poboru. Zwykle napięcie musi być obniżane jeszcze raz za pomocą transformatorów podstacyjnych oraz na kilku ścieżkach zasilających. Zasilanie rezerwowe – zwykle stosowane w dzisiejszych centrach danych – wprowadzane jest często właśnie na tym poziomie, a towarzyszy mu sprzęt do samoczynnego załączania rezerwy (SZR). Od SZR energia biegnie do serwerów (często za pośrednictwem systemu UPS – awaryjnego podtrzymania zasilania), gdzie następuje przekształcenie prądu ze zmiennego na stały, odpowiedni do serwerów. Następny stopień rozdziału obejmuje rozdzielnice szafkowe i tablicowe, zaopatrujące odbiorniki pomocnicze, grzewczo-klimatyzacyjne oraz zwykłe. Na tym etapie można wprowadzić systemy nadzoru energii, które dostarczałyby bardzo ważnych informacji o pracy różnych urządzeń oraz o wykorzystywaniu energii.
Przejrzenie i organizacja pracy tak wielu urządzeń wymaga skrupulatności. Projektant musi mieć świadomość kosztu urządzeń i kabli, a także strat wnoszonych przez każdy element wyposażenia. Tak duża liczba aparatury elektrycznej i mechanicznej oznacza konieczność uwzględnienia przez inżyniera wszystkich norm i przepisów dotyczących sporządzanych projektów.
Dostawy energii elektrycznej. Tak jak w przypadku każdego innego przedsięwzięcia projektanci zaczynają od kwestii zapewnienia energii elektrycznej. Ze względu na wagę niezawodności właściciele już na wczesnym etapie muszą porozumieć się z zakładem elektroenergetycznym w sprawie dostaw. Zależnie od wielkości centrum danych w grę wchodzi osobna, wydzielona linia elektroenergetyczna lub już istniejąca, cechująca się wysoką niezawodnością.
Projektant instalacji elektrycznej w ścisłej współpracy z właścicielem musi zadecydować o liczbie warstw sprzętu. Im liczniejszy sprzęt, tym więcej potencjalnych punktów niesprawności. W przypadku obiektów o znaczeniu krytycznym ważna jest eliminacja tzw. punktów jednostkowych grożących awarią całości (SPOF).
Najprawdopodobniej energia będzie dostarczana linią średniego napięcia. Zależnie od wielkości i lokalizacji centrum danych napięcie sieciowe może wynosić od 13,8 do 345 kV. Następny krok polega na obniżeniu napięcia do wartości służącej do zasilania serwerów. Większość urządzeń IT w centrach danych może pracować na dwóch napięciach prądu zmiennego: 100–120 V lub 200–240 V. Wyższe napięcie – 208 lub 240 V – zapewnia większą efektywność, a tym samym mniejsze straty. Zasilanie serwerów zmiennoprądowym napięciem 415 V jeszcze bardziej podnosi efektywność, przyczyniając się do lepszego PUE. Jeśli projektant zdecyduje się na użycie wyższego napięcia, czyli 415 V, pomocniczy odbiornik mechaniczny będzie pracować na 480 V. Oznacza to konieczność podniesienia napięcia z 415 V do 480 V za pomocą autotransformatorów.
W którym momencie podejmuje się decyzję o przekształceniu napięcia średniego w niskie (poniżej 600 V)? Odpowiedź na to pytanie zależy od wielkości centrum danych i odległości od przyłącza. Jeśli centrum stanowi część kampusu, może się znajdować dość daleko od przyłącza. W takiej sytuacji korzystniejsza jest dystrybucja energii elektrycznej z napięciem jak najwyższym, zwykle 13,8 kV. Jeśli napięcie sieci elektroenergetycznej jest wyższe niż 13,8 kV, pierwszy transformator znajdzie się przy wejściu linii sieciowej do obiektu, obniżając napięcie do 13,8 kV. Zasilanie o takim napięciu jest doprowadzane do centrum danych, gdzie następuje kolejna transformacja, polegająca na obniżeniu napięcia do 480 V lub 415 V.
Redundancja. Tym, co wyróżnia centra danych między sobą, jest poziom redundancji. Jednak wszystko ma swoją cenę. Im więcej dodanych warstw redundancji, tym droższa stanie się budowa centrum danych. Jednak przerwa w dostawie energii (lub ograniczenie dostarczanej mocy) do centrum danych w trakcie jego eksploatacji też dużo kosztuje.
Serwery konstrukcyjnie przystosowane są do dwóch źródeł zasilania. Ponadto mają rezerwowe zasilanie akumulatorowe. Dlatego do każdego z serwerów stosuje się dwa różne źródła normalnego zasilania. Oznacza to, że serwery byłyby zaopatrywane w energię z dwóch różnych podstacji. Aby redundancja była pełna, podstacje muszą otrzymywać prąd z dwóch różnych linii energetycznych. W optymalnym przypadku linie te mają wzajemne sprzężenie w pewnym punkcie systemu rozdziału energii elektrycznej, a każda z tych linii jest zdolna przenieść całą moc pobieraną przez centrum danych. Takie rozwiązanie odpowiada w pełni redundantnemu centrum danych o normalnym zasilaniu (rys. 3).
Redundancja podstawowego zasilania jest bardzo ważna, ale sama w sobie nie wystarczy. Często stosuje się zabezpieczenie w postaci systemu rezerwowego. System rezerwowy na ogół składa się z generatorów, które mogą być wyposażone w silnik wysokoprężny, turbinę gazową lub napęd hybrydowy. Generatory wysokoprężne są najbardziej wskazane, ponieważ to maszyny niezawodne i łatwe w konserwacji. Zależnie od typu budynku mieszczącego centrum danych generatory mogą stanowić część systemu służącego bezpieczeństwu życia osób i urządzeń w obiekcie. Tak czy inaczej generatory zwykle potrafią bardzo szybko przywrócić zasilanie, zazwyczaj w ciągu 10–30 sekund. Czas zależy od tego, na jak długo wystarczą akumulatory rezerwowego zasilania serwerów.
Refleksje końcowe
Mimo że projektowanie systemu rozdziału energii elektrycznej dla centrum danych może się wydawać stosunkowo proste, jednak w praktyce nie jest wolne od wyzwań. Inżynier elektryk musi:
■ w ścisłej współpracy z właścicielem ustalić bieżącą i przyszłą energochłonność centrum danych;
■ przy współudziale właściciela zdecydować, która z klas Tier centrum danych będzie odpowiednia z punktu widzenia potrzeb klienta;
■ w ścisłej współpracy z właścicielem ustalić poziomu redundancji;
■ zaprojektować system na tyle prosty, aby był łatwy w eksploatacji, a przy tym konstrukcyjnie solidny;
■ wyeliminować punkty jednostkowe grożące awarią całości;
■ zaprojektować bardzo efektywny system, za cel stawiając osiągnięcie PUE poniżej 1,5.
Projektowanie centrów danych to złożone zadanie (rys. 4). Budowanie takich obiektów jest bardzo kosztowne, tak samo jak ich eksploatacja i konserwacja. Ciągła współpraca z właścicielem jest niezwykle ważna – bardziej niż w przypadku jakichkolwiek innych przedsięwzięć. Stanowi ona warunek pomyślnego sporządzenia i wdrożenia projektu.
Autor: Eduard Pacuku jest inżynierem ds. projektów elektrycznych w firmie Jacobs, gdzie zajmuje się projektowaniem systemów rozdziału energii elektrycznej na potrzeby uczelni wyższych (w tym laboratoriów), placówek opieki zdrowotnej oraz centrów danych.
Fot.: Jacobs Engineering