CASOPIS REPUBLICKE AGENCIJE ZA TELEKOMUNIKACIJE

SADRŽAJ

U radu je dat opis Telenorovog data centra u Beogradu, kao jednog od najbitnijih infrastrukturnih objekata u okviru Telenorove mreže. Izgradnjom savremenog data centra obezbeđena je baza za pružanje Telenorovih operativnih i poslovnih servisa u skladu sa najvišim industrijskim standardima.

1. UVOD

1.1. Tier standardi

Tier klasifikacija data centara odnosi se na opis infrastrukture data centara po nivoima, sa ciljem održavanja određenog nivoa operativnosti celokupnog data centra. Karakteristike pojedinih sistema ili podsistema data centra samo su deo ukupne slike Tier standardizacije data centra. Za svaki od podsistema se definiše redundantnost i vreme ispravnog rada kako bi se ispunili specifični Tier zahtevi raspoloživosti. Ocena data centra daje se na osnovu ocene najslabijeg podsistema koji utiče na raspoloživost celokupnog data centra. Prikaz nivoa standardizacije dat je na Slici 1.

Tier 2 data centar može da obezbedi neometan rad IT opreme smeštene u data centru prilikom izvođenja planiranih radova na infrastrukturi data centra (osim ako se radovi ne izvode na samom izvoru napajanja), dok neplanirani radovi ili otkaz pojedinih podsistema infrastrukture mogu prouzrokovati prekid rada IT opreme, smeštene u data centru.

Infrastruktura Tier 3 data centra izvedena je tako da je obezbeđena potpuna redundantnost sistema napajanja električnom energijom i sistema hlađenja, odnosno tako da omogućava da IT oprema bude istovremeno priključena na redundantne podsisteme, pa da je moguće neometano izvoditi planirane radove na jednom podsistemu, bez uticaja na operativnost IT opreme koju opslužuje redundantni podsistem. Standard podrazumeva da je uvek aktivan samo jedan podsistem.

Tier 4 data centri imaju višestruke, fizički izolovane podsisteme koji omogućavaju potpunu redundantnost na nivou napajanja i sistema hlađenja. Moguće je simultano koristiti sve podsisteme koji rade u konfiguraciji od najmanje N+1.

Pregled Tier nivoa tj. zahteva koje određeni nivoi treba da ispunjavaju dat je u Tabeli 1.

Tabela 1. Pregled osnovnih zahteva Tier standardizacije

Neki od tipičnih parametara koji se mere i koriste za klasifikaciju data centara dati su u Tabeli 2.

Tabela 2. Pregled tipičnih parametara koji se koriste za Tier klasifikaciju data centara

1.2. TIA 942 (Telecommunication Industry Association) i ASHRE standardi

TIA 942 standard sadrži preporuke koje se odnose na dizajn prostora namenjenog za data centar, strukturno kabliranje, usklađivanje sa Tier standardima i okruženje.

ASHRE (American Society of Heating, Refrigeration, and Air-Conditioning Engineers) je internacionalno udruženje inženjera iz oblasti klimatizacije, grejanja i hlađenja (KGH) sa misijom da unapređuje naučni rad, projektovanje i izvođenje u toj oblasti. Jedna od delatnosti je i izdavanje tehničkih preporuka i standarda iz oblasti KGH.

2. KARAKTERISTIKE OBJEKTA TELENOROVOG DATA CENTRA

Objekat je P+3, ukupne površine 2600 m², sa prostorom za utovar i istovar opreme, teretnim liftom nosivosti 2500 kg i namenskim parkingom za vozilo za dolivanje goriva. Klasifikovan je kao objekat kategorije I, za VIII seizmičku zonu po MCS (Mercalli-Cancani-Sieberg) skali.Kota prizemlja objekta (±0,00=76,93 mnv) je za 13 cm - 15 cm viša od kote terena (76,60-76,80 mnv), pri čemu je maksimalni nivo podzemne vode (stogodišnja voda) na koti 74,00 mnv.

Objekat obezbeđuje redundansu od najmanje N+1 za sve sisteme: električne, mehaničke i infrastrukturu telekomunikacionog povezivanja. U prizemlju objekta smešteni su podsistemi napajanja električnom energijom i to trafo-stanice 10/0,4 kV, UPS podsistemi sa baterijskom rezervom i podsistemi za gašenje požara, svaki u zasebnoj prostoriji. Prvi i drugi sprat objekta namenjeni su smeštaju IT i telekomunikacione opreme, dok su na trećem spratu smešteni podsistemi za hlađenje.

Prostorije za smeštaj opreme (I i II sprat) poseduju dupli antistatički pod, nosivosti od 1500 kg/m² (350 kg koncentrisanog tačkastog opterećenja), protivprovalna vrata (klase WK2 i WK4) širine 1,70 m i visine 2,60 m, zidove vatrootpornosti F90. U objektu nema spuštenog plafona. Prosečna visina prostorija od kote duplog poda do plafona je 4,24 m. Visina konstrukcije duplog poda je 65 cm. U skladu sa specifikacijama Tier3 standarda, izvršeno je strukturno kabliranje na nivou čitavog objekta, što znači da se energetski i telekomunikacioni kablovi ne ukrštaju ni na jednom nivou. Elektroenergetske instalacije položene su u prostoru duplog poda, a telekomunikacione po kablovskim nosačima u prostoru iznad opreme. Vertikalne trase svih instalacija su unapred definisane u okviru vertikalnih kablovskih kanala. Kanali su trodelni prema vrstama instalacija (energetske, telekomunikacione i instalacije koje sadrže vodu i vazduh) i dualni, tj. redundantni (A i B grana).

3. SISTEMI NAPAJANJA ELEKTRIČNOM ENERGIJOM

Telenorov data centar je direktno povezan na gradsku elektro-energetsku mrežu preko dve različite trafo-stanice tipa 110/10 kV, pomoću dve nezavisne grane za napajanje od kojih je svaka kapaciteta 10 kV i 3,5 MW. Trase podzemnih vodova od 10kV su potpuno fizički razdvojene. Koriste se suvi transformatori tipa 10/0,4 kV u redundansi N+1.

Sistemi napajanja električnom energijom projektovani su tako da je moguće održavanje jedne od grana napajanja bez uticaja na funkcionalnost sistema u celini.

Slika 3. UPS sistemi Telenora

Dizel generatori sa podzemnim sezonskim rezervoarima obezbeđuju kontinuirano napajanje data centra u trajanju od 72 h, pri punom kapacitetu, a bez dolivanja goriva. Generatori se automatski startuju pri prekidu osnovnog elektro-energetskog napajanja. Kapacitet generatora pokriva sva kritična opterećenja celokupnog data centra, pri čemu je obezbeđena minimalna redundantnost sistema od N+1. UPS sistem se sastoji iz dva nezavisna UPS podsistema (2N) 3x400/230 V AC, 50 Hz (grana A i grana B) sa autonomijom rada od 15 minuta pri punom projektovanom opterećenju data centra.

Potrošnja električne energije meri se na ulazu u svaki rek u kome je preko uređaja PDU (Power Distribution Unit) obezbeđen dovod električne energije sa grana napajanja A i B (puna redundansa). Tipičan uređaj PDU sadrži priključnice 18xIEC C13 (10 A) i 4xIEC C19 (16 A). Snaga i potrošnja energije za odabrani rek ili grupu rekova nadzire se i kontroliše kroz centralni sistem za nadzor.

U cilju obezbeđenja visoke raspoloživosti napajanja, Telenor sprovodi redovna testiranja sistema električnog napajanja.

3.1. Bezbednost Telenorovog data centra

Kontrola fizičkog pristupa opremi korisnika sprovodi se preko odgovarajućih bezbednosno-sigurnosnih sistema, pri čemu je obezbeđena višestruka mehaničko-elektronska kontrola ulaska u objekat i soba sa opremom. Objekat je obezbeđen sigurnosnom ogradom, uz potpuno kontrolisani pristup ulazu koji je opremljen dvadesetčetvoročasovnim sistemom video nadzora i uz stalno prisustvo fizičkog obezbeđenja. Kontrola pristupa prostorijama u data centru sprovedena je u skladu sa unapred dodeljenim korisničkim pravima pristupa i bezbednosnim procedurama koje podrazumevaju i autentifikaciju preko PIN kodova i čitača ID kartica, koji su instalirani na svim vratima u data centru.

4. SISTEMI KLIMATIZACIJE

Redundantnost sistema hlađenja Telenorovog data centra obezbeđena je u konfiguraciji N+1, na nivou spoljnih i unutrašnjih jedinica. Spoljne rashladne jedinice (vazduhom hlađeni čileri) smeštene su na krovu objekta. Prostorije su opremljene unutrašnjim CRAC jedinicama (Computer Room Air Conditioner). Cevovod je dualni (A i B grana), što omogućava održavanje bez uticaja na funkcionalnost sistema u celini i bez pogoršanja uslova hlađenja u data centru. Radna temperatura u data centru je između 20°C i 26°C. Vlažnost vazduha je od 30 do 70%.

Centralni sistem za nadzor i upravljanje (BMS) omogućava stalno praćenje temperature i vlažnosti vazduha za svaku od soba s opremom. U BMS su integrisani signali sa sledećih sistema: elektroenergetskog, KGH, detekcije, dojave i gašenja požara. Svi alarmi i statusi na BMS sistemu se neprekidno prate (24 h/7 dana) iz Telenorovog operativnog centra za nadzor mreže (CNOC).

5. PROTIVPOŽARNA ZAŠTITA

5.1. Protivpožarna zaštita

Sistem za detekciju i rano otkrivanje požara u Telenorovom data centru koristi najsavremenije laserske detektore za rano otkrivanje dima (VESDA) koji obezbeđuju rano upozorenje o promenama u bilo kom delu data centra.

Suzbijanje požara u Telenorovom data centru vrši se gasnim sistemom za suzbijanje požara IG-55, koji funkcioniše po principu naglog smanjenja nivoa kiseonika u vazduhu po zonama, i to do nivoa koji onemogućava dalje širenje požara.

Slika 4. Sistemi protivpožarne zaštite Telenora

6. ZAKLJUČAK

Realizacijom projekta izgradnje Telenorovog data centra ispunjeni su zahtevi u pogledu kvaliteta usluga (QoS) i zahtevi, kako Telenorovih sopstvenih servisa, tako i korisnika Telenorovih usluga telehausinga u data centru, koji se odnose visoku raspoloživost. Otvaranje data centra visokih tehničkih performansi, kakav je ovaj, doprinosi daljem razvoju ne samo srpske IT industrije, već i u regionu.

Smeštaj opreme u Telenorovom data centru podrazumeva garancije kvaliteta u smislu obezbeđenja neprekidnog energetskog napajanja, praćenje i kontrolu mikroklimatskih uslova u realnom vremenu, kao i konstantnog nadzora opreme i izveštavanja preko jedinstvenog BMS-a i veb portala.

Telenorov Tier 3 data centar je namenjen svima kojima su potrebne usluge telehausinga. To u praksi znači da su korisnici usluga ovog centra velike kompanije sa rastućim potrebama za IT, finansijske institucije, internet provajderi, ali i svi oni kojima je dostupnost usluga kao i bezbednost opreme i IT sistema od velike poslovne važnosti. Telenorov data centar je napravljen kako bi ispunio potrebe kompanija za brzim i sigurnim IT operacijama bez velikih ulaganja u sopstvenu (telekomunikacionu i ostalu) infrastrukturu.

Literatura

[1] Projekat Telenorove tehničke zgrade – „Main Technical Building (THQ -Technical Headquarter) “, 15.01.2007. - 07.12.2009.

[2] Data Center Site Infrastructure Tier Standard – Topology preuzeto sa http://uptimeinstitute.com/

[3] TIA 942 – Data centers standards overview preuzeto sa http://www.adc.com

Autori

Tatjana Perović je diplomirala na Odseku za konstrukcije Građevinskog fakulteta u Beogradu 1992. godine. Zaposlena je u Telenoru Srbija od 2006. godine, gde od 2007. rukovodi projektima izgradnje, razvoja i održavanja Telenorove tehničke zgrade.

Valentin Petrov je diplomirao na Odseku za energetiku Elektrotehničkog fakultetu u Beogradu 1995. godine. Na projektu izgradnje Telenorovog data centra učestvovao je kao Discipline Manager Electrical - obavljajući investitorski nadzor tokom projektovanja i izvođenja elektroenergetskih instalacija. Iskustva u telekomunikacijama stiče od 2000. godine. Zaposlen je u Telenoru Srbija od 2006. godine.

Biljana Šaponjić je diplomirala na Odseku za poštanski saobraćaj i mreže Saobraćajnog fakulteta u Beogradu 2003. godine. Zaposlena je u Telenoru Srbija od 2008. godine na poziciji Wholesale Account Manager. Angažovana je na poslovima razvoja telehausing servisa u Telenorovom data centru.