Szuperszámítógép – a Nemzeti Virtuális Laboratórium

A projekt tapasztalatait dr. Hornos Tamás és Kiss Zoltán, a Nemzeti Információs Infrastruktúra Fejlesztési Intézet (NIIF Intézet) HPC üzemeltetésének munkatársai foglalták össze, alább ezt a beszámolót közöljük.

Az NVL projekt célja

Magyarországon 2001-ben az NIIF Intézetben állt üzembe az első valódi szuperszámítógép. A megnövekedett igények kiszolgálására TIOP és KMOP projektekben európai uniós forrásokra támaszkodva az NIIF 2011-re teljesen megújította a magyarországi szuperszámítógépes szolgáltatást. A jelenlegi infrastruktúra négy számítógépből áll, amelyeket földrajzilag elosztott módon, az ország négy városában telepítettek. A most lezáruló, kétéves TÁMOP projekt (TÁMOP-4.2.2.C-11/1/KONV-2012-0010) célja az volt, hogy a kialakított szolgáltatást a hazai felsőoktatási és tudományos közösségen belül minél szélesebb körben, minél eredményesebben használhatóvá tegye, valamint az Európai Unió által létrehozott egységes európai szuperszámítástechnikai infrastruktúrába (PRACE) integrálja.

A szakmai eredmények

A program végrehajtása során az NIIF Intézetnek, mint konzorciumi partnernek, számos feladatot kellett megoldania, a magas szintű, diszciplínaorientált felhasználói támogatás kialakításától kezdve a felhasználói interfészek nemzetközi elvárásoknak megfelelő kidolgozásán keresztül a sok komponensből álló elosztott rendszer hatékony menedzsmenteljárásainak megalapozásáig. Mindez az infrastruktúra kiépítésében és üzemeltetésében fontos szerepet játszó három egyetemmel való szoros, tudományos együttműködésben történt, amely során az intézet fejlesztéseket hajtott végre a kutatók igényeinek még magasabb szintű kiszolgálása érdekében.

NIIF szuperszámítógépes projektek száma
A szuperszámítógépes rendszert igénybe vevő projektek számának alakulása

Megvalósult a szupergépek többszintű összekapcsolása és egységes adminisztrációja. Ennek eredményeképp sokkal hatékonyabban lehet felhasználni a rendelkezésre álló erőforrásokat. A felhasználók egységes kezelését egy LDAP alapú központi adatbázis végzi, amely a szuperszámítógépeken futtathatnak feladatok jogosultságait is tartalmazza. Az adatbázis működése teljesen automatikus, vagyis adminisztrátori beavatkozása nélkül egy jóváhagyott témaszám- vagy projektigénylés egy órán belül érvényre jut. További összekötést jelent egy elosztott központi BeeGFS fájlrendszer használata, amely minden szuperszámítógépről elérhető osztott tárhelyet jelent, és megkönnyíti a számítási adatok megosztását. Nem csak a meglévő felügyeleti rendszerrel kellett integrálni a központokat, hanem egy új, kifejezetten a szuperszámítógépek teljesítmény mérésére alkalmas Ganglia alapú monitorozó szolgáltatással is. Kifejlesztésre és telepítésre került egy egységes alkalmazáskörnyezet, amelybe számos szupergépes felhasználói programot és alkalmazáskönyvtárat integráltunk, így az összes szuperszámítógépen azonos felhasználói élménnyel találkoznak a szupergépekre bejelentkező felhasználók. Az egyik legfontosabb fejlesztés az erőforrások megfelelő elosztásáért felelős, ún. feladatütemező cseréje volt. A korábbi Sun Grid Engine-ről Slurm alapú megoldásra állítottuk át az összes szuperszámítógép ütemezését, ezzel lehetőség nyílt az erőforrás-elosztás lehető leghatékonyabb beállítására, valamint az igényvezérelt működés megvalósítására is. A projekt eredményei 11 munkatárs kétéves munkáját dicsérik.

NIIF, Pécs, szuperszámítógép
Szuperszámítógép a Pécsi Tudományegyetemen

A többi európai szuperszámítógép-központhoz hasonlóan az erőforrások processzoridő alapon igényelhetők és használhatók el. Ehhez a felhasználók számára egy integrált portálfelület került kifejlesztésre, amelyen immáron egy kényelmes, az esetleges hibákat automatikusan kiszűrő online felületen igényelhetnek projekteket és ahhoz tartozó témaszámokat. Az integrált portálfelület értesíti az igénylésről a véleményező jogosultsággal rendelkezőket, és a beérkező vélemények felhasználásával enged dönteni az adott igénylés elfogadásáról vagy elutasításáról, valamint arról, hogy mely szuperszámítógép-központhoz rendelje az adott projektet. A témaszámigénylés a projekt elfogadása után teljesen automatikus, és az eduID bejelentkezés használatával lehetővé teszi, hogy a projekt gazdája és a projekthez rendelt felhasználók aktuális képet kapjanak a szuperszámítógépek szolgáltatásainak állapotáról, a várható kiesésekről, a projekt CPU-idő fogyasztásáról és hátralévő kvótájáról egy integrált felületen, sőt, akár számítási feladatokat küldjenek be a portálon keresztül.

NIIF: Nemzeti Virtuális Laboratórium, szuperszámítógépek
Az NIIF HPC infrastruktúrát használó aktív tudományos projektek száma

Összességében elmondható, hogy a kétéves fejlesztési időszak alatt a az NIIF Intézet által üzemeltetett szuperszámítógépes szolgáltatást sikerült megújítani és az európai szuperszámítógépes hálózatba integrálni. Azóta a szolgáltatásnak köszönhetően számos tudományos cikk és eredmény született a fizikától a biológiáig sok különféle tudományterületen, és jelenleg is egyre nő a szolgáltatást igénybe vevő projektek és kutatók száma. A projektek számának folyamatos emelkedése mellett a párhuzamosan aktív projektek száma is folyamatosan nőtt a kezdeti ~50-ről a jelenlegi közel 100-ra. A szuperszámítógépeket felhasználó hagyományos tudományterületek mellett pedig olyan tudományágak is megjelentek mint pl. a neveléstudomány, a régészet, vagy a pszichológia.

  • Kapcsolódó cégek:
  • NIIF

Azóta történt

Előzmények