Simulace a výpočty s využitím HPC a gridové infrastruktury
V mnoha oborech – od fyziky, přes bioinformatiku až po klimatologii – narůstá potřeba rychlých a přesných výpočtů. Zde přichází ke slovu HPC (High Performance Computing) – vysokovýkonné výpočetní prostředí, které umožňuje provádět rozsáhlé simulace, zpracovávat velké objemy dat a urychlovat vývoj nových poznatků. HPC je soubor technologií a architektur navržených k řešení složitých výpočetních úloh, které by běžné počítače nezvládly v rozumném čase. V praxi jde o výpočetní clustery tvořené stovkami až tisíci uzlů, často propojených vysokorychlostní sítí a řízených centrálním plánovačem úloh.
Moderní výzkum generuje obrovské množství dat a vyžaduje pokročilé simulace, které bez HPC nejsou reálně proveditelné. Příklady využití:
-
- Klimatické modely pro predikci změn v atmosféře a oceánech
- Simulace molekulárních interakcí v biochemii a farmacii
- Výpočty v kvantové fyzice a astrofyzice
- Zpracování genomických dat v medicínském výzkumu
- Trénování umělé inteligence a modelů strojového učení
Aby mohl výzkum efektivně využívat HPC, vznikla potřeba propojení výpočetních zdrojů napříč institucemi i státy. Proto vznikla na úrovni státu Národní Gridová Infrastruktura (NGI), která se napojuje do Evropské Gridové Infrastruktury (EGI). To umožňuje vědcům spouštět výpočty napříč institucemi (pararelní rozdělení běhu úlohy napříč Evropou) a sdílet data nebo nástroje.
| Systém | Typ | K čemu se hodí? | Přihlášení / Přístup | Dokumentace |
|---|---|---|---|---|
| MetaCentrum | Grid / HPC: Česká národní infrastruktura pro vědecké výpočty | Univerzální pro výpočty, gridové úlohy, simulace, bioinformatiku | Přihlášení (CESNET) | Pokračujte zde |
| Karolina | EuroHPC: Český superpočítač | Velké paralelní simulace, AI, strojové učení | Žádost přes IT4I | Pokračujte zde |
| Barbora | HPC: Menší superpočítač, předchůdce Karoliny | Středně velké výpočty, optimalizace kódů | Žádost přes IT4I | Pokračujte zde |
| LUMI | EuroHPC / pre-exascale: Jeden z nejvýkonnějších superpočítačů v Evropě | Velmi rozsáhlé simulace, paralelizace, modelování klimatu, genomika | Žádost přes IT4I nebo Žádost přes LUMI Access Calls | Pokračujte zde |
| NVIDIA DGX-2 | GPU server | Strojové učení, hluboké neuronové sítě | Přes MetaCentrum (vyžádat přístup) | Pokračujte zde |
| VLQ (kvantový) | Kvantový simulátor | Experimentální kvantové algoritmy, výzkum v kvantové informatice | Bude dostupný – sledujte novinky na IT4I / EuroHPC | Doplníme... |
*Pro data z výpočtů lze využívat i úložiště jako je např. LUMI-O objektové úložiště S3: 30 PB.
Kdo a jak může využívat superpočítače?
-
- Zaměstnanci výzkumných organizací ČR
- Excellence based přístup = na základě výzkumného záměru po schválení žádosti
- Otevřená soutěž IT4I, pravidelné národní výzvy (3x ročně)/EuroHPC výzvy, instituciální a komunitní přístup aj.
- Pro rychlý přístup je nutno zažádat o Fast Track Access (FTA) - alokování zdrojů max na 4 měsíce a rozhodnutí o žádosti do 7 dní od podání.
Co musí vědec umět?
Pro většinu bodů z tohoto výčtu existují na stránkách poskytovatelů dokumentace a návody, jak jednotlivé kroky provést. Pro zjednodušení výpočtů je vyvíjena uživatelsky přívětivější platforma Lexis2. Přihlášení např. skrze EUDAT (nutné ověření e-mailu), ORCID, aj. více informací zde.
Znalosti:
-
- práce s příkazovou řádkou,
- spouštění a psaní skriptů (např. Bash, Python),
- vzdálené připojení skrze terminál pomocí SSH,
- jak spustit úlohu a zařadit ji do fronty (porozumění základním parametrům).
Školení a návody
Existuje mnoho školení na práci se superpočítači, ať už od poskytoatelů služeb či v rámci evropských projektů. Návody jsou součástí dokumentace viz tabulka.
Příklady školení: