Podpora, servis a rozvoj datového skladu

Předmětem veřejné zakázky podpora, servis a rozvoj datového skladu Jihočeské univerzity v Českých Budějovicích. Řešení datového skladu na JU je vytvořeno v cloudovém prostředí MS Azure na speciálním databázovém frameworku. Datový sklad získává data primárně ze studijního systému (STAG), finančního systému (IFIS), personálního systému (EGJE), systému a centrálního registru identit (IDM), systému pro publikační činnosti (OBD), systému pro hodnocení akademických pracovníků (HaP) a manuálních tabulek. Dodavatel se zavazuje udržovat řešení aktuální s moderními datovými standardy a dostupnými cloudovými nástroji. Včetně aktualizací a možnosti školení uživatelů. Aktualizace by měly směřovat k jednodušší správě, provozu celého řešení a samostatnosti odběratele. Framework pro datový sklad je provozován v cloudovém prostředí MS Azure. Jeho cílem je zjednodušit celý proces vývoje, tak, aby administrátor byl schopný bez náročného vyvíjení přidávat, upravovat nebo odebírat databázové objekty. Framework je postaven na robustním systému metadat, skrze které je řízen celý datový sklad. Obsahuje celou řadu kontrolních mechanismů zamezují incidentům, které by vedly ke ztrátě nebo znehodnocení dat. Metadata a model driven development • základem frameworku je datový model obohacený o provozní metadata, který tvoří zdroj pro generování databázových objektů • proces tvorby metadat je automatizován pomocí Power Apps a DevOps principů Komponentně stavěná struktura • framework je tvořen moduly, které lze v případě potřeby přidat do hotového řešení nebo z nich na začátku projektu vybírat jen to, co je potřeba • jednotlivé komponenty řeší činnosti jako logování, řízení datové kvality, data lineage, archivaci dat atd. SW komponenty • Azure SQL Server • Azure Data Factory (V2) • Azure Logic App • Automation Account • Azure DevOps • Powerapps • Azure AI Services • Azure Storage Account (ADLS2) • Výhledově Microsoft Fabric STAGE • Denní snímek – určen pro nápočet skladu pro daný den, může se jednat o full load nebo inkrement • Historický snímek – určitý počet nedávných denních snímků pro přepočet DWH (rollback) – klouzavých 6 měsíců • Archiv – po uplynutí 6 měsíců se data přesouvají do archivu, kde zůstávají delší dobu a mohou být odtud ručně obnoveny do tabulek s historickými snímky. Archiv má roční partitioning a funguje tak, že obsahuje vždy celý rok – 2 a aktuální část roku – 6 měsíců (koresponduje s 6 měsíci historické vrstvy). Po kompletaci roku – 6 měsíců (ze kterého se v tu chvíli stává rok - 2 a vše se posouvá) dochází k odmazání nejstaršího roku z archivu. Archiv používá columnstore indexy s archivační kompresí. Aktuálně nastavené hranice stárnutí dat lze změnit (6 měsíců, 2 roky). DWH • Denní load – technická vrstva zjednodušující celý nápočet, která umožňuje plně automatizovanou historizaci. Není určena pro koncové uživatele, ani pro reporting. Jedná se o nápočet dat k jednomu okamžiku (čímž zjednodušuje život vývojářům). Administrátorům poskytuje možnost si kdykoliv do této vrstvy napočítat data za libovolný den, který jim STAGE dovoluje. • Historická vrstva – hlavní zdroj dat DWH obsahující historizované záznamy v podobě odpovídající modelu. Do tabulek je potřeba se dotazovat s ohledem na platnost záznamů, datum platnosti a příznak smazaných záznamů. Vrstva je určena pro zkušené uživatele (powerusers) a analytiky. Reportovací vrstva – zdroj pro reporting, zajišťuje nejběžnější filtrování a transformuje data do méně běžných, avšak vyžadovaných formátů (např. pro regulatorní a výkaznické potřeby). K této vrstvě mají přístup běžní uživatelé v reportovacích nástrojích (PowerBI). Dodavatel by měl být schopný tvorby a správy simulačních reportů pro modelování budoucího vývoje. Orientační objem dat v datovém skladu JU STAGE: počet tabulek 746; počet řádků 11 130 712 332 DWH: Počet tabulek 217; počet řádků 148 387 731