Různorodé zdroje dat, které potřebuji sloučit

Přínos

Vyřeším potřeby jednotné báze dat, tj. jednoho číselníku zákazníků, obchodních partnerů, výrobků, atd. napříč jednotlivými systémy. Dokáži propojit docházku se mzdami a zadavateli údajů v dalších systémech. Sjednotím zákazníky napříč CRM, ERP, MIS.

Snadno a rychle

Typickým řešením je datový sklad spolu s tzv. ETL procesy, které data do datového skladu přenesou, vyčistí a upraví, aby jejich sloučená varianta byla použitelná.

Komplexně

Existuje celá řada možností, jak data slučovat a hlavně jak je dále využívat. Pro vlastní sloučení se využívá postupů a zásad budování datového skladu. Bavíme se zde však často o různých formách jejich sjednocování a existují samozřejmě trendy i nástroje, jak činnost, kterou nezvládnou stroje v procesu čištění dat přenést zpět směrem k uživatelům, respektive vybraným uživatelům v roli správců dat.

Správce dat se stará a jejich finální úpravu (nejčastěji v oblíbeném prostředí Microsoft Excel) a také o jejich publikování směrem do datového skladu. Tím se pomalu dostáváme do problematiky MDM (Master Data Management), tedy oblasti správy těch jednotných správných dat.

Problematika správy kanonických dat je poměrně široká. První aplikací, která se přímo nabízí, je využití vyčištěných dat zase zpět v původních systémech. Takový proces může vypadat tak, že v rámci čištění a konsolidace dat se například adresa zákazníka zvaliduje oproti existujícím externím systémům (ARES, RUIAN) a doplní se o případné scházející údaje (číslo popisné, GPS souřadnice). Takto upravený původní záznam se zase načte zpět do primárního systému.

V oblasti MDM je důležité, kde se berou data a kam se zase distribuují. Setkáváme se zde s mnoha scénáři, kde v jednoduchých případech máme pro každou entitu (např. právě zákazník) jeden primární zdroj dat, který má vždy pravdu (např. účetnictví) a ostatní systémy jej musejí poslouchat. To je potom jednoduché. Ovšem existují i tzv. multi master scénáře, kde jsou data pořizována v několika systémech (fakturace v ERP, potenciální zákazníci v CRM). Zde je proces o něco složitější, ale opět s využitím datového skladu zvládnutelný.

Technicky

Stejně jako pro všechna naše další řešení, využíváme i pro tento případ nástrojů Microsoft SQL Serveru. Škála řešení sahá od prostého sloučení stejných dat z různých zdrojů jen pomocí uložených procedur, až po sofistikovanou deduplikaci záznamů. Pro edici SQL Server Standard jsme vyvinuli vlastní doplněk, který umožňuje testovat podobnost řetězců a na základě ní počítat pravděpodobnost shody mezi dvěma, případně více poli.

V edici SQL Server Enterprise využíváme výrazně robustnějšího řešení, založeného přímo na technologiích dodávaných Microsoftem. Jedná se o procesy využívajíc produktu Data Quality Services (DQS) většinou doplněné o Master Data Management (MDM)

Referenční projekty

KSW slučování CRM zákazníků a standardních partnerů

AXA konsolidace kmene osob, agentů, identifikace relací