Kas tai? Eksperto įžvalgos

Kokios technologijos padeda verslui kaupti ir analizuoti didžiuosius duomenis?

Publikuota: 2020-07-28 06:00
„Blue Bridge“ infrastruktūros sprendimų vadovas Algirdas Lunys.
svg svg
„Blue Bridge“ infrastruktūros sprendimų vadovas Algirdas Lunys.

Didieji duomenys – neabejotinai viena įtakingiausių pastarojo dešimtmečio tendencijų. Tačiau gauti apčiuopiamą didžiųjų duomenų naudą – įžvalgas, padedančias priimti verslui svarbius sprendimus realiu laiku –  įmanoma tik išsprendus duomenų struktūravimo problemą. Šiandien įveikti šį svarbiausią duomenų valdymo iššūkį gali padėti net kelios duomenų saugojimo technologijos, sako „Blue Bridge“ infrastruktūros sprendimų vadovas Algirdas Lunys ir vyresnysis sistemų inžinierius Edgar Viršilo.

Visi duomenys virsta didžiaisiais duomenimis

Didžiuosius duomenis paprasčiausia apibrėžti kaip visus duomenis, kuriuos gauname iš įrenginių ir generuojame patys – nuo el. laiškų iki nuotraukų socialiniuose tinkluose.

„Blue Bridge“ infrastruktūros sprendimų vadovas Algirdas Lunys paaiškina, kad didžiuosius duomenis galima apibūdinti ir kaip duomenis, kurie plečiasi trimis kryptimis: didėja jų apimtis, įvairovė ir kaitos greitis. Tai, pavyzdžiui, reiškia, kad nuo periodinių duomenų pereiname prie realaus laiko duomenų naudojimo; tokius duomenis saugant prireikia jau ne gigabaitų, o terabaitų ir t. t.

„Didžiųjų duomenų sąvokos centre – prielaida, kad iš esmės bet kokie duomenys yra vertybė. Loginė to seka praktikoje –„išankstinis“ duomenų kaupimas, kai kaupiame duomenis, iki galo nežinodami, ar jų prireiks. Pavyzdžiui, galbūt tam tikra informacija leis nustatyti vartotojų elgesio tendencijas ir atlikti prognozes tik po kelerių metų, tačiau šių duomenų kaupimą turime pradėti jau šiandien – tam, kad įžvalgos, grįstos jų analize, būtų korektiškos, paremtos istorine informacija“, – sako A. Lunys.

Vis dėlto kaupiant bet kuriuos duomenis būtina bent minimali struktūra. Tad duomenų kaupimo etape jau turi atsirasti sistema ir įrankiai, padedantys ne tik kaupti, bet ir ateityje greitai atpažinti, apdoroti ir galiausiai – apibendrinti verslui svarbius duomenis.

Nuo duomenų bazės prie duomenų ežero

Ko gero, pirmoji asociacija, paminėjus duomenų saugojimą, yra duomenų bazės. Kaip pastebi A. Lunys, duomenų bazės iš tikrųjų gali padėti apdoroti kliento užsakymus, sugeneruoti sąskaitą ir t. t. Tačiau duomenys atskirose sistemose turi mažą vertę, be to, duomenų bazės pirmiausia yra skirtos duomenų „įrašymui“, o ne jų analitikai. Todėl norint išnaudoti visą duomenų potencialą ir gauti informaciją, leidžiančią pastebėti sudėtingus priežastinius ryšius, reikėtų susipažinti su tokiomis sąvokomis kaip duomenų sandėlis (angl. Data Warehouse) ir duomenų ežeras (angl. Data Lake).

Apibūdindamas pagrindines šių duomenų saugojimo technologijų funkcijas trumpai, pašnekovas sako, kad jos abi padeda patogiai saugoti įvairiuose apdorojimo etapuose esančius duomenis.

„Duomenų sandėliai gali padėti atlikti tokius kasdienius darbus kaip mažiausiai parduodamų produktų nustatymas, klientų maržos analizė ir t. t. Apibendrinant – integruoti duomenis iš kelių skirtingų sistemų. Duomenų sandėlius vis dažniau papildo duomenų ežerai, kuriuose galima kaupti netransformuotus, labai įvarius duomenis, tarp jų – ir naujesnių formatų“, – sako „Blue Bridge“ infrastruktūros sprendimų vadovas.

Duomenų sandėliavimas – būtinas, bet reikalaujantis laiko

Duomenų sandėlyje visi duomenys turėtų būti sudėti kaip bibliotekoje – pagal iš anksto numatytą schemą, formatą ir tokiomis formomis, kurios lengviau suprantamos galutiniams naudotojams. Pavyzdžiui, informacija apie operacijas turi būti struktūruojama pagal verslo procesus, tokius kaip pervežimas, pardavimas ar inventoriaus kontrolė.

„Iš čia kyla svarbiausias praktinio duomenų sandėlio naudojimo iššūkis – prieš nukreipiant duomenis į duomenų sandėlį, reikia vienaip ar kitaip juos transformuoti, o tai atima laiko, prarandamas duomenų apdorojimo greitis, be to, paaiškėjus, kad transformuoti ne patys vertingiausi duomenys, visą procesą reikia pradėti iš naujo“, – paaiškina „Blue Bridge“ vyresnysis sistemų inžinierius Edgar Viršilo.

Būtent šie duomenų sandėlio apribojimai paskatino naujausios duomenų saugojimo technologijos – duomenų ežero – atsiradimą.

Duomenų ežerai leidžia greičiau nustatyti duomenų vertę

Duomenų ežeras – tai vieninga saugykla, skirta dideliam skirtingų duomenų kiekiui saugoti jų gimtuoju formatu. Tai reiškia, kad duomenų ežere gali būti saugomi įvairių tipų duomenys – nuo tradicinių veiklos duomenų, tokių kaip „Excel“ lentelės, iki informacijos, surinktos iš įvairių įrenginių daviklių.

„Svarbiausias duomenų ežero privalumas, lyginant su duomenų sandėliu, yra tai, kad nereikia skirti laiko duomenų įsavinimui ir kaupimui – duomenų ežere duomenys gali būti nestruktūruoti ir netransformuoti iki tol, kol nebus žinoma jų vertė ir nuspręsta, ar jie bus analizuojami. Todėl su duomenų ežeru gauname mažesnį duomenų vėlavimą, momentinę prieigą prie įvairių tipų duomenų, lengvesnį išplėstinių duomenų analizės scenarijų kūrimą ir galiausiai – taupų didelių duomenų kiekių saugojimą“, – vardija „Blue Bridge“ vyresnysis sistemų inžinierius.

Tam tikra struktūra būtina ir duomenų ežere

Nepaisant greitesnio duomenų pateikimo ir lankstumo, kurį suteikia duomenų ežeras, bent minimalaus duomenų struktūrizavimo išvengti nepavyks ir čia  – kitaip duomenų ežeras gali pavirsti duomenų pelke.

„Pavyzdžiui, duomenys gali būti kaupiami pagal savaites, mėnesius, metus, saugumo reikalavimus arba taikant tam tikrą klasifikaciją – pavyzdžiui, vieši duomenys, konfidencialūs duomenys ir t. t. Prieš planuodami duomenų kaupimo sistemą duomenų ežere, turite nuspręsti bent jau tai, kokiu cikliškumu norite duomenis gauti ir talpinti duomenų ežere“, – sako E. Viršilo.

Pirmieji žingsniai link vertę kuriančio duomenų saugojimo

Taigi – nuo ko pradėti didžiųjų duomenų pritaikymą savo verslo tikslams? Pasak E. Viršilo – pirmasis žingsnis, tai – duomenų sandėlio struktūros sudarymas. Šiame etape pats svarbiausias yra vertingiausių duomenų šaltinių nustatymas.

„Antra, įvairesnių duomenų kaupimui patarčiau naudoti duomenų ežerą, o jeigu naudojote duomenų sandėlį jau anksčiau, pirmiausia reikėtų perkelti iš jo archyvinius duomenis į duomenų ežerą, ir tokiu būdu duomenų sandėlyje „įvesti tvarką“. Duomenų ežere taip pat galite pradėti saugoti naujo tipo ar formato duomenis ir lygiagrečiai spręsti dėl jų tinkamumo išsamesnei analizei, perkėlimui į duomenų sandėlį ir t. t. Nepamirškite, kad duomenų ežeras taip pat turi turėti savo struktūrą“, – apibendrina „Blue Bridge“ vyresnysis sistemų inžinierius.

Norint įsitikinti, ar renkami ir analizuojami tikrai vertingiausi duomenys, periodiškai reikėtų atlikti koncepcinius projektus (angl. Proof-of concept). Jie gali padėti pastebėti „nereikalingus“ duomenis arba prijungti papildomų duomenų, kuriuos skirtingais formatais vėliau leidžia saugoti ir panaudoti duomenų ežeras.

Gauk nemokamą VERSLO naujienlaiškį į savo el.pašto dėžutę:

Pasirinkite Jus dominančius NEMOKAMUS savaitraščius:













Svarbiausios dienos naujienos trumpai:



 
Rašyti komentarą 0
„BOD Group“ Vilniuje planuoja laboratorijų kompleksą, tikisi privilioti investuotoją iš Švedijos Premium 3

Technologijų grupė „BOD Group“ Vilniaus Visoriuose ketina investuoti į didžiulį pastatą, kuriame turėtų...

Pusmetis su „McKinsey“ konsultantais: „Bitė“ pristato naują verslo aptarnavimo standartą Verslo tribūna

„Bitė Lietuva“ šiandien pristato naują verslo aptarnavimo standartą. Ši ir kitos naujovės pristatomos po...

Ar e. sveikatos ir kitos svarbios sistemos liks drėgname rūsyje Premium 1

Kol Registrų centro (RC) IT specialistai bando prikelti e. sveikatos sistemą, jo vadovas su Ekonomikos ir...

Kokios technologijos padeda verslui kaupti ir analizuoti didžiuosius duomenis? Verslo tribūna

Didieji duomenys – neabejotinai viena įtakingiausių pastarojo dešimtmečio tendencijų. Tačiau gauti...

Robotizuota 4,6% Lietuvos įmonių: ar galime kalbėti apie proveržį Premium

Statistikos departamentas suskaičiavo, kad per dvejus metus Lietuvos įmonių, naudojančių robotus, padaugėjo...

Pramonė
2020.07.27
„Wix“ viceprezidentas: planas yra augti taip greitai, kaip tik galime Premium 2

Su Ronny Elkayamu, „Wix“ vyresniuoju viceprezidentu, atsakingu už mobiliąsias technologijas, programėlių...

Paslaugos
2020.07.24
„Ligence“ pritraukė 360.000 Eur investiciją

„Koinvesticinis fondas“ kartu su verslininku Vladu Lašu ir kitais verslo angelų tinklo „LitBAN“ nariais...

Technologijos
2020.07.22
Lietuviai upėtakių auginimui sukūrė moderniausią Baltijos šalyse ūkį Verslo tribūna 2

Įmonės „FishNet“ vaivorykštiniai upėtakiai auginami modernioje uždaroje recirkuliacinėje sistemoje tyrame...

Išmani Lietuva
2020.07.21
KTU mokslininkai kuria antibakterines medžiagas kaukių gamybai

Kauno technologijos universiteto (KTU) mokslininkų komanda, gavusi Lietuvos mokslų tarybos (LMT) finansavimą,...

Technologijos
2020.07.20
Perteklinis dirbtinio intelekto reguliavimas: ES taikosi sau į koją Premium 1

Europos Komisija (EK) dirbtinio intelekto (DI) plėtrą Bendrijoje laiko vienu iš prioritetų, keliamas tikslas,...

Technologijos
2020.07.19
Ar B. Johnsonas nori konkuruoti su E. Musku? Premium

Išsekus jaunos britų įmonės „OneWeb“ lėšoms, Elono Musko palydovinio interneto projektui „Starlink“ atsivėrė...

Technologijos
2020.07.18
„Evolution Gaming“ žengia į Lietuvą  Premium

Švedijos IT paslaugų tiekėja azartinių lošimų operatoriams „Evolution Gaming“ antrajam padaliniui Baltijos...

Statyba ir NT
2020.07.16
Inovacijų galimybės sveikatos priežiūros sistemoje: pamokos iš Jungtinės Karalystės 1

Sveikatos priežiūros sistema tikriausiai niekada nebebus tokia pati, kokia buvo prieš COVID-19 pandemiją.

Inovatyvus verslas
2020.07.15
Kada 5G sulauksime Lietuvoje: triukšmo daug, pritaikomumas – negreitai Verslo tribūna

Nors apie 5G pastaruoju metu ir kalbama nemažai, sklando ir nemažai nepagrįstų sąmokslo teorijų, kurias skuba...

Išmani Lietuva
2020.07.15
NKSC rekomenduoja pasikeisti maršrutizatorių slaptažodžius 3

Nacionalinis kibernetinio saugumo centras (NKSC) prie Krašto apsaugos ministerijos (KAM) nustatė, kad...

Paslaugos
2020.07.12
10 valandų Neringa liks be elektros: nepertraukiamą „Bitės“ ryšį užtikrins mobilios komandos Verslo tribūna 2

Liepos 13 dieną, pirmadienį atjungus elektros tiekimą Kuršių Nerijai „Bitės“ tinklo komanda pasitelks...

Išmani Lietuva
2020.07.10
Kompiuteris vietoje laboratorijos: „Biomatter Designs“ baltymų kūrimą perduoda DI Premium

Mokslo, inovacijų ir technologijų agentūros (MITA) konkurse „Life-saving innovations: stop COVID-19“...

Technologijos
2020.07.09
Ultravioletine spinduliuote dezinfekuojamais respiratoriais tikisi sudominti ligonines Premium 3

UAB „Uvireso“, kurianti antivirusinę kvėpavimo kaukę, kurioje oras valomas ultravioletiniais spinduliais, jau...

Technologijos
2020.07.09
„Google.org” skyrė 440.000 USD paramą programai „Women Go Tech“

Filantropinis „Google“ padalinys „Google.org“ mentorystės programai Lietuvoje „Women Go Tech“ skiria 440.000...

Paslaugos
2020.07.08
„Koinvesticinis fondas“ investavo į vibracijų energijos generatoriaus kūrėjus

Rizikos kapitalo fondas „Koinvesticinis fondas“ kartu su verslo angelų tinklo „LitBan“ nariais investuoja į...

Pramonė
2020.07.07

Verslo žinių pasiūlymai

Šioje svetainėje naudojame slapukus (angl. „cookies“). Jie padeda atpažinti prisijungusius vartotojus, matuoti auditorijos dydį ir naršymo įpročius; taip mes galime keisti svetainę, kad ji būtų jums patogesnė.
Sutinku Valdyti slapukus