Multimilijardinei „Louis Dreyfus Company“ – Lietuvos inžinierių sprendimai

nuotrauka::1 nocrop

Kaune dirbantys inžinieriai tris metus kūrė ir tobulino sistemą, pavadinimu „MyLDC“. Tai – tiesioginė LDC sąsaja su ūkininkais, kurie priklauso grupės tinklui. Sistema didina LDC ryšį su turimu ūkininkų tinklu ir leidžia patiems ūkininkams efektyviai planuoti savo produkcijos gamybą.

„MyLDC“ renka reikiamus duomenis iš skirtingų išorinių sistemų, juos transformuoja ir suprantamai pateikia galutiniams sistemos vartotojams, ūkininkams. Ją sudaro interneto portalas ir mobiliosios programos. „Devbridge Group“ inžinieriai pirmuosius sprendimus sukūrė, palyginus, nedidelei kliento rinkos daliai – Šiaurės Amerikos grūdų rinkai.

Sukurtas produktas pasiteisino ir LDC nusprendė palaipsniui įdiegti šią sistemą kitose savo rinkose: visų pirma, iš Šiaurės Amerikoje turimos grūdų rinkos išsiplėtė į medvilnės pramonę, vėliau peraugo į globalų LDC sprendimą.

Kadangi „MyLDC“ buvo sukurtas mažesniam regionui, ženkliai padidėjęs duomenų kiekis atvedė inžinierių komandą prie nenumatytų problemų, kurias reikėjo išspręsti. Neplanuotus iššūkius pradėjo kelti stipriai normalizuoti sistemos duomenys.

Neplanuotas iššūkis ir netradicinis sprendimas

Produkto inžinierių teigimu, turint normalizuotus duomenis ir norint patenkinti pasikeitusius reikalavimus, dažnai reikėjo atlikti papildomą grupavimą, agregavimą ar kitus skaičiavimus: „kadangi už duomenų modelį buvo atsakingi mūsų partneriai, deja, jo modifikuoti negalėjome“, – iššūkį pristato Mindaugas Kučinskas, „Devbridge Group“ vyresnysis programuotojas ir komandos vadovas.

nuotrauka::2 left

Komandai teko daryti gana sudėtingas užklausas, apjungti dešimt ir daugiau lentelių su šimtais tūkstančių ar milijonais įrašų, be to, realiu laiku daryti skaičiavimus. Tai padiktavo ir nenumatytą išdavą – prasidėjo greitaveikos (ang. performance) problemos.

„Netiesiogiai su greitaveikos problemomis susidūrėme dar prieš metus. Testai rodė, jog silpnoji vieta yra duomenų bazės užklausos. Didėjant duomenų kiekiams, vartotojų skaičiui, mūsų portalas sulėtėdavo. Tuo metu apsiribojome trumpalaikiais sprendimais, t.y. trūkstamų indeksų sudėliojimu, dalies užklausų perrašymu, daugelio pavienių užklausų perkėlimu i vieną transakciją ir panašiai“, – kalba M. Kučinskas.

Sistema pagreitėjo, kai kurios dalys nuo 10 iki 50 proc., tad pagerėjimas jautėsi. Vis tik, komanda suprato, kad tokiu būdu problema iš esmės nebus išspręsta ir gali sugrįžti. Po pusės metų, prijungus Brazilijos platformą, taip ir nutiko. Duomenų kiekiai ir vartotojų skaičius dar labiau išaugo ir komanda grįžo į tą patį tašką. Taigi, greitaveikos dalis tapo aukščiausiu prioritetu.

„Mūsų komanda svarstė kelis variantus, nuo „data retention“ politikos, duomenų bazės perkėlimo iš „Azure SaaS“ į „Azure PaaS“ iki duomenų bazės lentelių denormalizavimo. Visus šiuos variantus pristatėme klientui kūrybinių dirbtuvių metu Lione. Turėjome paruošę ir praktinius „proof of concept“, kur ryškų pranašumą tapti problemos sprendimu įgavo būtent duomenų bazės lentelių denormalizacija“, – situaciją dėsto specialistas.

Taikant šį sprendimą, komanda praplėtė patį duomenų modelį, sukurdama denormalizuotas lenteles, kurios atitiktų visą kliento verslo logiką ir pasirūpino tų lentelių užpildymu duomenimis asinchroniškai. Šiuo tikslu, panaudotos „Azure Event Hubs“ ir „Azure Functions“ technologijos. Rezultatas – problema išspręsta taip, kad pagerino greitaveikos veikimą net dvidešimt kartų.

nuotrauka::3 right

Fala  portugues?

Vienas didžiausių iššūkių yra integracija su trečiųjų šalių sistemomis. „MyLDC“ projekto atveju, tai buvo elektroninių ir skaitmeninių parašų sistema „CertiSign“, kurią kliento pageidavimu, reikėjo integruoti į „MyLDC“ sprendimą.

„Vos pradėję dirbti su „CertiSign“, susidūrėme su kuriozu – sistema į užklausas atsako tik portugališkai. Ne tik žinutės buvo portugališkos, bet ir visa duomenų struktūra grįždavo portugalų kalba“, – pasakoja Augustas Adomavičius, „Devbridge Group“ programuotojas.  

Be to, „CertiSign“ turėjo ir daugiau trūkumų, kurie darė įtaką produkto greitaveikai ir resursų naudojimui. Pavyzdžiui, ji nesugebėjo automatiškai informuoti, kai pasikeičia dokumento būsena. Taigi, reikėjo vis klausti serverio, kada ta būsena pasikeičia ir kokia tampa. Užmezgus ryšį ir pradėjus artimiau bendradarbiauti su „CertiSign“ atstovu, komandai pavyko pakeisti daugiau, nei tikėtasi.

„Pasiūlėme įdiegti grįžtamąjį ryšį („Call-back“), kuris leido pagerinti ir trečiosios šalies, ir mūsų produkto kokybę“, –  sako A. Adomavičius.

Specialisto teigimu, visi „MyLDC“ projekto iššūkiai įgalino komandą kurti dar sudėtingesnes sistemas bei gilinti žinias tokiose problemose, su kuriomis susiduria pasaulinės įmonės, apimančios skirtingus regionus: „rezultatas – sukūrėme ilgalaikį sprendimą klientui, kuris yra pritaikytas jau ir tolimesnei plėtrai. Mums, kaip komandai, svarbu tai, kad dirbome su labai dideliu duomenų kiekiu ir įgavome dar didesnę darbo su skirtinų regionų duomenų kiekiais patirtį“, – pažymi jis.

„Devbridge Group” – JAV programavimo paslaugų įmonė, kurios centrinė būstinė yra Čikagoje. Tarptautinę įmonės komandą sudaro virš 430 darbuotojų. Jie pasiskirstę Čikagos, Toronto, Londono, Kauno ir Vilniaus padaliniuose. „Devbridge Group” kasmet auga kone dvigubai ir net šešis metus iš eilės patenka į prestižinį JAV privačių sparčiausiai augančių įmonių reitingą „Inc. 5000”. Įmonės klientai – „Fortune 1000“ sąrašo pasaulinės finansų, paslaugų ir gamybos sektorių kompanijos.

Lietuvoje „Devbridge Group” aktyviai investuoja į IT švietimą: vykdo tris skirtingas nemokamas „Sourcery“ akademijas jauniesiems IT talentams (programuotojams, testuotojams, Front-End) ir yra pirmoji Lietuvoje, pakvietusi 7-12 m. vaikus nemokamai mokytis programavimo pagrindų ir kūrybinių technologijų. „Sourcery for Kids“ akademijoje net 416 Lietuvos vaikų jau antrus metus iš eilės mokosi, kaip kurti, o ne tik vartoti technologijas.

FOTOGALERIJA : (3 nuotr.)