Pozdravljen Uroš. Čestitke ob zaključku študija. V svoji magistrski nalogi se posvečaš uporabi sodobnih metod strojnega učenja za napovedovanje vremena. Tvoja naloga sodi na področje numeričnega napovedovanja vremena. Naslov tvoje zaključne naloge je “Napovedovanje vremena s konvolucijskimi nevronskimi mrežami” Nalogo si opravil pod mentorstvom izr. prof. dr. Gregorja Skoka (FMF) ter somentorstvom doc. dr. Žige Zaplotnika (ECMWF).
Prosim, da na kratek in poljuden način predstaviš ozadje in raziskovalno vprašanje tvoje naloge.
V zadnjih letih so metode strojnega učenja postale pomembno orodje, s katerim lahko rešimo množico različnih nalog, kot je prevajanje besedila med različnimi jeziki (npr. google prevajalnik), prepoznavanje obrazov pri izvajanju fotografij (npr. na pametnih telefonih), prepoznavanje glasbe (npr. aplikacija Shazam), predlaganje uporabniku prilagojenih reklam in videoposnetkov na spletnih straneh in družbenih omrežjih … Uporabne pa so tudi v znanosti. Z njimi lahko razvrščamo pojave v skupine s podobnimi lastnostmi (npr. razvrščamo zvezde v skupine glede na starost in kemijsko sestavo s pomočjo meritev njihovega svetlobnega izseva), rešujemo enačbe (npr. pri simulaciji toka tekočin), napovedujemo razvoj stanj sistemov v prihodnosti (npr. napovedovanje zastojev na cesti ali porabe električne energije), na podlagi znanih podatkov o trenutnem stanju, ali iščemo enačbe, ki opisujejo naravne pojave.
Na področju napovedovanja vremena so bili v zadnjih desetletjih razviti zelo kakovostni modeli za izračunavanje vremenskih napovedi, ki slonijo na fizikalnih enačbah. S pomočjo satelitov, vertikalnih sondaž, letal, ladij, morskih boj in mnogih drugih merilnikov lahko ocenimo, kakšno je stanje celotnega ozračja v danem trenutku, s fizikalnimi enačbami pa na podlagi trenutnega stanja izračunamo nadaljnji razvoj vremena, ki je temelj za opisno vremensko napoved v meteoroloških centrih. V zadnjih letih je bilo izvedenih več poskusov, v katerih namesto fizikalnega za napovedovanje uporabijo model strojnega učenja. To smo storili tudi v moji magistrski nalogi.
Veliki meteorološki centri, kot je Evropski center za srednjeročne vremenske napovedi (ECMWF), so s pomočjo atmosferskih meritev rekonstruirali stanje ozračja v zadnjih desetletjih. Takšne rekonstrukcije vremena imenujemo reanalize in v njih so shranjeni podatki o temperaturi, vlagi, vetru, padavinah in mnogih drugih lastnostih atmosfere. Model strojnega učenja se napovedovanja uči na reanalizah, pri čemer model prečeše vse podatke in se pri tem poskuša naučiti povezav med različnimi spremenljivkami ter izvesti napoved, ki je čim bolj podobna dejanskemu razvoju stanja atmosfere. Kot zgled si lahko predstavljamo napovedovanje padavin na območjih vremenskih front. Algoritem bi se lahko na podlagi podatkov o vremenu v preteklosti naučil, da ob frontah, na mejah med toplim in hladnim zrakom, pogosto pride do padavin. S pomočjo podatkov o temperaturi, zračnem tlaku in vetrovih pa bi lahko ocenil tudi intenziteto in obliko padavin na fronti.
Strojno učenje zajema veliko število različnih algoritmov, ki se razlikujejo po obliki in količini podatkov, na katerih se učijo, računski zahtevnosti, prilagodljivosti na nalogo, ki jo rešujejo itd. Pri napovedovanju vremena trenutno raziskujemo različne oblike umetnih nevronskih mrež. Te so poenostavljen matematičen model delovanja živčevja, oz. bioloških nevronskih mrež, v katerem signali potujejo po sinapsah od nevrona do nevrona, pri tem pa se nekateri signali ojačijo, drugi pa oslabijo. V magistrski nalogi uporabimo t. i. konvolucijske nevronske mreže, ki se učijo prepoznavati prostorske vremenske vzorce oz. povezave znotraj atmosferskih polj. Cilj magistrske naloge je bila konstrukcija konvolucijske nevronske mreže in učnega algoritma, ki privede do čim boljše vremenske napovedi na območju celotnega planeta (t. i. model za globalno napovedovanje vremena).
Kakšni pa so glavni rezultati in ugotovitve, do katerih si prišel?
Napovedovanje vremena je zahteven problem, saj so vremenski pojavi pogosto izrazito nepredvidljivi. Konstrukcija modela strojnega učenja, ki je sposoben kakovostnega napovedovanja vremena, je zato težaven proces preizkušanja različnih idej in optimizacije celotnega algoritma. Končna verzija našega modela je sposobna napovedovati vreme na t. i. sinoptičnih skalah, tj. napovedovati zna pojave velikosti približno 1000 km, kot so cikloni in anticikloni, vročinski valovi, prodori hladnega zraka (potovanja hladnega polarnega zraka proti jugu) itd. Kakovost napovedi našega modela se na teh velikostnih skalah približa kakovosti napovedi fizikalnega vremenskega modela ECMWF in nekaterih modelov strojnega učenja, ki so jih ustvarile večje korporacije, npr. Google, Nvidia, Huawei itd. Z njim lahko več dni vnaprej napovemo poti tropskih ciklonov in nekatere vremenske vzorce v zmernih geografskih širinah. Kljub temu so njegove napovedi vseeno nekoliko manj zanesljive od zgoraj omenjenih modelov, kar je deloma posledica manjših računskih zmogljivosti, ki jih imamo na voljo, deloma pa dejstva, da pri njihovih projektih sodeluje več strokovnjakov hkrati, zato je lahko razvoj njihovih modelov hitrejši. Ena izmed trenutnih pomanjkljivosti našega modela je nizka ločljivost vremenskih napovedi, zaradi česar ne moremo napovedati lokalnih vremenskih ekstremov. Poleg tega se naš model, tako kot ostali modeli strojnega učenja zgoraj omenjenih korporacij, po več dneh napovedi spopada s postopnim nerealističnim »glajenjem« napovedi. V napovedanih padavinskih poljih zato namesto dobro razločenih neviht in vremenskih front dobimo enakomerno »razmazane« padavine na večjem območju. Hkrati so v napovedih podcenjene vrednosti zračnega tlaka v središčih ciklonov in anticiklonov, podcenjene temperature v vročinskih valovih, v prodorih polarnega zraka pa so temperature precenjene. To so težave, ki jih bo treba v prihodnosti rešiti, če želimo imeti uporabne vremenske modele strojnega učenja.
Ker so nekateri vremenski procesi težje napovedljivi, npr. intenzivno poglabljanje ciklonov, takšna območja delujejo kot izvor napak, ki se nato širijo in ob kasnejšem času zmanjšajo kakovost vremenske napovedi drugod. Posledično smo v magistrskem delu analizirali napako napovedi našega modela in poiskali območja, na katerih je napaka napovedi največja. S tem smo prišli do dodatnih informacij, ki so uporabne za diagnostiko morebitnih vremenskih procesov, ki modelu povzročajo največ težav. Prav tako smo ugotovili, da se napovedi slabšajo, ko se časovno oddaljujemo od podatkov, ki smo jih uporabili za učenje modela. Kakovost modelske napovedi se torej spreminja tudi zaradi globalnega segrevanja in nekaterih drugih sprememb, npr. tokov oceanov. Posledično je treba tudi model sproti učiti na novih podatkih.
Prvi modeli strojnega učenja za napovedovanje vremena so pokazali, da imajo ti velik potencial za kakovostno napovedovanje vremena. V prihodnosti bodo vremenski modeli verjetno kombinirali fizikalno predznanje o gibanju atmosfere in algoritme strojnega učenja, kjer se bodo slednji naučili upoštevati vplive procesov, ki jih ne zmoremo neposredno izmeriti ali numerično izračunati. Vpeljava strojnega učenja na področje napovedovanja vremena torej prinaša nove metode, s katerimi bomo morebiti rešili nekatere težave trenutnih modelov in izboljšali vremensko napoved.
Hvala za odgovore in veliko sreče še naprej.
Povezava na PDF magistrske naloge.
Intervju izvedla: asist. dr. Katarina Kosovelj
