ITU-datalog modtager bevilling til at optimere maskinlæringsmodeller på små enheder
Lektor i datalogi på IT-Universitetet i København, Pınar Tözün, har modtaget 2,7 millioner kroner fra Novo Nordisk Fonden til at udvikle nye mekanismer, der kan optimere databehandling på små hardware-enheder.
Pinar TozunForskningInstitut for DatalogibevillingerClimate ITsoftware
Skrevet 16. december 2022 06:52 af Theis Duelund Jensen
Software som bl.a. talegenkendelse i virtuelle assistenter (fx mobiltelefoner) eller billedgenkendelsesteknologi i satellitter er baseret på maskinlæringsmodeller, og man skal bruge enorme ressourcer – fx datacentre eller clouds – til at træne modellerne. Det kan koste store summer for slet ikke at tale om energiforbruget og klimaaftrykket.
Der er derfor behov for en optimering af processen, og det her lektor på IT-Universitetet Pınar Tözüns nye forskningsprojekt Machine Learning on Tiny Hardware (MOTH) kommer ind i spillet.
Målet for MOTH-projektet er at udvikle nye mekanismer, der kan øge dataets værdi ved hjælp af beregningskapaciteten i små hardware-enheder. Modsat beregningskapaciteten i fx clouden, har små enheder typisk en mere begrænset ydeevne, hvilket er problematisk, hvis man vil effektivisere processen.
Men ved at skabe bedre muligheder for, at de små enheder kan foretage flere af de tunge beregninger, kan man reducere latens, omkostninger, og den energi man typisk skal bruge på implementere maskinlæringsmodellerne på enhederne og samtidigt gøre dataprocesseringen mere sikker. Ideelt set vil Pınar Tözüns resultater komme alle aktører og institutioner, der arbejder med indsamling og processering af data inden for ressourcebegrænsede rammer på små enheder, til gavn.
”Målet med nærværende projekt er at tackle problemet i relation til maskinlæringsmodeller. Hvor komplekse modeller kan vi egentlig arbejde med, når målet er at implementere dem på små enheder, og kan vi gøre processen mere dynamisk? Kan vi opdatere modellerne efter forgodtbefindende, og hvilke omkostninger er forbundet med det? Den nuværende praksis er at optimere modellerne inden for en given hardware-ramme. Det er en meget statisk tilgang, som mangler fleksibilitet, hvis man fx har brug for at opdatere softwaren eller flytte den til anden hardware,” siger Pınar Tözün.
Hvis forskeren har succes med projektet, kan det bane vejen for en reduktion af datatrafik til og fra store datacentre. Når mindre enheder, som er tættere på selve datakilden, selv kan udføre beregningerne og derved producerer større værdi, reduceres behovet for at trække på de store beregningsressourcer. Effekten vil være en reduktion af latens og økonomiske omkostninger og i sidste ende CO2-aftrykket.
”Projektet handler grundlæggende om at vride mere værdi ud af ressourcebegrænsede hardware-enheder,” siger forskeren. ”Vi kommer ikke til at bygge ny hardware. Vi fokuserer i stedet på at optimere software-siden af ligningen, og det kan få store konsekvenser for, hvordan vi implementerer maskinlæringsmodeller i fremtiden.”
Projektet starter i august 2023 og skal køre om tre år. De 2,7 millioner kroner er bevilget af Novo Nordisk Fonden.
Theis Duelund Jensen, presseansvarlig, +45 25 55 04 47, thej@itu.dk