Zou het niet fantastisch zijn als onze AI op apparaten overal naartoe kon, direct bij de gebruiker, daar waar het het meest nodig is? Denk aan een zelfrijdende auto die bliksemsnel beslissingen neemt, of een drone die beelden analyseert zonder afhankelijk te zijn van een stabiele internetverbinding. Het klinkt als muziek in de oren, maar de realiteit van Edge AI brengt behoorlijke Edge computing uitdagingen met zich mee.
Want hoe indrukwekkend moderne deep learning-modellen ook zijn – met prestaties die soms ronduit verbazingwekkend zijn – ze zijn vaak gigantisch. Een model uit 2012 had al 61 miljoen parameters, maar de winnende ImageNet van 2021 spant de kroon met maar liefst 2,1 miljard! En zulke reuzen zijn niet zomaar te temmen voor de kleine, energiezuinige apparaten aan de ‘rand’ van het netwerk.
Edge AI brengt kunstmatige intelligentie dichter bij de gebruiker, maar kampt met strenge beperkingen op het gebied van energie, verwerkingssnelheid en geheugen
Wat zijn die ‘edge-apparaten’ eigenlijk? Het zijn allerlei slimme gadgets en systemen die wel met internet verbonden zijn, maar fysiek veel dichter bij de gebruiker staan dan grote datacenters. Denk aan robots, onbemande drones, satellieten voor teledetectie, maar ook je slimme horloge of je Amazon Echo thuis. Een smartphone past er vaak wel bij, een laptop dan weer minder.
Al deze apparaten hebben één ding gemeen: ze kampen met strikte beperkingen. We praten over energiebeheer, verwerkingssnelheid en geheugen. Een chip in een zelfrijdende auto heeft bijvoorbeeld absolute prioriteit voor lage latentie, oftewel hoe snel de AI een resultaat kan leveren. Een kleine commerciële drone, met slechts 20-30 minuten vliegtijd, kan daarentegen minder dan 5% van zijn totale energiebudget toewijzen aan de benodigde rekenkracht en gegevensverwerking. Dat is niet veel!
De meeste Edge AI-taken draaien om computervisie of audioverwerking. Denk aan gezichtsherkenning, natuurlijke taalverwerking of verkeersvoorspelling. Maar deze neurale netwerken vreten energie – soms wel 13.500 keer meer dan traditionele algoritmen voor objectdetectie. En dan hebben we het nog niet eens over het geheugen. Het opslaan van modelgewichten en inputs slurpt ook enorm veel energie; tot wel 200 keer meer dan een standaard rekenkundige bewerking.
Het spreekt voor zich: een AI-model in een Edge AI-context proppen, betekent compromissen sluiten. Het model moet kleiner en minder computationeel intensief zijn, wat vaak ten koste gaat van de prestaties. Hoeveel minder goed? Dat hangt af van diverse factoren, maar minder goed zal het zijn.
Traditionele cloud-offloading en hybride benaderingen hebben nadelen zoals latentie, verbindingsproblemen en privacyzorgen, wat de noodzaak voor lokale AI benadrukt
Vroege techbedrijven probeerden deze problemen te omzeilen door alles naar de cloud te offloaden, net als Siri of de Amazon Echo. Het apparaat zelf fungeert dan als een ‘thin client’ dat informatie doorgeeft tussen gebruiker en server.
Deze aanpak heeft zeker voordelen, maar introduceert ook nieuwe hoofdbrekens. Denk aan latentie bij gegevensoverdracht, problemen met de stabiliteit van de verbinding en, natuurlijk, privacykwesties. Niemand wil dat gevoelige gegevens onnodig de cloud in vliegen.
Er bestaat ook een hybride aanpak, waarbij zowel het edge-apparaat als de server de rekenlast delen. Je kunt je voorstellen dat de Edge AI-hardware een eerste analyse van de ruwe gegevens doet en de resultaten vervolgens naar de cloud uploadt voor definitieve bevestiging. Dit werkt ook, maar eerlijk gezegd voelt het alsof deze hybride oplossing de nadelen van beide benaderingen deelt. Je moet dan modellen zowel op de edge als in de serveromgevingen onderhouden. Dat maakt het complex.
Software-optimalisaties, zoals het trainen van compacte modellen, gewichtskwantificatie en pruning, zijn essentieel om AI-modellen geschikt te maken voor edge-omgevingen, hoewel dit vaak leidt tot afwegingen in nauwkeurigheid
Omdat een modern AI-model simpelweg niet zomaar op edge-hardware draait, moeten we creatief zijn aan de softwarekant. Hier komt het vakgebied van neurale netwerkmodeloptimalisaties om de hoek kijken, en het is momenteel een razend populair onderwerp.
Een van de eerste methoden is het van de grond af trainen van compacte modellen. Denk aan netwerken zoals SqueezeNet en MobileNet. Ze vervangen traditionele structuren door efficiëntere, om zo het aantal gewichten te verminderen. Hoe minder gewichten, hoe kleiner het model en hoe minder geheugen het nodig heeft. SqueezeNet claimde bijvoorbeeld AlexNet-niveau nauwkeurigheid met 50 keer minder gewichten en een compressie tot een half megabyte! Er zijn zelfs studies die suggereren dat neurale netwerkmodellen van nature groter zijn dan strikt noodzakelijk.
Dit brengt ons bij een tweede reeks methoden: het post-processen van een reeds getraind model. Neurale netwerken zijn in de kern grote matrixvermenigvuldigingen. Als je de matrices in een getraind model kunt verkleinen, nemen ze minder geheugen in beslag. Dit is het idee achter gewichtsquantificatie, waarbij we de manier veranderen waarop we modelgewichten opslaan – bijvoorbeeld van een 32-bits ‘floating point’ naar een 8-bits ‘fixed point’ formaat.
Een andere truc is het vermindering van de complexiteit door ‘pruning’. Hierbij verwijderen we redundante gewichten. Een onderzoek beweerde dat 95% van de gewichten in een neuraal netwerk sterk gecorreleerd zijn aan slechts een paar sleutelgewichten. Conceptueel kun je die overtollige gewichten verwijderen en toch veel van de nauwkeurigheid behouden.
Maar zoals altijd: je krijgt niets voor niets. Er zijn afwegingen tussen nauwkeurigheid en geheugen-/energieverbruik. Die 32-bits naar 8-bits truc kan bijvoorbeeld leiden tot een nauwkeurigheidsverlies van meer dan 12%. En helaas blijken de resultaten van verschillende optimalisatiemethoden vaak de verwachtingen niet helemaal te halen. Het blijft lastig om het effect van een optimalisatie op de prestaties en het resourcegebruik van een model te voorspellen.
Specifieke hardware-architecturen (CPU’s/MCU’s, GPU’s, FPGA’s en ASIC’s) bieden elk unieke voordelen en nadelen voor Edge AI, afhankelijk van de toepassing en vereisten
Naast software is de juiste Hardware voor AI cruciaal. Er zijn vier veelgebruikte hardwaretypes die geschikt zijn voor Edge AI: CPU’s, GPU’s, FPGA’s en ASIC’s. Geen van allen is perfect, ze hebben allemaal hun sterke en zwakke punten.
* CPU’s en MCU’s (microcontrollers): Deze kennen we allemaal. Denk aan een Raspberry Pi. Ze zijn eenvoudig te programmeren, veelzijdig, verbruiken weinig stroom en zijn vooral goedkoop. Het grote nadeel? Ze zijn niet erg parallel, zelfs moderne multi-core CPU’s niet. En moderne neurale netwerken vereisen juist veel parallelle bewerkingen. Toch kunnen zelfs kleine MCU’s met slechts 100 kilobyte RAM een model draaien als het klein genoeg is, mede dankzij projecten zoals TensorFlow Lite voor microcontrollers. De potentie van TinyML, dat geavanceerde machine learning op extreem beperkte hardware wil plaatsen, is enorm.
* GPU’s: Oorspronkelijk ontworpen voor gaming, zijn GPU’s massaal parallel en eenvoudig te programmeren dankzij platforms zoals NVIDIA CUDA. Dit maakt ze ideaal voor het trainen van nieuwe AI-modellen. Echter, hun extreme parallellisme maakt ze ook erg hongerig naar energie, wat ze minder geschikt maakt voor Edge AI-inferentietaken. De NVIDIA Jetson is een voorbeeld van een edge-geschikte GPU. Over het algemeen worden CPU’s en GPU’s echter niet altijd als de beste keuzes gezien voor pure Edge AI-oplossingen.
* FPGA’s (Field-Programmable Gate Arrays): Deze geïntegreerde schakelingen bestaan uit programmeerbare logische blokken die je kunt configureren en herconfigureren. Net als GPU’s zijn ze van nature parallel. Hun flexibiliteit is erg handig in AI-velden waar regels en algoritmes snel kunnen veranderen, zoals de autonome auto-industrie. Een ander voordeel is de energie-efficiëntie. Veel moderne FPGA’s hebben ingebouwde geheugenblokken (block RAM) om latentie en energieverbruik te verminderen. Het nadeel? Minder beschikbare geheugenbandbreedte en rekenkracht dan een GPU. Bovendien vereist het gebruik ervan specifieke ontwerpkennis, want talen als VHDL en Verilog zijn minder breed bekend dan C++ of Python.
* ASIC’s (Application-Specific Integrated Circuits): Dit zijn op maat gemaakte processors, ontworpen voor één zeer specifieke taak. AI-chips of AI-accelerators vallen hieronder. Het grootste nadeel is meteen duidelijk: de enorme investering in tijd en geld om zo’n chip te ontwerpen en te produceren. We praten over miljoenen dollars. En eenmaal gefabriceerd, kun je de architectuur niet meer veranderen, in tegenstelling tot FPGA’s. De meeste ASIC-fabrikanten proberen dit te omzeilen door te bouwen voor meer generieke functionaliteit. Gelukkig zijn er tal van interessante Edge AI-acceleratorproducten beschikbaar van leveranciers zoals Intel (Movidius Myriad X VPU), Google (Edge TPU via Coral), en NVIDIA (Tegra SoC’s). Daarnaast zijn er ook veel kleinere, gespecialiseerde bedrijven die indrukwekkende oplossingen bieden.
De toekomst van Edge AI ligt in een nauwere co-design tussen hardware en software, zoals hardware-aware neural architecture search, om de prestaties en efficiëntie te maximaliseren
Een van de grootste uitdagingen bij het leveren van Edge AI-oplossingen is het vinden van de balans tussen hardware en software. Ze zijn zo nauw met elkaar verbonden dat het aanpassen van het ene vaak gevolgen heeft voor het andere, wat de voortgang vertraagt. We moeten hier sneller in worden.
Een veelbelovend onderzoeksgebied is hardware-aware neural architecture search. Hierbij worden specifieke hardwarevariabelen in het neurale netwerkmodel zelf opgenomen, zodat het optimaal kan draaien op een bepaalde hardware, zoals een GPU of FPGA. Bij ASIC’s werkt dit minder goed, omdat de hardware zo breed kan worden aangepast.
Maar ASIC’s openen wel de intrigerende mogelijkheid van het gelijktijdig co-ontwerpen van zowel de hardware als de algoritmen. Dit is een beetje zoals ‘design technology co-optimization’, waarbij zowel het fabricageproces als het chipontwerp met het oog op gedeeld succes worden gemaakt. Dit heeft enorm veel potentieel voor de Edge AI-hardwaremarkt.
Massieve AI-modellen zijn krachtiger dan ooit, en we zien waar ze toe in staat zijn. Echter, Edge AI-hardwaremakers staan voor enorme economische en soms ook fysieke grenzen om deze modellen te accommoderen. In de tweede helft van de 20e eeuw ontketenden computers ongekende voordelen in industrie en handel. AI heeft het potentieel om hetzelfde te doen, maar als de hardware aan de ‘rand’ nooit een bevredigend punt bereikt, vrees ik dat het volledige potentieel van AI opgesloten blijft in de vluchtige cloud. Laten we hopen dat de industrie blijft evolueren en vooruitgang boekt!
—
Veelgestelde Vragen
1. Wat zijn edge-apparaten precies?
Edge-apparaten zijn verbonden met het internet, maar bevinden zich veel dichter bij de fysieke gebruiker dan grote datacenters. Dit omvat een breed scala aan apparaten, zoals robots, onbemande drones, externe sensoren, slimme huishoudelijke apparaten (zoals een Amazon Echo) en wearables zoals slimme horloges.
2. Waarom is het draaien van AI op edge-apparaten zo uitdagend?
De grootste uitdagingen liggen in de strikte beperkingen van edge-apparaten: energiebeheer, verwerkingssnelheid en geheugen. AI-modellen, vooral moderne deep learning-modellen, zijn vaak erg groot en vergen veel rekenkracht en energie, wat moeilijk te verenigen is met de beperkte middelen van edge-hardware.
3. Welke software-optimalisaties helpen AI-modellen om op edge-apparaten te draaien?
Er zijn verschillende software-optimalisatietechnieken. Het trainen van compacte modellen vanaf de basis (zoals SqueezeNet of MobileNet) vermindert het aantal gewichten. Daarnaast kunnen reeds getrainde modellen worden geoptimaliseerd door middel van gewichtsquantificatie (het opslaan van gewichten met minder bits) en pruning (het verwijderen van redundante gewichten). Deze methoden zorgen voor kleinere en efficiëntere modellen, hoewel dit vaak leidt tot een afweging in nauwkeurigheid.
