Microsoft wil ai naar de microcontroller brengen

Microsoft Research werkt aan een set gereedschappen om getrainde machine learning-modellen te kunnen gebruiken op iot-bordjes en microcontrollers. Embedded devices hebben voor veel van de huidige ai-vraagstukken te weinig rekenkracht aan boord en moeten vaak een cloud-back-end inschakelen. Microsoft ziet echter verschillende aanknopingspunten om het toepassen van getrainde modellen op de devices zelf te doen, alhoewel het zware trainingswerk voorlopig op een volwaardige computer gedaan moet worden.

De softwarereus heeft twee verschillende aanpakken. De eerste gaat om tools waarmee deep learning-netwerken met een factor tien tot honderd ‘gecomprimeerd’ kunnen worden. Daarvoor worden verschillende bestaande methodes gebruikt. Zo is het bij eenmaal getrainde netwerken helemaal niet nodig om berekeningen nog in floating point te doen, vaak zijn 8 bit integers al afdoende – in sommige gevallen zelfs enkele bits. Ook is er veel redundantie in de netwerken waardoor een deel van de berekeningen vaak achterwege gelaten kan worden.

Met dit soort technieken kunnen denkt Microsoft dat veel praktische netwerken naar devices zoals de Raspberry Pi of de high-end Cortex-M7-microcontroller te brengen zijn. De tweede aanpak mikt echter op nog veel beperktere hardware, zoals de Cortex-M0 van de Micro Bit of de 8 bit Atmega-microcontrollers in de Arduino.