Kunstmatige intelligentie, een experiment en ethiek (deel 1)

Weblogbericht | 14-11-2022 | Rijks ICT Gilde

De spiegel

Laten we bij het begin beginnen. Dit is geen ‘hoe maak ik een smart mirror-gids?’ want die zijn er al genoeg. Wij zaten vast aan een tijdslimiet, en wilden daarnaast geen volledige monitor slopen en er een behuizing omheen zetten, waardoor we andere keuzes maakten. Voor onze spiegel kozen we dus voor een monitor met hieraan gekoppeld een Google Coral Dev Board waarop MediaPipe

draait welke realtime een gezichtherkennings machine learning model draait. De resultaten van het model, de zekerheid dat er een gezicht voor de camera wordt herkend, worden samen met een begrenzingsvak om het gezicht heen geprojecteerd op de monitor.

Ons boodschappenlijstje:

• Coral Dev Board
• Coral Camera
• Monitor
• HDMI-kabel
• USB-C naar USB-kabel
• USB-oplader
• Micro SD-kaart
• One-way spiegelfolie

Stap voor stap

1. Volg de Getting Started Guide van de Dev Board, om Linux Mendel en de Mendel Software op de Dev Board te installeren. Linux Mendel is een specifieke Linux Distro die gemaakt is voor Google Coral-apparaten. Mendel is een softwarepakket waarmee je vanaf je computer connectie kunt maken met de Dev Board.

2. Installeer de camera met deze camerainstallatiehandleiding. Test met deze handleiding ook meteen of de camera en de gezichtsherkenning het goed doen door een model te laten runnen op de TPU van de Google Coral.

3. Pas het model aan naar jouw wensen. Wij wilden eerst MediaPipe toepassen, zoals in deze GitHub-repo beschreven staat, maar ik kreeg het niet goed in staat om de MediaPipe build te bouwen (via de website van MediaPipe is dit momenteel ook experimental). Echter, tijdens ons experiment heb ik de demo van Coral aangepast, zodat deze alleen het vierkantje plotte op het scherm als output. Je kunt op mijn GitHub Repository kijken hoe dat eruitziet.

4. Plak met lijm spiegelglas op de monitor om de monitor iets meer op een smart mirror te laten lijken.

5. Print met een 3D-printer de modellen voor een kastje voor de Dev Board-behuizing en de camerabehuizing zodat je niet los hoeft te gaan met ductape.

Learnings

Werken met Edge TPU is ontzettend makkelijk met de Coral Dev Board. Ik heb ook weleens gewerkt met een Raspberry Pi met een camera, maar daar haalde je de tien frames per seconde niet. En al helemaal niet met de betere, grotere modellen. De Dev Board had geen enkel probleem met de top notch light-modellen met 70 frames per seconde. Het is dan ook een groot plezier om Tensorflow-modellen in productie te brengen op de Coral Dev Board. Je kunt een model maken in Tensorflow en deze exporteren naar een Tensorflow-Lite model, dat direct ondersteund wordt op de Coral Dev Board. Tot slot, mijn laatste learning van dit experiment: MediaPipe is een fijn framework om live- en streamdata als input te gebruiken met een Tensorflow model, dit framework kan ook direct in een Tensorflow-lite model worden omgezet waardoor deze ook direct naar de Edge TPU gebracht kan worden en dus heb je een end-to-end oplossing in Tensorflow-Lite op de Edge TPU.

Meer weten en informatie

Wil je meer weten over de technische set-up van de RIG-spiegel op May Contain Hackers, neem dan een kijkje op de GitHub van Laurens.

Vragen over ethiek (en het dialoog aangaan hierover)? Stuur een berichtje naar Laurens, Marjolein, Willy óf RIG@Rijksoverheid.nl