Podcast 6: Hoe kunnen we zorgen dat Data en AI de burger (be)dient?

Voice over: Je luistert naar de podcast Innovatie Deep Dive van Innoveren met Impact. Nieuwe technologische ontwikkelingen volgen elkaar in rap tempo op. Wij willen ontdekken wat de nieuwste trends zijn op het gebied van innovatie en welke van deze trends goed toepasbaar zijn binnen de overheid. Een twintigtal innovatieprofessionals van de Rijksoverheid bezoeken hiervoor Europa's grootste technologieconferentie: The Next Web, in Amsterdam. Wat is hun ervaring en waar zijn ze door geïnspireerd? Deze en andere prikkelende onderwerpen onderzoeken Diederik Van Leeuwen en Mark Dierkes van Innoveren met Impact in zes vraaggesprekken. Ik zou zeggen: duik met ons mee!

Mark Dierkes: Welkom bij de podcastaflevering over sturing. Dit is alweer de laatste podcast van een hele reeks. Ik ben wel benieuwd, we zijn aardig al in een richting gestuurd, maar is dat ook sturing?

Diederik van Leeuwen: Nee, dat is geen sturing. Waar wij het hier over hebben is een heel ander soort sturing. Ik weet, omdat we op een boot zitten, heb je een beetje het idee: sturen, varen, koers houden. Natuurlijk, dat heeft alles te maken met monitoring en bijsturen. Een leuke analogie, dat komt allemaal voorbij in de gesprekken. Waar het eigenlijk vooral om gaat is... Heel vaak wordt vergeten om te kijken van: wat levert dan zo'n innovatie, zo'n innovatietraject of innovatiemanagement, wat levert het op? We hebben het hier echt over... In een voorfase hebben we gehad over metrieken. Wanneer is iets een goed resultaat, maar wanneer ga je ook bijsturen? Wat we heel vaak vergeten is om op basis van die input die data ook te gaan bijsturen, aan te scherpen en te zorgen dat iets misschien een groot succes wordt. Meer dan...

Mark Dierkes: Bijsturen, stoppen, doorgaan?

Diederik van Leeuwen: Ja, we doen een hoop aan plannen, we doen een hoop aan de do, we doen een hoop aan act en checken, maar het echte monitoren, bijsturen en dat goed in de in de vingers krijgen, aan de goede knoppen draaien...

Mark Dierkes: En leren van briljante mislukkingen.

Diederik van Leeuwen: Daar hebben we nog te leren.

Mark Dierkes: Mooi, heel goed dan. Ik kijk uit naar het mooie gesprek dat ik ga hebben over sturing als laatste podcast.

Diederik van Leeuwen: De kers op de taart.

Mark Dierkes: Aan tafel ga ik in gesprek voor het thema sturing met Jaap Kooiker, Remco Draijer en Laurens Weijs. Welkom aan tafel. Om even goed een beeld te krijgen van jullie, wie jullie zijn, kunnen jullie jezelf even voorstellen? Jaap, kun jij beginnen? Graag ook wat kleur van wat je doet. Wat heb je met innovatie?

Jaap Kooiker: Ja, bedankt, Mark. Ik ben dus Jaap Kooiker, ik ben Strategisch Adviseur Innovatie NAI. Ik werk bij het Rijks ICT Gilde en dat valt onder het ministerie van Binnenlandse Zaken. In mijn werk houd ik me bezig met strategisch innovatiemanagement. Ik kijk wat dat betreft naar de organisatie als een geheel en stuur op het verhogen van de capaciteit om te innoveren. Daarbij komen onder andere zaken als volwassenheidsniveau, innovatie fitheid, groeipad en mensen en middelen aan bod. Dat is eigenlijk wat ik in het dagelijks leven, zoals wij het doen, om het zo maar te zeggen.

Mark Dierkes: Ervaart jouw gezin dat thuis ook? Vinden ze dat leuk dat je je daarmee bezighoudt?

Jaap Kooiker: Ja, ze vinden het leuk dat ik me daar mee bezighoud, want ik ben eigenlijk altijd wel met innovatie bezig geweest in het verleden, dus dit sluit goed aan bij wie ik ben en wat ik graag wil bereiken.

Mark Dierkes: Leuk, dank je wel. Remco, kun jij jezelf verder voorstellen?

Remco Draijer: Ja, dat kan ik zeker. Ik ben Remco Draaijer, Tech Consultant en Data Scientist bij het Rijks ICT Gilde. Ik doe nu een opdracht bij toeslagen. Ik heb me eigenlijk mijn hele werkende carrière met innovatie bezig gehouden. Wel met focus vaak op data NAI, maar ook bij het innovatieteam van SSC-ICT onder andere gezeten en later ook meegewerkt aan onder andere de STIP-methode, die ook onderdeel is van de Innoveren met Impact-methode.

Mark Dierkes: Mooi, leuk. Jullie horen hier als luisteraar misschien wel op de achtergrond... We zitten hier op een boot, hele mooie locatie, midden in de zon. Af en toe komt er nog wel een vliegtuig voorbij, komt er een meeuw langs of horen jullie wat ruis van wind. Dat hoort allemaal even bij deze hele mooie setting waarin we eigenlijk gelijktijdig wat we gehoord en gezien hebben, aan jullie terug gaan geven. Ik geef nog even het woord door aan Laurens. Kan jij je verder even voorstellen?

Laurens Weijs: Ja, natuurlijk, als laatste. Mijn naam is Laurens Weijs, net als mijn andere collega's werkzaamheid bij het Rijks ICT Gilde. Daar ben ik Data Consultant en eigenlijk heel specifiek ook meer een Data Engineer. Ik zit echt meer op de techniek. Aan de ene kant ben ik een data warehouse aan het bouwen, maar gelukkig heb ik ook een beetje wat van het strategische. Dan zit ik bij bijvoorbeeld Raad van de Kinderbescherming om daar advies te geven als het gaat om het gebied van data. Als het gaat om innovatie: thuis ben ik vooral met 3D-printers aan het spelen, maar ook met [onhoorbaar 00:04:42-00:04:42]. Ik vind het gewoon leuk om dingen te creëren en daarom ook heel leuk om hier te zijn.

Mark Dierkes: Mooi, dank je wel Laurens, voor het voorstellen. Dit is voor jullie de eerste keer dat jullie naar The Next Web zijn geweest en nog zijn. Ik ben heel erg benieuwd naar jullie eerste indruk. Ik voel heel erg de vibe, de energie, de locatie en het weer is natuurlijk geweldig, maar wat is jullie eerste indruk eigenlijk van The Next Web?

Jaap Kooiker: Ja, Mark, ik ben naar best veel evenementen geweest, maar dit evenement was wel even iets anders. Dat kwam ook door het mooie weer. We hadden echt voor mijn gevoel een soort festivalterreintje met food trucks en eettentjes, je kon overal drinken halen en je had binnenin inderdaad mooie zalen met veel presentaties en inspiratiemogelijkheden. Ik vond het wel heel erg leuk om te zien eigenlijk.

Mark Dierkes: Gaaf! Hebben jullie daar wat op aan te vullen? Wat was jouw indruk, Remco?

Remco Draijer: Jaap laat de sfeer al mooi zien, maar meer inhoudelijk ging het echt heel veel over AI. Heel veel tech optimisme ook over AI. Wat minder over de risico's en randvoorwaarden, denk ik, werd er gepraat. Stiekem heb ik ook wel veel gehoord over diversiteit, over de AI Act die eraan komt en dat soort zaken, dus ik was wel blij om dat toch wel ook te zien.

Laurens Weijs: Aanvullend op wat je zegt...

Mark Dierkes: Ja, Laurens.

Laurens Weijs: Er wordt alleen maar gepraat over ChatGPT inderdaad door alle mensen die aan het spreken waren. Ik moet zeggen, ik ben vooral heel veel naar de technische events geweest, dus dit was een heel erg inspirationeel event. Dat vond ik ook wel heel erg leuk en verrassend ook. Uiteraard de gekke pingpongtafels waar je zo tegen de muur naar elkaar toe moet spelen, of een sjoelbak met een looping. Dat zijn van die kleine dingen die het gewoon heel leuk maakten.

Mark Dierkes: Geweldig. Volgens mij werden er ook goede voorzieningen gedaan. Je kon overal koffie en thee halen. Wat me wel opviel: iedereen had wel dorst, dus de rijen... Ik kwam vorige keer ook al een paar keer terug om water te tappen, dat had wat meer gekund. Maar goed, daar hadden we ook weer leuke gesprekken met mensen in de rij voor.

Remco Draijer: Ja, alle start-ups hadden natuurlijk allemaal lekkere lokkertjes om even het gesprek aan te gaan, dus allemaal lekkere hapjes, lekkere koffie of andere dingen.

Mark Dierkes: Dat hebben ze heel goed georganiseerd. Heb je daar ook al veel gesprekken gevoerd?

Remco Draijer: Wel een aantal gesprekken gevoerd. Soms is het nog wel ver van toepasbaarheid voor de Rijksoverheid, maar dat is wel leuk om dat gesprek toch aan te gaan.

Mark Dierkes: Ja, daarom. We zijn bijna tot het einde van The Next Web, dus ik proef nog even. We pikken nog de laatste momentjes mee, dus die sfeer houden we even vast. The Next Web is meer gericht op start-ups voor bedrijfsleven. Innoveren bij het Rijk geeft soms ook altijd wel een andere dynamiek. Hoe ervaren jullie dat, als je ook kijkt naar het thema sturing? Sturing, monitoring, bijsturen, meta-analyse? Ik ben echt even benieuwd. We staan nu gericht stil bij dat thema, maar hoe hebben jullie dat ervaren? Wat is er gebeurd? Wat zijn jullie observaties?

Jaap Kooiker: De wereld is eigenlijk best wel veranderd, vrij drastisch ook wel eigenlijk. Ook op The Next Web waren heel veel start-ups en scale-ups te zien bij hun boots. Vooral diensten op het gebied van AI heb ik gezien, bijvoorbeeld privacy enhancing technologies, zoals AI-gestuurde synthetische data. Echt super zinvol voor als je het hebt over techniek echt, om daarmee te experimenteren en te operationaliseren. Als we het hebben over sturing en monitoring: hyper-personalization is ook voorbijgekomen.

Mark Dierkes: Hyper-personalization?

Jaap Kooiker: Ja, dat is eigenlijk steeds meer en dieper op de persoon zelf zaken afstemmen en dat is natuurlijk best wel interessant. We gaan een mooie tijd tegemoet, die diensten online nog beter afstemt op de ontvanger, het individu eigenlijk.

Mark Dierkes: Nog even, want je ging er even voorbij. Beter afgestemd, wat kwam daarin naar voren? Heb je daar beeld bij?

Jaap Kooiker: Nou ja, kijk, als je dat beter op het individu kunt afstemmen, bijvoorbeeld zorg, verzekeringen of andere zaken, dan is het natuurlijk fantastisch dat dit persoonlijker, sneller en efficiënter kan en dus ook kostenbesparend kan. Maar wat ik me afvroeg is: wie kijkt er eigenlijk naar verantwoorde inzet, security en archivering vanuit overheidsperspectief? Het stuk data governance.

Diederik van Leeuwen: Je geeft zoveel mooie informatie mee, maar dit vind ik wel zo belangrijk. Wat bedoel je daarmee? Dat wat je net aangaf? Security of...?

Jaap Kooiker: Kijk, we hebben eigenlijk als overheid gezegd dat het microtargeten van mensen, bijvoorbeeld in het adverteren, dat dat best een privacyprobleem is. Dat mag eigenlijk ook niet meer. Vanuit de commercie hoor je dus nu steeds meer hyper-personalization. Eigenlijk is dat ook een beetje een vorm van microtargeting, want je gaat steeds dieper kijken naar wat die persoon zelf als behoefte heeft. Dat is natuurlijk hartstikke mooi, want je kunt daar heel veel mee, maar je moet je inderdaad afvragen: op wat voor fronten moeten wij wel gaan kijken hoe we dit moeten gaan reguleren? Het kan best wel veel privacy-impact hebben op een bepaald persoon.

Mark Dierkes: We willen toch wel steeds meer meten en analyseren. Remco, wat wou je toevoegen?

Remco Draijer: Ik vroeg me af of we als overheid ook hyper-personalization kunnen toepassen, of is dat iets wat we in het kader van de Wet gelijke behandelingen wat moeilijker kunnen doen?

Jaap Kooiker: Dat is een hele goede vraag, want ik denk dat in theorie hyper-personalization best wel heel veel mooie dingen kan brengen, maar dat we wel heel erg moeten oppassen dat we er niet in doorslaan en dat het dus ook wel verantwoord moet gebeuren.

Mark Dierkes: Zien jullie al dingen terugkomen bij de Rijksoverheid die daar al mee bezig zijn? Ik bedoel, waar moeten we dan aan denken?

Jaap Kooiker: Nee, dat kan dus ook niet, omdat het wettelijk eigenlijk ook niet meer mag. We kunnen dat eigenlijk ook niet doen, microtargeting.

Mark Dierkes: Nee, maar ik bedoel het andere onderwerp wat Remco zegt. Wat kunnen we dan wel toepassen? Hoe zouden we daar mee om kunnen gaan?

Remco Draijer: Ik denk, als overheid proberen we natuurlijk heel veel te automatiseren, maar heel veel zaken zijn ook heel moeilijk te automatiseren. Dan is dat toch altijd een stukje maatwerk of menselijke tussenkomst dat moet terugkomen in het proces, zodat we wel die specifieke behoefte van bepaalde burgers in kunnen vullen.

Mark Dierkes: Jaap, jij wilde daar even op inhaken?

Jaap Kooiker: Ja, klopt. Ik kom toch weer bij een commerciële term: humanising tech. Eigenlijk is dat ook wel een beetje wat je aangeeft, Remco. Dat we altijd moeten blijven kijken hoe goed de technologie ook is en hoe goed die ook kan functioneren, dat het allemaal om de mens draait. In het geval van overheid draait dat inderdaad om de burger. We moeten de burger bedienen en hoe doen we dat technologisch zo goed mogelijk, op een verantwoorde manier? Dat daar leuke commerciële termen voor zij helpt dus ook in onze marketing, waar we mee bezig zijn.

Laurens Weijs: Ik denk ook wel dat we daar als overheid echt wel een stapje voor in lopen, dat we die ethiek echt overal proberen in terug te laten komen. We hebben bij ons allemaal ethiek officers lopen. Daar is gewoon een grote focus op, want we willen niet gewoon één tool die in één keer alles zou kunnen oplossen voor ons.

Mark Dierkes: Jij geeft al aan: binnen de overheid hebben we al aardig wat mensen met ethiek rondlopen?

Laurens Weijs: Ja, inderdaad.

Mark Dierkes: Oké. Remco?

Remco Draijer: Specifiek maakt dat het, denk ik, ook wel weer erg lastig om innovatie... Echt te innoveren als overheid, omdat je dus altijd rekening moet houden met de impact op burgers. Ook als je een keer een pilot wil gaan doen, dan wil je niet individuele burgers gaan schaden. Als je een product wil verkopen is het niet erg als het een keer niet lukt om een product te verkopen, maar dat is toch extra complex, denk ik, binnen de overheid.

Mark Dierkes: Oké. Laurens?

Laurens Weijs: Om daar op in te haken inderdaad. Precies, net zoals we de ethiek officers hebben, hebben we ook privacy officers, maar we moeten ook ruimte hebben voor innovatie. We moeten niet alleen maar vooraf denken: oké, niks kan of niks mag, of het is zoveel moeilijker. We moeten ook ruimte hebben om: laten we het gewoon lekker uitproberen en dan zien we wel wat eruit komt. Dan moeten we inderdaad wel echt een goed punt hebben, waar we zeggen: nu gaan we even evalueren en gaan we alles in overweging nemen, maar in ieder geval moeten we niet de deur helemaal dichtgooien.

Mark Dierkes: Wat zijn dan corrigerende maatregelen waaraan we kunnen denken? Als het dan doorgaat: oké, je wilt bijsturen, dus je moet echt wel ruimte geven, maar hoe stuur je dan bij zonder de energie te verliezen?

Laurens Weijs: Ten eerste moet er gewoon een... Dat je zegt: na drie maanden moeten we een gesprek hebben en dan moet je de juiste mensen aan tafel hebben. Dan zou ik bijvoorbeeld, als we alleen naar ethiek kijken: ga de bias bekijken in het model, in de data daar voor. Als we het puur hebben over een model of privacy, dan komt de AVG langs om even te checken van: maken we nu echt juist gebruik van de data of niet? Dat je in ieder geval wel dat eerste trajectje hebt, maar dan komt er een stopmoment en dan ga je met de juiste mensen aan tafel om het er over te hebben.

Mark Dierkes: Oké. Jaap?

Jaap Kooiker: Daar op aansluitend, Laurens, is dat wij ook steeds vaker bezig zijn in een traject om the whole system in the room te hebben, zodat je dichter aan het begin gaat kijken met de hele organisatie, in ieder geval die erbij betrokken is, of we wel de goeie dingen aan het doen zijn. Dat is voor de overheid in die zin ook heel erg belangrijk.

Mark Dierkes: Wat gebeurt er dan in zo'n sessie? Je zegt dan... Ik bedoel, dit snappen we. We zien steeds... We gaan het ook steeds meer met begrijpen, maar wat gebeurt er nou? Even een stapje dieper, wat gebeurt er dan in dat gesprek, net zoals wij hier ook het gesprek voeren?

Jaap Kooiker: Je hebt verschillende expertises aan tafel dan, dus wat Laurens ook zegt, we hebben een groot aantal privacy officers lopen nu. Voorheen werden die pas later in het traject aangehaakt en nu proberen we die sneller in het traject aan te haken, zodat we ook van tevoren kunnen bedenken of een bepaalde oplossing wel eigenlijk verantwoord is. Dat is één voorbeeldje, maar ook bijvoorbeeld technici. Die kunnen al heel snel aangeven of iets wel of niet mogelijk is, zodat je ook sneller iteratief kan werken en in die zin ook meer agile kan ontwikkelen als overheid.

Remco Draijer: In aanvulling daarop, Jaap. Ik denk: whole system in the room, ik denk dat je daar dan ook dan de burger bij moet betrekken. Dat is helemaal mooi, als we dat voor elkaar kunnen krijgen.

Jaap Kooiker: Ja, Remco, daar ben ik het helemaal mee eens.

Mark Dierkes: Dat zien we dan nog niet, maar wat gebeurt er dan hier? Ik bedoel wij nodigen onszelf ook uit. We zijn hier met elkaar op deze The Next Web, dus we staan nu wel in verbinding. Hebben jullie dit soort gesprekken dan ook al gehad, bij de start-ups, dan wel bij...? Hebben jullie daar iets over gehoord? Ik zie eventjes dat wij na moeten denken om het goede gesprek te voeren. Dat hoeft ook nog niet misschien. Kijk, wij zijn ook zoekende om elkaar goed te vinden en ook de verbinding te leggen. Dat is toch gewoon even ook een zoektocht. Hoe maken we die vertaalslag? Daarom zijn we hier ook, om te kijken wat horen we en hoe kunnen we die vertaalslag wat we hier horen, hoe we in contact staan, hoe doen we dat met elkaar? Hoe sturen we daar op?

Remco Draijer: Ik denk dat we in die zin toch nog wat kunnen leren van de start-ups en de commerciële sector. Dat werd ook gezegd, ik weet niet meer wie dat zei, maar op The Next Web: elke start-up, elke scale-up heeft customer first, dan de investers en pas later komen al die andere groepen, of die bestaan eigenlijk niet. Misschien zouden wij ook wel nog veel meer de burger eerst moeten plaatsen, ook bij de innovatie.

Laurens Weijs: Ja, Remco, daarop aanhakend, ik denk ook dat we inderdaad naar zo'n systeem moeten, dat we direct de klant of de burger eigenlijk als einddoel nemen, in plaats van dat we onze huidige processen gaan digitaliseren en eigenlijk misschien een heel log systeem aan het digitaliseren zijn. Die vraag, die innovatievraag: waar ben je nou echt voor bezig en gaan we het helemaal omgooien? Die moeten we zeker vaker stellen.

Jaap Kooiker: Ja, Laurens, ik ken jou wat langer al als vandaag. Je bent heel enthousiast natuurlijk, maar we doen natuurlijk al best veel met de burger en eigenlijk is iedereen altijd met de burger bezig. Dat kan natuurlijk nog veel meer en dat ben ik helemaal met je eens.

Laurens Weijs: Helemaal mee eens, Jaap.

Mark Dierkes: Zien jullie nog andere... Wat is jullie nog meer opgevallen vandaag?

Jaap Kooiker: Wat mij wel opviel is dat, en dat haakt ook een beetje aan in een verhaal dat ik laatst al een keer hoorde, als we bijvoorbeeld even een nieuw onderwerp, ChatGPT, als voorbeeld nemen. Dat is hier. Hoe dealen we als overheid hiermee? Dit is bereikt blijkbaar ook een probleem. Dit is blijkbaar ook een breder probleem. De potentie is enorm, maar er is ook veel om sceptisch over te zijn. Als overheid kunnen we eigenlijk wat mij betreft geen tijd verspillen om te gaan ontdekken ook. Nu zit je eigenlijk een beetje een impasse, dat je gaat zeggen van: we weten niet wat we ermee moeten. Moeten we er iets mee? Straks zijn we eigenlijk te laat. Onze processen van ontdekken tot begrijpen en reguleren duren best wel lang. Langer dan de exponentiële ontwikkeling die ChatGPT heeft. Ik ben bang dat als we als overheid hier té voorzichtig mee omgaan, dus eigenlijk niks doen of weinig, dat het straks vijf over twaalf is en we te laat zijn om hier op in te spelen.

Mark Dierkes: Dan gaan we hier... De bedoeling is ook wat we hier ophalen gaan we gelijk kijken om toe te passen. Wat zou er moeten gebeuren om volgende week te starten dan?

Jaap Kooiker: Ik denk dat we als overheid gewoon, dan kom ik weer met een fancy woord, maar regulatory sandboxes meer moeten inzetten en dat we meer moeten gaan kijken...

Mark Dierkes: Kan je heel kort even uitleggen wat dat betekent?

Jaap Kooiker: Dat betekent eigenlijk je in een gereguleerde, ik ga het nu vertalen...

Mark Dierkes: Heel goed.

Jaap Kooiker: In een gereguleerde omgeving ga je dus kijken naar nieuwe technologie en ook op een veilige manier met data om. In een kleine box, zeg maar, als het ware ontwikkelen en ontdekken, om te zien wat technologie kan betekenen en wat dat toe kan voegen.

Mark Dierkes: Wat weerhoudt ons dan om daar nu mee te beginnen?

Jaap Kooiker: Dat is een goede vraag, waar ik eigenlijk per se niet een antwoord op heb, want ik denk dat we dit gewoon moeten gaan doen. Ik denk alleen dat organisaties nu niet ingericht zijn, zowel technisch als operationeel niet, om dit direct op te pakken. Ook wellicht de verantwoording uiteindelijk, dat is ook nog een vraagstuk wat niet altijd heel duidelijk is.

Mark Dierkes: Verantwoording voor wat? Dan heb je het toch over data, we hebben dan... Ik bedoel, we hebben vakdepartementen, dan heb je het over een beleidsthema, dan heb je het over data, over een beleidsthema waar je wat mee moet.

Jaap Kooiker: We werken te veel in silo's, denk ik. Er zijn best wel veel operationele clubs, als ik het zo zeg, die dingen willen oppakken. Maar waar landt het dan? Wie legt er verantwoording voor af? Wie pakt het op als het een succes of een failure is? Dat is iets waar we beter over na moeten denken, het managementstuk eigenlijk.

Laurens Weijs: Daar ook een beetje op aanhakend, Jaap. Ik denk ook wat er heel vaak gebeurd is vanuit de overheid, dan gaan we een inkooptraject in van: we hebben dit nodig en dat is een vast gegeven. Zoiets als ontwikkeling of een machinemodel trainen, je weet niet wat er voorafgaand gaat gebeuren, hoeveel het gaat kosten. Misschien dat je maar een grens moet aangeven en gewoon lekker gaan doen en op een gegeven moment wel de stekker er uit kunnen trekken en ieder geval een exit-plan hebben. Laten we het maar gewoon doen, ondanks dat we niet weten wat eruit gaat komen, of wat de kosten gaan zijn.

Mark Dierkes: Je triggert mij wel, van: laten we maar even beginnen. Kijk, ik leg even de verbinding. We hebben heel veel... Bij heel veel grote projecten en trajecten gebruiken wij de gateway review. Dat doen we al tientallen jaren. Of tientallen jaren, een dikke tien jaar. We hebben wel 500-600 trajecten op zijn minst al gehad, dus ik hoor hier eigenlijk nieuwe ingrediënten op de gate reviews. Of daar misschien andere ingrediënten in terug moeten komen om grote trajecten te beoordelen, zowel, wat je eerder misschien zei, op ethiek, als naar kosten. Hoe doen we dat nou in trajecten met gateway reviews, hebben we daar leerervaring op? Ik denk dat dat wel een goeie vraag is. Ik heb dat nog nergens teruggezien, dus die neem ik graag mee terug om binnen onze organisatie eens naar te kijken.

Mark Dierkes: Ik zag ook... Wat mij opviel in een sessie waar ik bij was, ik probeer ook even te zoeken naar... Die persoon die noemde het meer een way of working, dus we gaan naar een nieuwe way of working toe die we aan het ontdekken zijn gedurende de rit. Daarin hebben we een aantal ingrediënten nodig waar we op gaan letten. Bijvoorbeeld de kosten is er één, ethische vraagstukken, andere punten, maar daar hebben we nog geen handvat voor. Ik denk dat we misschien een paar, als wij slim nadenken, randvoorwaarden makkelijk kunnen bedenken om toch heel snel te kunnen starten. Van: let daar op, let daar op, let daar op, en als we dat hebben, dan hebben we misschien iets in handen, om wél met die... Je noemde daar die Engelse term die ik niet kan herhalen, Jaap, maar de box waarin we dan werken.

Jaap Kooiker: De regulatory sandbox.

Remco Draijer: De regulatory sandbox.

Mark Dierkes: Dank je wel.

Jaap Kooiker: Ik wou er nog even op aansluiten. Ik denk dat we als overheid ook... Kijk, wij hebben publiek geld wat we besteden moeten. Ontdekken, experimenteren en nieuwe technologie in gebruik nemen kost geld en hoeft niet per se altijd goed te gaan.

Mark Dierkes: Dat is verspilling, hè? Alle burgers vinden dat we veel te veel verspillen.

Jaap Kooiker: Ja, maar dat is dus de vraag, want je kan je moreel -ja, een morele kwestie- afvragen of, als wij niks doen met de nieuwe technologie, dat later niet tot meer verspilling leidt, omdat we dan een inhaalslag moeten maken. Kijk, projecten kunnen falen of een succes zijn, maar er zullen altijd ook projecten zijn die wat minder goed presteren of waar iets anders uit kan uitkomen als we dat we dachten.

Mark Dierkes: Dit kwam ook even wel terug in de vorige podcast bij sociaal over communicatie. Wat ik hier ook proef, is dat we heel strak ook moeten gaan inzetten over verwachtingsmanagement. Die verwachtingen, wat leveren we dan? Welke prestaties leveren we dan? Wat neemt de burger? Wat neemt onder het hele bedrijfsleven dan waar? Als die drie in verhouding staan, dan levert dat ook vertrouwen op. Ik denk dat we ook meer dan dit moeten uitleggen.

Jaap Kooiker: Ja, communicatie dus.

Mark Dierkes: Ja, want net... Volgens mij hebben we dan even keken naar de way of working en in een sessie kwam het nog even terug op... Het viel mij op dat we veel meer terug moeten naar een chief product owner. Over een thema, of over oppakken. Om nieuwe dingen op een manier op te pakken die we departement-overstijgend moeten faciliteren. Hebben jullie daar ook nog beelden bij meegekregen, of zeg ik nu iets van: nou, daar gaat even geen lampje branden. Dat kan ook natuurlijk.

Remco Draijer: Nou ja, chief product owner. Ik denk vanuit Innoveren met Impact dat wij juist denken aan de innovatiemanager, die als een soort chief productowner mogelijk over alle innovatieprojecten meedenkt. Het wordt misschien wat complex als dat over departementen heen gaat, maar binnen departement lijkt me dat een hele mooie rol.

Mark Dierkes: Oké, misschien wel een goed idee. Ja, Laurens?

Laurens Weijs: Daar ook een beetje op inhakend. Ik zou ook tegelijkertijd niet dat we innovatie als een project of alleen maar één traject, een lineair traject, zien. Waarom limiteren we alleen maar innovatieve projectjes? Dat die in die regulatory sandbox zouden mogen spelen? In principe zou je iedereen van bijvoorbeeld een hele afdeling daarmee kunnen laten spelen, want innovatie kan overal vandaan komen. Dat hoeft niet alleen maar van een specifiek project, dus dat zou ik willen meegeven aan zo'n mogelijke innovation manager dan.

Mark Dierkes: Oké, dank je wel. Natuurlijk, dat is mooi. Hebben jullie nog andere thema's gezien of andere onderwerpen wat je even wil delen? Ja, Remco.

Remco Draijer: Ik had nog wel één mooi verhaal gehoord van Jim Adler van Toyota Ventures. Eigenlijk de venture capital van Toyota. Die geeft dan heel veel miljoenen weg aan interessante start-ups en die had het nog over zijn rol. Wat voor rol heb ik nou om al die start-ups te sturen? Dus hij zegt: het is wel belangrijk om ze toch strak te houden, ook om ze hele duidelijke kaders mee te geven. Hij zei, een mooie quote: ik moet zorgen dat ik het verschil duidelijk maken over what is real, what is hope and what is fantasy? Dus ook... Als je het hebt over monitoren, ze moeten gewoon met duidelijke resultaten kunnen komen, het tonen van cijfers en niet alleen maar op gevoel kenbaar maken: we zijn hier mee bezig. Ik denk dat dat een hele mooie rol is, ook voor een innovatiemanager binnen het ministerie.

Mark Dierkes: Remco, dat is een mooie uitspraak om dit onderdeel mee af te ronden. Ik ben ook nog echt even benieuwd van wat heb je gezien of gehoord waarvan je denkt: ja, daar kunnen we mee. Of, ik heb het liever nog wat harder: daar móeten we wat mee. Wat zijn echt concrete oplossingen, voorbeelden, beschrijvingen? Laurens?

Laurens Weijs: Wat al heel erg als thema naar voren kwam, wat we in het begin ook hadden gezegd, is natuurlijk AI en ChatGPT. Zeker ChatGPT in combinatie met een unieke data source, met onze eigen specifieke overheidsdata, daar kunnen we echt mooie dingen mee doen.

Mark Dierkes: Wat voor mooie dingen kunnen we daarmee doen dan?

Remco Draijer: Dat zal ik je vertellen, Mark. We gaan binnenkort een innovatieprojectje starten. Écht, écht een experimenteerfase, maar we gaan kijken wat we kunnen doen voor het automatisch samenvatten van beleidsdocumenten of van vergaderverslagen, dat soort onderwerpen. Om te kijken of dat inderdaad er voor zorgt dat je niet straks meer alle stukken hoeft te lezen, maar alleen een mooie samenvatting kan doornemen.

Mark Dierkes: Kijk, dát maakt het werk wel heel interessant voor heel veel collega's. Ja, Remco?

Remco Draijer: Ik persoonlijk zie ook heel veel risico's en heel veel mogelijk nadelige effecten daarvan. Dat is het mooie van innovatie, dat gaan we...

Mark Dierkes: Wat voor nadelige effecten of risico's zie je dan?

Remco Draijer: We kennen bijvoorbeeld het hallucineren van feiten. Heel overtuigend kunnen zulke modellen vertellen en een samenvatting maken, waar gewoon onjuistheden in zitten. Als we daar echt vanuit gaan, als we dat soort modellen gaan gebruiken en we zeggen: dit is goed genoeg, dan moeten we wel zeker weten dat dat soort dingen niet gebeuren.

Diederik van Leeuwen: Dus het raakt ook echt weer het meten, het analyseren, maar we moeten daar ook heel strak zijn in de randvoorwaarden om daar echt op te gaan sturen. Dus wat zijn dan... Dus we moeten nu nieuwe stuurindicatoren hebben. Hoe doen we dat dan? Waar letten we dan op als we dat automatisch genereren? Wat zijn... Want anders vallen we in slaap.

Remco Draijer: Ik denk dat we dus... Dat is heel erg afhankelijk van de use case. Ik denk dat het heel belangrijk, heel heel belangrijk is: hoe goed presteert het algoritme? Het is niet alleen maar: hoe vaak heeft een algoritme het goed, maar ook: hoe vaak heeft dat algoritme het fout en wat voor effect heeft dat dan?

Mark Dierkes: Ja, dus daar komen echt weer... Daar komen echt vernieuwende inzichten en ook weer ingrediënten om op nieuwe manieren te gaan sturen komen daaruit naar voren.

Remco Draijer: Daar hebben we zeker geen vaste KPI's voor nog, waar je daarmee op kan checken. Je weet niet of... Er is niet één nummer dat je kan aangeven van: oké, het model is niet... Is bias, of het model functioneert niet.

Mark Dierkes: Dit zorgt wel voor heel veel mensen, denk ik, dat ze echt denken van: wat komt er op ons af? Hoe gaan we dit nu doen? Dat zorgt ook voor een basisgevoel weer in cultuur en in het sociale, van een onveilig gevoel, niet in controle zijn. Dat benadrukt nog steeds meer dat we aan het vertrouwen moeten werken, aan de verwachtingen en dat wel gecontroleerd moeten doen in een vorm...

Remco Draijer: Daarom zijn ook thema's als uitlegbaarheid bijvoorbeeld heel belangrijk. Voor hele specifieke use cases is dat misschien veel minder nodig, maar ik denk als burger dat we dat... Of als overheid. Ik denk dat we als overheid daar toch extra naar moeten kijken.

Mark Dierkes: Uitlegbaarheid, heb je daar beelden bij? Hoe gaan we dat dan uitleggen?

Remco Draijer: Nou ja, uitlegbaarheid... Hoe komt een algoritme of hoe komt een AI tot zijn beslissingen? Dat moeten we toch heel concreet kunnen uitleggen en ook aan een burger. Dat vergt een andere manier van uitlegbaarheid dan dat je de technische aspecten uitlegbaar wil maken, of dat je het voor techneuten of onderzoekers uitlegbaar wil maken.

Mark Dierkes: Ja, dus dit raakt ook alle collega's die eigenlijk nu binnen de Rijksoverheid werken, maar ook samen met de burger, met de start-ups en met het bedrijfsleven, dat we hier nieuwe handvaten voor creëren. Kwamen we al wat onderwerpen tegen hoe we dat kunnen doen?

Remco Draijer: De AI Act is heel vaak voorbijgekomen. Ik denk dat daar heel veel in staat. Ik denk dat dat een hele mooie stap vooruit is. Dat was ook wel opvallend, dat veel starters daar nog niet zo heel bewust van waren. Dat vind ik wel iets grappigs om mee te nemen.

Mark Dierkes: Oké, dus daar heb je veel toe... Heb je in elk geval wat meegegeven. Naast dat we ophalen kwamen we mooi in gesprek dus eigenlijk.

Remco Draijer: Of we moeten toch als overheid nog meer communicatie ook naar het ecosysteem brengen.

Mark Dierkes: Dat is een mooie boodschap die we zeker terug kunnen geven, denk ik. Laurens, heb je nog andere mooie voorbeelden?

Laurens Weijs: Nee, niet specifiek.

Mark Dierkes: Nee? Oké, dan kijk ik even naar Jaap. Heb jij nog ervaringen, concrete dingen? Waar lopen we al tegenaan, die we nu al in de praktijk doen? Wat heb je een beetje gezien?

Jaap Kooiker: Een klein bruggetje op wat Remco net zei is dat, en als we toch hebben over het onderwerp sturing, dan kunnen we kijken op verschillende niveaus. Wanneer ik dan kijk naar strategische sturing vanuit de overheid, komt dat vaak neer op sturen, voor z'n eigen werknemers, op een veilige werkomgeving, inclusiviteit en op de kracht van de mensen. De sociale innovatie, maar als overheid hebben we natuurlijk ook nog onze burger en daar gelden die drie zelfde waarden eigenlijk ook voor. Wat Remco net ook zegt, het stukje communicatie daarin en ook naar onze MKB, om het zo maar te zeggen, onze scale-ups en onze start-ups, die eigenlijk niet precies weten waar de overheid mee bezig is. Ook in het kader van reguleren is dit wel een belangrijk stukje waar we op kunnen sturen en monitoren, denk ik.

Mark Dierkes: Dat vind ik wel een heel mooi zicht, Jaap, wat je ons teruggeeft. Heb jij nog een laatste, één van de laatste punten om toe te voegen?

Jaap Kooiker: Remco, ik wou toch even terugkomen op die AI Act. Zou je daar -ik weet niet of dat voor iedereen duidelijk is thuis wat het is- nog iets over kunnen uitleggen?

Remco Draijer: Dat is de Europese wetgeving die eraan komt. Die wordt waarschijnlijk begin 2025 gaat die... Treedt die in werking en daarin worden hele strenge regels gesteld voor algoritmes of AI-systemen. Daar vallen zeker generatieve systemen zoals ChatGPT onder.

Mark Dierkes: We hebben het al gehoord nu dan, hè? Daar moeten we dus... Die moeten we dus heel goed in de gaten houden. Remco, dank je wel even voor deze toelichting. We komen nu tot de afsluiting en als we tot de afsluiting komen, wat is... Gaan jullie ook mee naar de next Next Web of wat moeten we echt toepassen? Hebben jullie nog een take away, een uitsmijter of een metaverse beeld die we kunnen vasthouden?

Jaap Kooiker: Ik denk... Ik heb een heleboel beeld, alleen ik denk één dingetje is wel zeker: de ontwikkeling van AI stopt niet, hoeveel wij ook gaan reguleren. De vraag is of wij het als overheid kunnen bijbenen en hoe we hier verantwoord kunnen sturen, monitoren en kunnen communiceren over wat er allemaal bestaat en ontwikkeld wordt.

Mark Dierkes: Dat is echt waar we mee aan de slag moeten?

Jaap Kooiker: Ja, ook naar onze burgers en onze ondernemingen, zeg maar.

Mark Dierkes: Mooi. Remco heb jij nog dat je iets mee wil geven aan ons?

Remco Draijer: Mark, je zit hier natuurlijk met drie techneuten aan tafel, maar eigenlijk wat ik meeneem is iets anders dan een technisch aspect. Ik denk met name het ondernemerschap van al die start-ups en van alle andere bedrijven die daar zaten, daar kunnen we als overheid echt nog wat van leren. Dat zouden we eigenlijk veel meer, ook als eigenschappen moeten... Misschien wel mensen moeten aannemen met dat soort eigenschappen.

Mark Dierkes: Geweldig. Laurens, tot slot.

Laurens Weijs: Ik vind het ontzettend inspirerend en ik denk... Mijn handen jeuken om er eigenlijk al iets mee te doen en ik denk dat we ook als overheid gewoon inderdaad meer in staat moeten stellen. Dat we gewoon lekker dingen doen en dat is eigenlijk het enige wat ik echt wil zeggen.

Mark Dierkes: Geweldig. Ik heb genoten van dit gesprek. Ik heb ook nog weer nieuwe dingen gehoord die ik daar niet gehoord heb, dus daar wil ik jullie als tafelgast heel erg voor bedanken.

Jaap Kooiker: Jij ook bedankt, Mark.

Remco Draijer: Dank je wel, Mark.

Laurens Weijs: Dank je.

Diederik van Leeuwen: Dat brengt ons aan het eind van deze podcastserie, die Mark en ik met heel veel plezier voor jullie geproduceerd hebben. Dat had natuurlijk niet gekund zonder de fantastische support. We zijn vandaag de hele dag rondgevaren door rederij Nassau -een beetje reclame moet kunnen- met schipper Steven en met onze horecaondersteuning van Bo. We zijn heel goed verzorgd vandaag, dus applaus daarvoor. Onze collega Wendy heeft ons de hele dag, ook gisteren en eerder, ondersteund met alle communicatie en goeie tips en tricks. Natuurlijk, last, but zeker not least, Academy Pictures, onder de bezielende leiding van Mike Kasbergen. Toepasselijke naam ook, Mike, ik dank je wel. Jij hebt met ons ook opgetrokken twee dagen en ik ben wel benieuwd naar jouw indruk van deze podcast.

Mike Kasbergen: Ik vond het verschrikkelijk! Nee hoor, grapje.

Diederik van Leeuwen: Alles opnieuw!

Mike Kasbergen: Nee, ik heb echt genoten van alle gesprekken en ik ben er zelf ook wel wat wijzer van geworden, ondanks dat ik niet bij The Next Web aanwezig ben geweest. Dank voor jullie podcastserie, want daarmee heb ik eigenlijk ook, en hopelijk ook heel veel luisteraars, heel veel meegekregen.

Diederik van Leeuwen: En toch een goed beeld gekregen?

Mike Kasbergen: Zeker!

Diederik van Leeuwen: Als dat gelukt is, dan zijn we geslaagd. Mark, wij hebben straks nog even een after talk. Steven?

Steven: Ja?

Diederik van Leeuwen: Jij hebt, dat vertelde je me net even zo in het gangpad, toch een heel ander beeld kregen van rijksambtenaren, of niet?

Steven: Voorheen heb ik wel eens, in een grijs verleden, met rijksambtenaren mogen samenwerken in de zakelijke dienstverlening. Dit is de eerste keer weer sinds vijftien jaar dat ik rijksambtenaren van dichtbij mag meemaken, en ik moet zeggen: de flexibiliteit is in die tijd behoorlijk toegenomen.

Diederik van Leeuwen: Goed om te horen, dus we zijn toch wat innovatiever geworden met elkaar?

Steven: Absoluut!

Diederik van Leeuwen: Hartstikke mooi! Dank jullie wel en op naar de next Next Web.

Voice over: Dit was de zesde en laatste aflevering van de podcastserie Innovatie Deep Dive. Wil jij meer weten over innovatiemanagement binnen de Rijksoverheid, of wil jij de podcast eens op je gemak nalezen in een artikel? Ga dan naar onze website rijksorganisatieodi.nl en klik door naar het thema Innoveren met Impact.