De pilotaanpak

Onze pilotaanpak bestond uit 2 fasen.

In fase 1 gingen we aan de slag met “backpackers”: collega’s die zelf aan de slag gingen met Copilot. Na een zorgvuldige evaluatie gingen we in de tweede fase meer gestructureerd aan het werk, waarin een “reisbureau” de reizigers intensief begeleidde.

Fase 1: de start van de pilot met back­packers

De fase van testen, leren, experimenteren, vragen stellen, kennis delen door een toegewijde groep AI- enthousiastelingen binnen de gemeente Breda. Met een rugzak vol ‘startbagage’ gingen de zogenoemde Backpackers aan de slag. 

In januari 2024 kwamen de eerste licenties voor Copilot beschikbaar en konden medewerkers zich aanmelden voor deelname aan de pilot. De Nederlandse variant van Copilot kwam in mei 2024 beschikbaar en toen konden we officieel van start.


Alle 150 beschikbare licenties vlogen als zoete broodjes over de toonbank en de groep was snel samengesteld. Deze eerste groep testers noemen we 'Backpackers'. Zij moesten wel wat bagage meenemen: dagelijks werken met M365-toepassingen, enthousiast zijn over AI en bereid zijn om meerdere uren per week te testen en plenaire sessies bij te wonen. Daarnaast werd van hen verwacht dat zij hun ervaringen deelden in een reisverslag.


Uiteraard zorgden we ervoor dat de Backpackers goed voorbereid op reis konden: wij verzorgden trainingen en inloopsessies waar vragen gesteld konden worden en we kwamen (online) bij elkaar - de eerste drie maanden wekelijks en later elke twee weken - om ervaringen en nieuwe functionaliteiten te delen. In een apart Teams-kanaal werden handleidingen gedeeld en een chatgroep opgezet waar medewerkers met elkaar in gesprek konden. Ook werd het platform 'De Promptenaar' in het leven geroepen om handige prompts met elkaar te delen. Zo creëerden we een community waarin collega’s elkaar konden helpen bij het werken met Copilot.


Na drie maanden stuurden we een enquête aan de Backpackers om hun ervaringen te delen. De resultaten van de 40 respondenten liepen uiteen. In grote lijnen werd het gebruik van Copilot als positief ervaren en zagen medewerkers potentie in de toepassing. Echter bleef het voornamelijk bij testen en was het gebruik van AI nog niet volledig geïntegreerd in hun dagelijkse routine. Omdat we ervan overtuigd waren dat we nóg betere resultaten konden behalen en we wilden dat deze slimme AI-assistent een vast onderdeel van het team werd, hebben we de begeleiding geïntensiveerd. We startten fase 2: het reisbureau.

Fase 2: het vervolg van de pilot met het reisbureau

De fase van begeleiden, verdiepen, samen ontdekken, routes uitstippelen en ervaringen verzamelen, onder leiding van een Copilot-specialist die als reisadviseur optrad. Vanaf augustus 2024 gingen collega’s op pad met hun eigen AI-reis, bestaande uit verschillende excursies. Alles wat zij onderweg tegenkwamen, legden ze vast in een gezamenlijk reisverslag.

Het reisbureau

Het reisbureau bestaat uit een franchisenemer (de projectleider), de product manager (de adoptiespecialist) en de reisadviseur (de AI-expert). Deze vaste crew wordt ondersteund door douanepersoneel (privacy- en security-officers). Zij hebben gezamenlijk de verantwoordelijkheid genomen om het hele proces rondom Copilot te begeleiden. Zij faciliteerden het hele proces, verzorgden de interne communicatie naar de hele organisatie en stroomlijnden het bestuurlijke traject. Zo zorgen ze ervoor dat medewerkers goed geïnformeerd en voorbereid zijn op de veranderingen die Copilot met zich meebrengt.

Het reisgezelschap

Tijdens de pilot is gebruikgemaakt van 150 licenties en het doel was om zoveel mogelijk verschillende rollen en functies deel te laten nemen om erachter te komen waar Copilot behulpzaam zou zijn. Daarbij werd geconstateerd dat veel functies overlappende takenpakketten hebben.


Zo heeft een beleidsadviseur jeugd bijvoorbeeld veel overeenkomsten met een beleidsadviseur gezondheid: ze schrijven beiden beleidsdocumenten, geven advies, nemen deel aan vergaderingen enzovoort. Dat is de reden dat het reisbureau rollen groepeerde in persona’s op basis van hun gedeelde taken.

Training

Collega's konden zich bij het reisbureau aanmelden wanneer ze deel wilden nemen aan een reis. Voordat de reisgezelschappen aan hun avontuur begonnen, kregen zij een pre-flight briefing. Dit bestond uit een deelname aan een verplichte training over Copilot en prompten.


In deze interactieve sessie van 1,5 uur kwamen zaken aan bod als:

  • Wat is AI?
  • Waarom werken met Copilot?
  • Hoe werkt Copilot?
  • Waar kun je Copilot voor inzetten?

Bovendien was een belangrijk onderdeel van de training het leren prompten. ‘Prompten’ is het geven van een opdracht of invoer aan een AI-systeem, zoals Copilot, om een specifieke reactie of output te krijgen. Prompten is dé vaardigheid van de toekomst en daarnaast dwingt de Europese AI-Act ons om onze medewerkers (en in de toekomst wellicht ook onze burgers) AI-geletterd te maken, zodat zij in staat zijn om AI te begrijpen, gebruiken en te evalueren. Kortom, genoeg reden om te investeren in de prompt-vaardigheden van onze medewerkers.

Reisplan met excursies

Een reis bestond uit excursies: een aantal dagelijkse taken die medewerkers uitvoeren binnen hun functie. In overleg werd besproken bij welke taken de reizigers ondersteuning kunnen gebruiken, welke werkzaamheden veel tijd kosten en welke taken zij als minder leuk ervaren. Vervolgens vertaalde de reisadviseur dit naar concrete oplossingen en beoordeelde hoe Copilot kan worden ingezet om deze processen efficiënter uit te voeren. Gemiddeld bestond een reis uit vier verschillende excursies. (Link naar reistemplate). De reisadviseur documenteerde alles netjes en legde elke taak waarvoor Copilot werd ingezet voor aan de Douane voor een privacy en security check.

Douanecheck

Tijdens de pilot van Copilot stond het waarborgen van privacy en beveiliging centraal. Vandaar dat het team Gegevensbescherming – de ‘douane’ – aan boord was om dit proces zorgvuldig te begeleiden. Alle geplande reizen en de bijbehorende excursies werden aan hen voorgelegd. Zowel een privacy als een security officer beoordeelden, ieder vanuit hun eigen expertise, de inzet van Copilot bij specifieke taken. Pas na goedkeuring door de douane werden de Copilot-licenties verstrekt en mochten de reizigers van start. Zo werd voorkomen dat er werd geëxperimenteerd met toepassingen die niet verantwoord waren. Ook is er een spelregeldocument opgesteld, genaamd de ‘reisvoorwaarden’. Hierin staan algemene regels die we samen hebben opgesteld over het gebruik van Copilot. Hierin staat bijvoorbeeld ook dat Copilot kan hallucineren en met volledige zekerheid een foutief antwoord kan geven, waardoor gebruikers altijd de output én de bronnen moeten controleren op juistheid.

Op reis

Gedurende zes weken kreeg het reisgezel­schap de kans om Copilot te testen op de gedefinieerde excursies.


Halverwege de reis werd een 1-op-1 vragensessie gepland, waarin de reisadviseur vragen van de reiziger beantwoordde en adviseerde over het verfijnen van de gebruikte prompts om de resultaten te verbeteren.


Daarnaast deelde het reisbureau wekelijks een tips & tricks-video en vonden tweewekelijkse terugkommomenten plaats voor alle deelnemers van de pilot.

De reisadviseur uitgelicht

De reisadviseur was het dagelijkse aanspreekpunt voor de reisgezelschappen. Hij had het overzicht op wat iedereen testte, voorzag in 1-op-1 consultatie, zorgde voor continue betrokkenheid en hield vinger aan de pols of alle activiteiten voldeden aan de privacy- en veiligheidsregels. Bovendien was een belangrijke taak van de reisadviseur het leren prompten, niet alleen tijdens de korte training aan het begin, maar ook gedurende de reis.


De kwaliteit van de prompt bepaalt namelijk in grote mate de kwaliteit van de output. Door details, context of een gewenste stijl toe te voegen, kun je AI meer richting geven en de output beter sturen, zodat het antwoord beter aansluit bij jouw wensen.


Voorbeelden van effectieve prompts kunnen collega's terugvinden in uitgewerkte usecases en tips & tricks video's, en zijn opgenomen in een promptbibliotheek.

Interview met Peter, de reisadviseur van Gemeente Breda

Kennis delen  

Om deelnemers zo goed mogelijk te begeleiden, organiseerde de gemeente online terugkommomenten. Deze bijeenkomsten waren bedoeld voor het delen van ervaringen, het beantwoorden van vragen en het toelichten van nieuwe functies binnen Copilot. Zo blijven medewerkers voortdurend op de hoogte van de laatste ontwikkelingen en kunnen zij Copilot optimaal inzetten. Ook werd in een speciale Teams-omgeving extra ondersteuning aangeboden in de vorm van:

  • wekelijkse tips & tricks-video’s;
  • de mogelijkheid om vragen te stellen;
  • presentaties over hoe Copilot werkt;
  • uitnodigingen voor (online) trainingen;
  • een promptbibliotheek.

Alle ondersteunende video's worden op de eigen SharePoint omgeving gedeeld: Digitaal Samenwerken. De trainingen worden binnenkort aangeboden via het LAB (Leer Academie Breda) en zullen twee keer per week worden aangeboden, één keer digitaal en één keer op kantoor.

Reisverslag

Na zes weken vond de eindevaluatie plaats. Het reisbureau besprak hoe de reizigers Copilot hadden ervaren, verzamelden de resultaten en brachten de geleerde lessen in kaart, de zogenaamde 'souvenirs' van de reis. Hiermee werd een schat aan informatie verzameld voor de volgende stap, namelijk de uitrol van Copilot door de hele organisatie. We kregen zo namelijk een duidelijk beeld van de kansen, een breed scala aan geteste toepassingen, inzicht in de kennis en behoeften van collega’s, en we wisten waarin Copilot uitblonk en waar nog verbeteringen nodig waren.

Volgende pagina

Reisverslag van de pilot