Ontwikkelen en testen ===================== In deze stap vindt de ontwikkeling van het algoritme of de AI-toepassing plaats. Hierbij moet voldaan worden aan de opgestelde requirements, het interne beleid en wet- en regelgeving. Denk hierbij aan: requirements en inkoopvoorwaarden, interne AI ontwikkel- en testrichtlijnen, maar ook: het vastleggen van technische documentatie, logs, transparantie en het uitvoeren van een conformiteitstoets (bij hoog risico algoritmen onder de AI verordening). Samenvatting: In deze stap vindt de ontwikkeling van het algoritme of de AI-toepassing plaats. Hierbij moet voldaan worden aan de opgestelde requirements, het interne beleid en wet- en regelgeving. Denk hierbij aan: requirements en inkoopvoorwaarden, interne AI ontwikkel- en testrichtlijnen, maar ook: het vastleggen van technische documentatie, logs, transparantie en het uitvoeren van een conformiteitstoets (bij hoog risico algoritmen onder de AI verordening). Gerelateerde kenniskaarten: --------------------------- Kaart 1: Testen Wanneer je het algoritme of de AI-toepassing hebt ontwikkeld, kun je daarna overgaan tot het testen hiervan. Voldoet de toepassing aan de verwachtingen en de gestelde kwaliteit? Is er geen sprake van bias, of drift, of te veel hallucinaties, etc.? Zijn alle mitigerende maatregelen uit de vorige fase goed geïmplementeerd? Voldoet het aan het functioneel (architectuur) ontwerp en de use case beschrijving? Zijn de beveiligingsmaatregelen die voortvloeien uit de privacy risk assessment (of DPIA) in werking? In de testfase kun je bijvoorbeeld gebruik maken van de instrumenten: bias detectie tool, toetsingskader risicoprofilering, algoritme management toolkit en AI impact assessment (AIIA). Link: /knowledge_card/Testen Kaart 2: Instrumenten en kaders voor verantwoorde ontwikkeling van AI en algoritmen Om AI en algoritmen op een verantwoorde manier te ontwikkelen, zijn diverse instrumenten en kaders ontwikkeld door o.a. ministeries en het College voor de rechten van de mens. Deze instrumenten beschrijven de risico's voor bijv. bias of discriminatie en welke maatregelen je kunt nemen. Bijgevoegd zijn enkele voorbeelden: non-discriminatie by design, implementatiekader verantwoorde inzet van algoritmen, onderzoekskader algoritmes, fairness handbook, algoritmekader en de ALTAI Link: /knowledge_card/Instrumenten-en-kaders-voor-verantwoorde-ontwikkeling-van-AI-en-algoritmen Kaart 3: Registratie algoritmeregister In het algoritmeregister publiceren Nederlandse overheidsorganisaties informatie over algoritmes die zij gebruiken in hun werk. Het register focust op impactvolle algoritmes (waaronder hoog risico AI-systemen volgens de AI-verordening) en geeft de bezoeker inzicht in hoe deze algoritmes werken. Impactvol zijn bijvoorbeeld de algoritmes die rechtsgevolgen hebben voor mensen, of die zorgen dat de overheid mensen classificeert. Denk aan het identificeren van mensen die recht hebben op bepaalde voorzieningen, zodat de overheid proactief hulp kan bieden. Je vindt het algoritmeregister hier: Het algoritmeregister van de Nederlandse overheid Verschillende gemeenten hebben ook een eigen algoritmeregister, zie bijvoorbeeld: Algoritmeregister Rotterdam - Algoritmes Rotterdam . Ook houden diverse gemeenten een intern algoritmeregister bij, waarin bijvoorbeeld ook laag-risico algoritmen worden beschreven, dit draagt bij aan de interne vindbaarheid en transparantie. Link: /knowledge_card/registratie-algoritmeregister URL: /knowledge_card/Ontwikkelen-en-testen Type: knowledge_card