Stap 6
Impactanalyse
Deze stap gaat over het meten van de impact. Dit doen we door het behaalde resultaat te vergelijken met je aanvankelijke opzet en geformuleerde doelstellingen. Reflecteer op de sociale waarden en ethische principes en hoe ze naar voren komen in de resultaten van je project. Je zult ook moeten nadenken over het vervolg van je sensingproject, zodat het van waarde blijft voor de stad.
Uiteindelijk zouden sensing-projecten moeten gaan over het co-creëren van sociale impact samen met het publiek. Je zult op de juiste manier en op het juiste moment de kwantitatieve en kwalitatieve resultaten moeten laten zien om stakeholders en burgers te betrekken en betrokken te houden.
Vragen
Dit is het moment om te reflecteren op je sensing-project. Tussen alle vragen en overwegingen die je in dit stadium kunnen helpen, zetten we hier drie centrale thema’s op een rij:
Welke impact had je project op de openbare ruimte en het leven van mensen?
Heb je het project op een verantwoorde en ethische manier uitgevoerd?
Kan je op basis van je ervaringen verbeteringen doorvoeren en doorgaan of is het beter om te stoppen en af te ronden?
Hulpmiddelen
Of je project nu afloopt of nog een vervolg krijgt, dit is het moment om kritisch na te denken over de impact van je sensing-project. Succes of falen kan op verschillende manieren geïnterpreteerd worden.
Terugblik op je project
Reflectie op de sociale impact
Evaluatie van ethische prestaties
Opstellen van een vervolgstrategie
Video's
Bekijk onze video's voor interviews met experts voor advies over impact en analyse. In dit deel komen de volgende deskundigen aan bod:
Ido Nap – Programmamanager Sensing Nationale Politie
Paul Manwaring – Oprichter IoT Living Lab en medeoprichter CITIXL
6.1 Vragen
Het is niet eenvoudig om de samenleving (publiek, bewoners, eindgebruikers) op een betekenisvolle manier te betrekken. Het is noodzakelijk om op de juiste manier kwantitatieve en kwalitatieve resultaten te laten zien om het publiek warm te houden. In dit stadium zijn er bovendien operationele, tactische en strategische overwegingen die in verband staan met aansprakelijkheidskwesties en de follow-up. Bijvoorbeeld het opnieuw vaststellen van het eigenaarschap, governance, escalatiepaden, rollen en verantwoordelijkheden. Daarnaast zijn er overwegingen als:
- Kun je doorgaan met het ontwerpen van interventies en betrekken van publiek?
- Meet je idd de gewenste verandering, resultaat en sociale impact?
- Ben je transparant en publiceer je de data en resultaten door middel van visualisaties en pakkende verhalen?
- Heb je met het publiek gesproken om te komen tot een ‘data plus dialoog’?
- Communiceer je zodanig over het project zodat je bewustzijn en aansprakelijkheid creëert?
- Hoe kun je je bezinnen op de impact die je hebt gehad in de context van je projectdoelen en in een ethische context, rekening houdend met maatschappelijke normen en waarden?
- Kan ik momentum behouden en een blijvende discussie op gang brengen?
- Wie wordt nu de eigenaar van het project en hoe wordt er rekenschap afgelegd?
- Heb je al een vervolgplan en -strategie opgesteld?
6.2 Terugblik op je project
Dit is het moment om te reflecteren. Pak je vooral je oorspronkelijke opzet erbij. Vergeet bij de evaluatie van je project niet de unieke aspecten van sensing en je project in ruimere zin. Het gaat er niet alleen om je prestaties af te meten aan kritieke prestatie-indicatoren (KPI’s), maar ook over hoe je al-dan-niet je doelen op een verantwoorde en ethische manier hebt behaald. Hieronder enkele suggesties om de impact van je project te bepalen:
- Bekijk je oorspronkelijke Decision Canvas nog eens met de stakeholders van het project.
- Denk na over de lessen die je hebt geleerd. Leg je ervaringen vast en deel ze.
- Meet de veranderingen die je hebt gerealiseerd met een impactanalyserapport waarin je de situatie vóór en na je project kwantificeert en alle eventuele interventies die je hebt uitgevoerd.
- Publiceer de resultaten en vertel je verhaal. Het is daarbij belangrijk om transparant te zijn en al je resultaten te delen.
Je organisatie heeft ongetwijfeld zijn eigen manier van reflecteren op een project. In dit stadium kun je waarde toevoegen door de nadruk te leggen op de ethische aspecten die bij sensing-projecten komen kijken.
Dit is een goed moment om een aantal projecten van het Responsible Sensing Lab te bekijken: Scanauto's, de transparante laadpaal en Shuttercam. Dit zijn drie goed gedocumenteerde projecten waar je lering uit kunt trekken.
6.2.1 Reflectie: sociale en ethische impact
Het blijkt soms lastig om bij een sensing-project het succes te meten. Misschien hebben zich ernstige problemen voorgedaan of waren de resultaten erg verrassend. Het belangrijkste is uiteindelijk dat je snapt of en hoe je project het publiek heeft beïnvloed. Heb je percepties of gedrag veranderd en wat betekent dat? Overweeg om - na de evaluatie van de kwantitatieve resultaten van je project - het publiek nogmaals te betrekken om feedback op te halen en kwalitatieve data te vergaren wat betreft de sociale impact.
6.2.2 Evaluatie van ethische prestaties
Verantwoorde en ethische sensing staat nog in de kinderschoenen. Op het moment dat we projecten ontwerpen en implementeren waarbij maatschappelijke waarden en ethische principes in acht worden genomen, dan zijn we grondleggers van belangrijk werk. De impact die we in onze steden realiseren gaat veel verder dan het oplossen van problemen met betrekking tot de manier waarop mensen zich in de openbare ruimte bewegen. Het gaat er vooral om dat we die problemen oplossen zonder privacy en waardigheid uit het oog te verliezen.
Dit is een goed moment voor een workshop ethische prestaties met de stakeholders van je project. Je kunt de paragrafen ‘Toepassing van een ethisch kader’ en ‘Meten van ethische principes’ uit stap 3 nog eens doornemen of de links over data-ethiek hieronder bekijken om je te helpen je ethische prestaties te evalueren:
- Privacy by Design
- Tada! Data Disclosed
- Responsible Sensing Lab
- Cities for Digital Rights
- Value sensitive design
- Utrecht Data School
Recreational Crowd Study
Voor een specifiek voorbeeld van een Tada-workshop data-ethiek om de ethische uitvoering van een project te evalueren, download je dit rapport van de Recreational Crowd Study uitgevoerd door CITIXL in samenwerking met Marineterrein Amsterdam, het CTO Innovatieteam van de gemeente Amsterdam en Tada.
Stakeholders van een project zouden er goed aan doen de ethische uitvoering van al hun experimenten te evalueren. Het staat je als team vrij om je eigen waarden en principes te bepalen, het voornaamste is dat je inziet hoe je tijdens de looptijd van een project continu verbeteringen kunt doorvoeren op het gebied van verantwoorde sensing. In de weergave hieronder zie je een vergelijking van verschillende teams die zichzelf beoordeelden op een hypothetisch onderzoeksproject (gebaseerd op het ethisch raamwerk van Tada).
Café-eigenaren die computervisie gebruiken om social distancing op hun terras te meten.
Impactanalyse van 3D-sensoren in een winkelstraat tijdens de lockdown.
Musea die wifi-sniffers gebruiken voor smart ticketing om wachttijden te verbeteren.
Gezondheidsdienst die millimetergolven gebruikt om de activiteit in speeltuinen te meten tijdens avonduren.
Campusbeveiliging die gebruikmaakt van geluidssensoren om geluiden van bijvoorbeeld wapens of brekend glas te classificeren.
Facility managers die gebruik maken van bewegingsmelders om te bepalen of het aantal studenten binnen veilige marges blijft.
6.2.3 Follow-up
Indien wordt besloten tot een vervolg van het project moeten we operationele, tactische en strategische keuzes opnieuw afwegen. Zo moeten bij een follow-up bijvoorbeeld opnieuw het eigenaarschap, governance, mogelijke escalaties, rollen en verantwoordelijkheden wordt vastgesteld.
In zogenoemde agile projecten zijn er verschillende manieren om continu verbetering na te streven. Hier enkele overwegingen:
- Kun je de positieve impact die je met je project hebt gehad uitbreiden?
- Zie je kans om je project op te schalen, te dupliceren en/of te distribueren?
- Stel dat je doorgaat, hoe kun je dan je project op ethische vlak verbeteren?
- Stel dat je je project afrondt, hoe kunnen jij en het publiek dan profiteren van de geleerde lessen?
Als we het hebben over agile ontwikkeling, design thinking of experimenteren in Living Labs, vergeet dan niet dat dit allemaal niet-lineaire methoden voor creatieve samenwerking zijn. Voor het verbeteren van je project of het ontwerpen van een nog betere oplossing, zijn de conclusies van minder groot belang dan wat je hebt geleerd van het daadwerkelijk toepassen/testen. Hieronder vind je enkele links (alleen in het Engels) zodat je je gedachten kunt vormen over de follow-up. Uitgangspunt is dat je voortborduurt op de opgedane ervaring en impact blijft realiseren:
- Meer over Agile software development
- 5 stappen van design thinking
- Experimenteren
- Experimenteren in overheidscontext
- Werkwijze van Living Labs
6.3 Video's
Wanneer je het einde van het proces hebt bereikt, raden we je aan nog eens na te denken over je oorspronkelijke doelen, je voortgang en je ervaringen. Je kunt dat doen aan de hand van het voorbeeld van het Ethisch kader uit stap 3. Maar geef jezelf nu eerst enkele minuten de tijd om van persoonlijke ervaringen en inzichten te leren die je helpen bij het meten van de impact van je sensing-project.
In alle expertinterviews worden deze drie vragen gesteld:
Wat zijn de grootste uitdagingen voor sensing-projecten in de openbare ruimte?
Welke methoden kunnen oplossingen bieden voor deze uitdagingen?
Welk advies heb je voor innovators die de inzet van sensor-technologie overwegen?
Ido Nap
Programmamanager Sensing, Nationale Politie
Ido gelooft dat de uitdaging in deze fase zit in de manier waarop we resultaten interpreteren en de wijze waarop we de follow-up (met het publiek) vormgeven. Alleen dmv van constante metingen en feedbackloops kunnen we inzicht krijgen welke consequenties onze designs, interventies en acties hebben.
Paul Manwaring
Mede-oprichter CITIXL & oprichter IoT Living Lab
Het is belangrijk het grote plaatje te zien. Door data te gebruiken voor het algemeen belang creëren we positieve, sociale impact. Paul herinnert ons eraan dat we erop moeten letten dat onze digitale rechten in de openbare ruimte worden gewaarborgd; dat het meten van impact niet alleen gaat over 'resultaten', maar ook over de manier waarop we samenwerken om de openbare ruimte te heroveren en digitale commons te beschermen.
Je bent aan het einde gekomen van de allerlaatste stap van de Toolkit. Wil je aan de slag? Ga dan naar de Aan de slag-pagina en lees meer over onze workshops.
Responsible Sensing Toolkit Workshop Trial
Zoals je hebt gemerkt is het gehele proces aardig complex. Zelfs als stedelijke innovator met ervaring in projecten rondom sensing kan het moeilijk zijn om deze tools zelfstandig te implementeren.
Heb je hulp nodig? Meld je aan voor onze Responsible Sensing Toolkit Workshop Trial (Workshop 1). Deze workshop helpt jou en je team jullie dilemma's in kaart te brengen aan de hand van het Decision Canvas. De Workshop Trial duurt slechts een uur en helpt je bij het maken van een heldere roadmap naar een verantwoord en ethisch sensing-project. In bepaalde gevallen bieden wij deze workshop gratis aan.
Bekijk onze workshops of neem contact op met Sam Smits, vertel hem wat je nodig hebt en we helpen je op weg.