Forskaren: ”Det behövs insyn i hur polisen använder algoritmer”

I ett granskande reportage berättar Kontext Press idag om Babak Karimi, som felaktigt misstänktes av polisen för bland annat barnpornografibrott. Misstankarna baserades på bilder föreställande Karimis 30-åriga pojkvän som kommit till polisens kännedom via algoritmisk övervakning av mailtjänsten Yahoo. 

”Själva metoden de använder är ett slags automatiserad granskning, som antagligen fungerar med hjälp av artificiell intelligens (AI) eller algoritmer.”

Anne Kaun

Du har tagit del av förundersökningsmaterialet i fallet som rör Babak Karimi, vill du säga något om hur övervakningen har gått till rent praktiskt?

– Det verkar inte vara polisen själv som använder algoritmer, utan den organisation [National Centre for Missing and Exploited Children, NCMEC] som nämns i reportaget. Själva metoden de använder är ett slags automatiserad granskning, som antagligen fungerar med hjälp av artificiell intelligens (AI) eller algoritmer. Algoritmerna är då tränade utifrån data som kategoriserats som barnpornografi.

– Det är sannolikt liknande algoritmer som Instagram och andra sociala medier använder, där bilder granskas och blockeras om de uppfyller vissa kriterier. Men det behövs fortfarande människor för att granska innehåll, för att avgöra kontext och så vidare. Det är därför organisationen [NCMEC] skriver i sin anmälan att det är ogranskat material, potentiell barnpornografi, och att det behöver ytterligare en granskning.

”Det är alltid människor som står bakom den teknologiska infrastrukturen och därmed kan den aldrig vara helt neutralt inför de beslut som fattas.”

Anne Kaun

Vad finns det för medvetenhet inom polisen om farorna eller bristerna med algoritmisk övervakning?

 — Jag har själv inte forskat på poliskåren och hur inställningen ser ut där, men jag har följt det utifrån sett. Till exempel det som framkom nyligen om att polisen i pilotprojekt har använt AI för ansiktsigenkänning utan officiellt tillstånd.

— Det verkar finnas en entusiasm kring den här teknologin som jag känner igen från andra områden inom offentlig sektor. Man köper ganska mycket diskursen om en teknologisk utopi som funnits inom industrisektorn — om att teknologin kan lösa en massa problem, att arbetet blir snabbare och mer kostnadseffektivt, och kanske till och med bättre än mänskliga tolkningar. 

Som exempel nämner Anne Kaun den härva rörande narkotikarelaterad brottslighet som polisen nyligen avslöjat genom övervakning av olika krypterade chatt-tjänster. 

 — Men som det här exemplet [med Babak Karimi] visar så kan det gå väldigt fel och jag tror inte att det finns en så stor medvetenhet om det. Det finns en sådan tilltro till digitala metoder och data –  mitt forskningsfält pratar ibland om ”data-ism” som en slags ideologi, idén om att har vi bara data så är den objektiv.  Men det är alltid människor som står bakom den teknologiska infrastrukturen och därmed kan den aldrig vara helt neutralt inför de beslut som fattas. Datan är aldrig objektiv. Det är alltid baserat på existerande mönster, hur man kategoriserar människor, och så vidare. 

— Man måste se att det finns problematiska konsekvenser.

”…behövs insyn, diskussion, granskning och reglering, så att vi inte förstärker vissa ojämlikheter.”

Anne Kaun

Vad finns det för möjligheter till motstånd mot den här formen av algoritmisk övervakning? Vad skulle man kunna göra på samhällsnivå?

— Det är en stor fråga, och det behövs nog olika strategier. För det första att man granskar mer hur utbrett det egentligen är med algoritmisk övervakning. Sedan kanske det också behövs regleringar av hur den får användas, både inom den kommersiella sfären, inom polisiärt arbete och offentlig sektor. Jag tänker till exempel på banker som genom algoritmer och algoritmisk ”scoring” bedömer kreditvärdighet – om personer ska få ta lån.

Anne Kaun påpekar dock att det är skillnad på användningen av algoritmer inom olika områden, beroende på vilka konsekvenser den algoritmiska granskningen kan få på enskilda människor.

— Att man övervakas i sociala medier kan ju kännas ”creepy” och läskigt, men det är kanske inte så mycket som står på spel när Netflix föreslår filmer baserat på vad jag har tittat på innan. Däremot inom polisiärt arbete, inom välfärdssektorn eller när algoritmerna avgör om jag kan ta ett lån – när det gäller beslut som har jättestora konsekvenser för individen – är det mer som står på spel. Där behövs insyn, diskussion, granskning och reglering, så att vi inte förstärker vissa ojämlikheter.

”Det intressanta, som det här fallet visar på, är hur ett algoritmiskt utpekande kan sätta igång en så stor byråkratisk process.”

Anne Kaun

Har du någon avslutande kommentar på fallet med Babak Karimi?

— Det intressanta, som det här fallet visar på, är hur ett algoritmiskt utpekande kan sätta igång en så stor byråkratisk process. Men den stora frågan är kanske inte själva sättet som uppgifterna har tagits fram på, utan snarare hur polisen har hanterat materialet och uppgifterna. Det är problematiskt, snarare än teknologin i sig.

Anne Kaun är professor i medie- och kommunikationsvetenskap vid Södertörns högskola. Hon har forskat om medier och digital aktivism, och leder just nu ett forskningsprojekt rörande användningen av algoritmer inom svensk välfärd.

Erik Gunnarsson är Kontexts podcast-redaktör.

Läs eller lyssna även på reportaget om Babak Karimi – och ta del av brottmålsadvokat Linus Gardells kommentarer.