Slumpen övertrumfar AI-tekniken

Kultursidan Västerbottens-Kuriren 200505

Det florerar mycket förhoppningar kring AI-teknikens kapacitet. Realistiska bedömningar blandas med utopiska önskningar och visionära scenarier. I en presentation framställde AI-forskaren Arvind Narayanan vid Princeton University en lägesbeskrivning av vad dagens AI-teknik kan och inte kan i tre områden. Och därmed vilka förhoppningar som är realistiska i dag.
       Det första området utgörs av AI-teknik fungerar bra och utvecklas relativt snabbt och handlar om teknikens perceptionsförmåga. Med AI-teknik utvecklas allt bättre tjänster för musik- och bildigenkänning. I dag kan jag skriva sökordet ”mat” i mitt digitala bildbibliotek och datorn hittar alla bilder på mat som jag lagrat där.
       Flera studier visar att AI-teknik är bra och blir allt bättre på att tolka medicinska bilder, exempelvis röntgenbilder, för att bidra till säkrare diagnoser. Ett annat exempel är ansiktsigenkänning, som är ett hett och eftertraktat användningsområde för AI-teknik. Liksom deep fake, djupa förfalskningar, där människor kan förfalskas i videoklipp. Även konvertering av tal till text och omvänt är AI-baserad teknik som blir allt bättre.

Det andra området utgörs av AI-teknik som inte fungerar perfekt, men som utvecklas hela tiden och handlar om teknikens automatiska bedömningsförmåga. På bara några år har förmågan att bedöma vad som är spam i mejl eller annan textkommunikation förbättrats mycket, utan att för den skull kunna identifiera allt. Med liknande teknik försöker man bli allt bättre på att upptäcka hate speech, hatpropaganda, i till exempel sociala medier.
       Även när det gäller att upptäcka upphovsrättsintrång försöker man utveckla bättre AI-teknik, liksom AI-teknik för att bedöma uppsatser som skrivs av elever och studenter. Ett sista exempel inom detta område är olika former av AI-baserade rekommendationssystem för digitalt innehåll, som exempelvis film och musik.
       Det tredje området utgörs av AI-teknik som fungerar ytterst tveksamt, men som många har stora förhoppningar kring. Det handlar om teknikens förmåga att förutse sociala resultat eller social utveckling. Ett exempel: Kan AI-teknik, givet en stor mängd historiska data om en person, förutse risken att denne person ska bli kriminell? Eller lyckas i arbetslivet? Eller hamna i drogproblem?
       Nej, svarar Arvind Narayanan. Att förutse återfall i kriminalitet, succé i arbetslivet, människors framtida brottsbenägenhet eller risk för terroristhandlingar är inte något vi ska lita till beträffande dagens AI-teknik. Så deterministiska och förutsägbara är inte människor. Inte heller kan AI-teknik förutse om barn kan komma att vara i riskzonen för sociala svårigheter i framtiden.

Det sistnämnda området har studerats i ett stort forskningsprojekt nyligen, som publicerats i tidskriften PNAS (200330). Frågan som man sökte svar på är ”Hur förutsägbara är sociala livsbanor?”. Om AI-teknik kan generera säkra prediktioner så vore det värdefullt för exempelvis att tidigt kunna identifiera och stödja barn och familjer som riskerar hamna i sociala svårigheter i framtiden.
       Syftet med studien är att undersöka hur väl AI-teknik med maskininlärningsmetoder kan skapa säkra prediktioner för människors framtida liv i vissa avseenden. Projektet genomförde en utvärdering av hur väl AI-baserad prediktionsteknik fungerar, helt enkelt.
       Metoden i projektet kallas ”mass collaboration”, massamarbete. Den innebär att man formulerar i detta fallet en prediktionsuppgift, tillhandahåller en specifik datamängd och bjuder in många forskare och forskargrupper att utföra samma uppgift med samma datamängd, men med valfria metoder. Därefter återrapporterar alla sina resultat för sammanställning och analys.
       160 forskare eller grupper av forskare antogs till projektet. I USA finns en databas med data om ett stort antal familjer som har följts under ett antal år, med början år 2000. För denna studie användes data från 4 242 familjer med närmare 13 000 variabler för varje familj.
       Med data om de barn som fötts och växt upp i dessa familjer skulle de 160 forskarna med de bästa prediktionsmodeller de har, generera förutsägelser om dessa barns livsbana i sex olika avseenden.

Forskarna fick data om barnen i åldrarna ett till nio år för att göra förutsägelser om barnens livssituation i femtonårsåldern. I databasen finns också denna data om barnens tonårsliv, så att det är möjligt att kontrollera hur väl forskarnas förutsägelser stämmer med faktiska förhållanden.
       När resultaten från de 160 forskarna hade samlats in, mättes förutsägelsernas precision mot faktiska data. Det visar sig att inte ens de bästa förutsägelserna var särskilt exakta. Trots att forskarna hade använt en stor datamängd om barnen och olika men avancerade maskininlärningsmetoder, var många resultat inte bättre än prognostiseringar med enklare statistiska metoder.
       Det är också noterbart att oberoende av vilka olika maskininlärningsmetoder som forskarna tillämpade, var de förutsägelser som genererades relativt lika varandra. Skillnaden mellan den sämsta och den bästa förutsägelsen var inte särskilt stor och dessutom mindre än skillnaden mellan det faktiska utfallet och den bästa förutsägelsen.

På en generell nivå visar detta stora forskningsprojekt att AI-teknik inte har förmåga att förutsäga människors livsbana.
       Det behöver emellertid inte bero på kvaliteten hos vare sig datamängder, tekniker eller modeller, utan helt enkelt på att slumpen har en stor betydelse för vad som händer i människors liv. Rent anekdotiskt kan vi också reflektera över de större livsförändringar som vi har upplevt. Hur väl skulle dessa ha kunnat förutses?
       Resultatet från detta forskningsprojekt borde intressera varje politiker och annan beslutsfattare som använder eller överväger att använda AI-teknik för prediktion inom exempelvis kriminalvård och skyddsvård för barn och utsatta familjer eller andra sociala verksamheter.