tisdag, juni 13, 2017

I algoritmernas tid blir matematiken politisk

Kultursidan Västerbottens-Kuriren 170613

För många skolelever har matematikämnet upplevts som hin håles gåva till dem. Abstrakt, logik, formler med siffror och bokstäver. Och vad skulle man med matematiken till? Vore det inte viktigare att läsa samhällskunskap, historia och språk för att både förstå samhällets komplexitet och kunna bli en aktiv medborgare?

       Ja och nej, skulle matematikern Cathy O'Neil svara, när jag läser en intervju med henne i Harvard Business Review (161006). Hon har alltid uppfattat matematiken som en fristad från verklighetens komplexitet.
        Med matematik som verktyg kan olika delar av verkligheten uppfattas tydligare, komplexiteten kan reduceras och världen kan beskrivas ärligare, utan några agendor som färgar tolkningar.
        Tesen för denna essä är att i dag och i framtiden gäller det omvända. Med matematikens hjälp, i form av algoritmer som bearbetar stora datamängder, verkar vi skapa en grumligare, mer ogenomskinlig värld som tycks få stora konsekvenser.
        Tesen framläggs med stöd av Cathy O'Neils senaste bok Weapons of Math Destruction (Allen Lane, 2016). Om titeln kräver sin förklaring, ger undertiteln en tydlig fingervisning om innehållet: How Big Data Increases Inequality and Threatens Democracy (Hur big data ökar ojämlikhet och hotar demokratin).

Bokens studieobjekt, Weapens of Math Destruction, har konnotationer till massförstörelsevapen (weapons of mass destruction) som är särskilt ägnade att sprida död och förödelse i stor skala, som exempelvis kärnvapen, kemiska eller biologiska vapen.

        Weapons of Math Destruction, däremot, är algoritmer som för olika syften analyserar stora datamängder och levererar antingen självständiga beslut eller beslutsunderlag. Alla algoritmer är inte destruktiva, utan O'Neil fokuserar sådana som genom sin utformning genererar skadliga konsekvenser för många människor.
        De skadliga algoritmerna har tre egenskaper: De är ogenomskinliga, vilket innebär att vi inte vet hur de fungerar eller vilka premisser de utgår från. De är storskaliga, vilket innebär att det inte finns några begränsningar för hur många människor som kan drabbas av dem. Den tredje egenskapen är den självklara: de är skadliga för människor.
        Dock inte alla människor, vilket är en av bokens poänger. Vissa gynnas av dessa algoritmiska vapen. Precis som andra massförstörelsevapen.

Cathy O'Neil ger ett flertal intressanta exempel i boken. Automatiska personlighetstester av människor som söker arbete är ett. Syftet med dessa osynliga algoritmer är inte att finna den bäst lämpade för ett jobb, utan att exkludera så många som möjligt.

        Konsekvensen, menar O'Neil, blir ofta att de parametrar i algoritmerna som exkluderar sökanden också fungerar diskriminerande. Människor med sjukdomar, funktionsvariationer och kanske lite udda beteenden sorteras med lätthet bort per automatik.
        Ett annat exempel visar hur algoritmer kan samarbeta för att förstärka negativa strukturer. O'Neil menar att de matematiska modeller som klassar människor som kriminellt benägna, leder till att dessa oftare får strängare straff om de begår brott. Efter avtjänat straff sorterar de algoritmer som hanterar arbetssökande snabbt bort dessa från arbeten som söks. Och då blir dessa människor än mer benägna att begå brott.
        Den i algoritmerna inbyggda profetian uppfylls; således är det inte rättvisa som byggts in. Dessutom visar det sig att det oftare är människor med viss etnisk bakgrund som fastnar i dessa strukturer; således är det inte jämlikhet som byggts in.
        Ett ytterligare exempel handlar om matematiska modeller för att bestämma människors kreditvärdighet, vilket alltmer framstår som ett kvalitetsmått på en människa. Allt från bedömning av partners på dejtingsajter till bedömning av arbetssökande använder kreditvärdighet som en betydelsefull parameter.
        I algoritmåldern blir det än svårare för redan ekonomiskt utsatta människor att arbeta sig ur ekonomiska problem, eftersom betalningsanmärkningar och andra kreditparametrar utgör ett hinder för att få arbete. En veritabel fattigdomsfälla, förklädd till neutrala matematiska modeller.

Utöver fria val finns det ett antal hörnstenar i en demokrati: tryckfrihet, åsiktsfrihet, föreningsfrihet och liknande friheter. Men även jämlikhet i form av att medborgare ges lika förutsättningar och inte diskrimineras på grund av kön, etnicitet, sexuell läggning och övriga diskrimineringsgrunder. Samt rättvisa: att juridiska bedömningar är neutrala i förhållande till etnisk härkomst och socio-ekonomisk bakgrund.

        De framväxande problem Cathy O'Neil ger exempel på är inte rimliga i en demokrati. Vad kan vi göra? O'Neil har ett förslag: Att avkräva att varje person som arbetar med algoritmkonstruktion svär en sorts hippokratisk ed, likt den Hippokrates formulerade för läkarskrået för ca 2 500 år sedan.
        I allt väsentligt: Skapa aldrig Weapons of Math Destruction, utan gör algoritmer som uppfyller grundläggande värden i en demokrati, och låt demokratiska värden vara överordnade ekonomiska i de fall konflikter uppstår.
        Cathy O'Neil sätter fingret på något ytterst centralt. På senare tid vi sett ett stort fokus på problem med faktaresistens, på krav på evidensbaserad politik, på behovet av faktabaserade beslut. Detta fokus är så starkt att vi riskerar förstå beslutsfattande som enbart beroende av de korrekta fakta som datorer kan leverera.

Vi bör påminna oss om att förmågan att fatta rättvisa beslut har två ben. I dag ser vi en övervikt åt episteme; den formella kunskapen, vetandet, våra obestridliga fakta.

        Det andra benet är emellertid minst lika viktigt för att kunna fatta rättvisa beslut: fronesis; omdömesförmågan. Det är den förmåga som innefattar att kunna göra kritiska bedömningar och att förstå konsekvenserna av olika beslut.
        Kan vi bygga in fronesis i algoritmerna? Kan algoritmer vara omdömesgilla? Kan algoritmer kritiskt bedöma konsekvenser av handlingar och beslut? Eller är det förmågor som är enbart människor förunnade?

fredag, juni 09, 2017

Facebookgruppen som raserade drömutbildningen

Kultursidan Västerbottens-Kuriren 170609

Att våra aktiviteter i sociala medier kan få konsekvenser för andra delar av våra liv borde i dag vara en självklarhet. Ändå är det lätt att ryckas med i ett flöde, i en diskussion, på ett sätt som missgynnar både en själv och andra.
         Washington Post (170605) uppmärksammar ett extremfall som kan fungera som "sig själv till skräck och androm till varnagel", som den gamla rättsprincipen säger. Det amerikanska, prestigefyllda universitetet Harvard återkallade nyligen tio antagna studenters studieplatser, när universitetet upptäckte dessa tio personers aktiviteter på Facebook.
         Studenter som antagits vid Harvard går med i någon officiell Facebookgrupp för att lära känna andra studenter och få information om studierna innan de påbörjar dem. I en sådan grupp skapades en mindre, privat subgrupp – en så kallad gruppchat – för att skapa och dela memer kring populärkultur. (Att skapa och dela memer tycks vara en het trend vid elituniversiteten i USA.)

Det spårade snart ur. Memerna blev allt mer obehagliga. De blivande studenterna förlöjligade sexuella övergrepp, hånade Förintelsen och hetsade kring övergrepp på barn, bland annat. Ofta riktades memerna mot specifika etniska grupper. Moraliska övergrepp, men sannolikt inte juridiska.

         Harvard är ett privat lärosäte och har därmed stor frihet att formulera lokala regler och riktlinjer. En regel säger att Harvard förbehåller sig rätten att dra tillbaka ett antagningsbeslut av flera skäl, exempelvis om den blivande studentens beteende föranleder Harvard att ifrågasätta studentens ärlighet, mognad och moraliska karaktär.
         Vilket skedde i fallet med de tio studenterna som dök ned till memeskapandets mörkaste vrå, vars konsekvens blev att dessa inte ges tillgång till sin drömutbildning.

Åtminstone tre lärdomar bör dras av detta fall: Den första och enklaste är att aldrig inbilla sig att sociala forum på internet kan vara privata och fria från insyn, vilket innebär att man alltid bör agera såsom i en offentlighet.
Den andra lärdomen är mer komplicerad. Detta måste nog ses som ett extremfall med extrema konsekvenser. Vem trodde att människors beteende i sociala medier kan få så ödesdigra konsekvenser? Nu vet vi.
         Men vi vet inte var gränserna går för vad som är ett acceptabelt beteende i sociala medier givet olika situationer och givet olika tidpunkter. Kan ett beteende vara acceptabelt när man söker anställning hos en arbetsgivare, men oacceptabelt hos en annan?
         Juridiska gränser för yttranden i sociala medier kan förvisso vara svåra att dra ibland, men de finns åtminstone nedtecknade och kan ges generella tolkningar. Lämplighetsgränser är betydligt svårare att uppfatta, eftersom dessa kan tolkas så väldigt olika.
         Den tredje lärdomen är att det är från extremfallen vi bör lära oss något, eftersom dessa många gånger normaliseras.