Fortell kattungen din hva du tenker på innsiden - black box-effekten

Det faktum at avanserte AI-algoritmer er som en svart boks (1) som kaster et resultat uten å avsløre hvordan det ble til, bekymrer noen og opprører andre.

I 2015 ble et forskerteam ved Mount Sinai Hospital i New York bedt om å bruke denne metoden til å analysere en omfattende database med lokale pasienter (2). Denne enorme samlingen inneholder et hav av pasientinformasjon, testresultater, resepter og mer.

Forskere kalte det analytiske programmet utviklet i løpet av arbeidet. Den trente på data fra rundt 700 XNUMX mennesker. mennesker, og når den er testet i nye registre, har den vist seg å være ekstremt effektiv til å forutsi sykdom. Uten hjelp fra menneskelige eksperter oppdaget han mønstre i sykehusjournaler som indikerer hvilken pasient som er på vei til en sykdom, for eksempel leverkreft. Ifølge eksperter var den prognostiske og diagnostiske effektiviteten til systemet mye høyere enn for noen andre kjente metoder.

2. Medisinsk kunstig intelligens-system basert på pasientdatabaser

Samtidig la forskerne merke til at det fungerer på en mystisk måte. Det viste seg for eksempel at den er ideell for anerkjennelse av psykiske lidelsersom schizofreni, som er ekstremt vanskelig for leger. Dette var overraskende, spesielt siden ingen hadde noen anelse om hvordan AI-systemet kunne se psykisk sykdom så godt bare basert på pasientens medisinske journaler. Ja, spesialistene var veldig fornøyd med hjelpen fra en så effektiv maskindiagnostiker, men de ville være mye mer fornøyd hvis de forsto hvordan AI kommer til sine konklusjoner.

Lag av kunstige nevroner

Helt fra begynnelsen, det vil si fra det øyeblikket begrepet kunstig intelligens ble kjent, var det to synspunkter på AI. Den første antydet at det ville være mest rimelig å bygge maskiner som resonnerer i samsvar med kjente prinsipper og menneskelig logikk, og gjør deres indre funksjoner gjennomsiktige for alle. Andre mente at intelligens ville dukke opp lettere hvis maskiner lærte seg gjennom observasjon og gjentatt eksperimentering.

Det siste betyr å reversere typisk dataprogrammering. I stedet for at programmereren skriver kommandoer for å løse et problem, genererer programmet egen algoritme basert på prøvedata og ønsket resultat. Maskinlæringsmetoder som senere utviklet seg til de kraftigste AI-systemene som er kjent i dag, har nettopp gått på veien til, faktisk, maskinen selv programmerer.

Denne tilnærmingen forble på kantene av AI-systemforskning på 60- og 70-tallet. Først i begynnelsen av forrige tiår, etter noen banebrytende endringer og forbedringer, "Dyp" nevrale nettverk begynte å demonstrere en radikal forbedring i evnene til automatisert persepsjon. 

Dyp maskinlæring har gitt datamaskiner ekstraordinære evner, for eksempel evnen til å gjenkjenne talte ord nesten like nøyaktig som et menneske. Dette er en for kompleks ferdighet til å programmere på forhånd. Maskinen skal kunne lage sitt eget "program" ved å opplæring på enorme datasett.

Dyplæring har også endret datamaskinens bildegjenkjenning og forbedret kvaliteten på maskinoversettelse betydelig. I dag brukes den til å ta alle slags viktige beslutninger innen medisin, økonomi, produksjon og mer.

Men med alt dette du kan ikke bare se inn i et dypt nevralt nettverk for å se hvordan "innsiden" fungerer. Nettverksresonneringsprosesser er innebygd i oppførselen til tusenvis av simulerte nevroner, organisert i dusinvis eller til og med hundrevis av intrikat sammenkoblede lag..

Hver av nevronene i det første laget mottar en input, for eksempel intensiteten til en piksel i et bilde, og utfører deretter beregninger før utdataene sendes ut. De overføres i et komplekst nettverk til nevronene i neste lag - og så videre, helt til det endelige utgangssignalet. I tillegg er det en prosess kjent som å justere beregningene utført av individuelle nevroner slik at treningsnettverket gir det ønskede resultatet.

I et ofte sitert eksempel relatert til hundebildegjenkjenning, analyserer lavere nivåer av AI enkle egenskaper som form eller farge. De høyere tar for seg mer komplekse problemer som pels eller øyne. Bare det øverste laget bringer det hele sammen, og identifiserer hele settet med informasjon som en hund.

Den samme tilnærmingen kan brukes på andre typer input som driver maskinen til å lære seg selv: lyder som utgjør ord i tale, bokstaver og ord som utgjør setninger i skrevet tekst, eller et ratt, for eksempel. bevegelser som er nødvendige for å kjøre et kjøretøy.

Bilen hopper ikke over noe.

Det er forsøkt å forklare hva som egentlig skjer i slike systemer. I 2015 modifiserte forskere ved Google en bildegjenkjenningsalgoritme for dyp læring slik at den genererte eller modifiserte dem i stedet for å se objekter på bilder. Ved å kjøre algoritmen baklengs, ønsket de å oppdage egenskapene som programmet bruker for å gjenkjenne for eksempel en fugl eller en bygning.

Disse eksperimentene, kjent offentlig som tittelen, ga fantastiske skildringer av (3) groteske, bisarre dyr, landskap og karakterer. Ved å avsløre noen av hemmelighetene til maskinoppfatning, som det faktum at visse mønstre gjentatte ganger returneres og gjentas, viste de også hvor dyp maskinlæring skiller seg fra menneskelig persepsjon – for eksempel i den forstand at den utvider og dupliserer artefakter som vi ignorerer. i vår prosess med persepsjon uten å tenke . .

3. Bilde opprettet i prosjektet

Forresten, på den annen side har disse eksperimentene avslørt mysteriet rundt våre egne kognitive mekanismer. Kanskje er det i vår oppfatning at det er forskjellige uforståelige komponenter som gjør at vi umiddelbart forstår og ignorerer noe, mens maskinen tålmodig gjentar sine iterasjoner på «uviktige» objekter.

Andre tester og studier ble utført i et forsøk på å "forstå" maskinen. Jason Yosinski han skapte et verktøy som fungerer som en sonde som sitter fast i hjernen, retter seg mot ethvert kunstig nevron og leter etter bildet som aktiverer det sterkest. I det siste eksperimentet dukket det opp abstrakte bilder som et resultat av å "kigge" nettverket på fersken, noe som gjorde prosessene som fant sted i systemet enda mer mystiske.

For mange forskere er imidlertid en slik studie en misforståelse, fordi, etter deres mening, for å forstå systemet, gjenkjenne mønstrene og mekanismene til en høyere orden for å ta komplekse beslutninger, alle beregningsmessige interaksjoner inne i et dypt nevralt nettverk. Det er en gigantisk labyrint av matematiske funksjoner og variabler. For øyeblikket er det uforståelig for oss.

Vil ikke datamaskinen starte opp? Hvorfor?

Hvorfor er det viktig å forstå beslutningsmekanismene til avanserte systemer for kunstig intelligens? Matematiske modeller brukes allerede for å finne ut hvilke fanger som kan løslates på prøveløslatelse, hvem som kan få lån, og hvem som kan få jobb. De som er interessert vil gjerne vite hvorfor dette og ikke en annen beslutning ble tatt, hva er begrunnelsen og mekanismen.

han innrømmet i april 2017 i MIT Technology Review. Tommy Yaakkola, en MIT-professor som jobber med applikasjoner for maskinlæring. -.

Det er til og med en juridisk og politisk posisjon om at muligheten til å granske og forstå beslutningsmekanismen til AI-systemer er en grunnleggende menneskerettighet.

Siden 2018 har EU jobbet med å kreve at selskaper skal gi forklaringer til sine kunder om beslutninger tatt av automatiserte systemer. Det viser seg at dette noen ganger ikke er mulig selv med systemer som virker relativt enkle, for eksempel apper og nettsteder som bruker dyp vitenskap for å vise annonser eller anbefale sanger.

Datamaskinene som kjører disse tjenestene programmerer seg selv, og de gjør det på måter vi ikke kan forstå... Selv ingeniørene som lager disse applikasjonene kan ikke helt forklare hvordan det fungerer.