Kunstig intelligens følger ikke logikken til vitenskapelig fremgang

Vi har skrevet mange ganger i MT om forskere og fagfolk som proklamerer maskinlæringssystemer som «svarte bokser» (1) selv for de som bygger dem. Dette gjør det vanskelig å evaluere resultater og gjenbruke nye algoritmer.

Nevrale nettverk – teknikken som gir oss intelligente konverteringsroboter og geniale tekstgeneratorer som til og med kan skape poesi – forblir et uforståelig mysterium for utenforstående observatører.

De blir større og mer komplekse, håndterer enorme datasett og bruker massive datamatriser. Dette gjør replikering og analyse av de oppnådde modellene kostbare og noen ganger umulige for andre forskere, bortsett fra store sentre med enorme budsjetter.

Mange forskere er godt klar over dette problemet. Blant dem er Joel Pino (2), styreleder for NeurIPS, den fremste konferansen om reproduserbarhet. Ekspertene under hennes ledelse ønsker å lage en «sjekkliste for reproduserbarhet».

Ideen, sa Pino, er å oppmuntre forskere til å tilby andre et veikart slik at de kan gjenskape og bruke arbeidet som allerede er gjort. Du kan undre deg over veltalenheten til en ny tekstgenerator eller den overmenneskelige fingerferdigheten til en videospillrobot, men selv de beste ekspertene aner ikke hvordan disse underverkene fungerer. Derfor er reproduksjonen av AI-modeller viktig ikke bare for å identifisere nye mål og retninger for forskning, men også som en rent praktisk veiledning for bruk.

Andre prøver å løse dette problemet. Google-forskere tilbød "modellkort" for å beskrive i detalj hvordan systemene ble testet, inkludert resultater som peker på potensielle feil. Forskere ved Allen Institute for Artificial Intelligence (AI2) har publisert en artikkel som tar sikte på å utvide Pinot-reproduserbarhetssjekklisten til andre trinn i den eksperimentelle prosessen. "Vis arbeidet ditt," oppfordrer de.

Noen ganger mangler grunnleggende informasjon fordi forskningsprosjektet eies, spesielt av laboratorier som jobber for selskapet. Oftere er det imidlertid et tegn på manglende evne til å beskrive skiftende og stadig mer komplekse forskningsmetoder. Nevrale nettverk er et svært komplekst område. For å få de beste resultatene kreves det ofte finjustering av tusenvis av «knotter og knapper», som noen kaller «svart magi». Valget av den optimale modellen er ofte forbundet med et stort antall eksperimenter. Magi blir veldig dyrt.

For eksempel, da Facebook prøvde å gjenskape arbeidet til AlphaGo, et system utviklet av DeepMind Alphabet, viste oppgaven seg ekstremt vanskelig. Enorme beregningskrav, millioner av eksperimenter på tusenvis av enheter over mange dager, kombinert med mangel på kode, gjorde systemet «veldig vanskelig, om ikke umulig, å gjenskape, teste, forbedre og utvide», ifølge Facebook-ansatte.

Problemet ser ut til å være spesialisert. Men hvis vi tenker videre, undergraver fenomenet med problemer med reproduserbarheten av resultater og funksjoner mellom ett forskerteam og et annet all logikken i funksjonen til vitenskap og forskningsprosesser som er kjent for oss. Resultatene fra tidligere forskning kan som regel legges til grunn for videre forskning som stimulerer til utvikling av kunnskap, teknologi og generell fremgang.