Kunstig intelligens følger ikke logikken i videnskabelige fremskridt

Vi har mange gange skrevet i MT om forskere og fagfolk, der udråber maskinlæringssystemer som "sorte bokse" (1) selv for dem, der bygger dem. Dette gør det vanskeligt at evaluere resultater og genbruge nye algoritmer.

Neurale netværk - teknikken, der giver os intelligente konverteringsrobotter og geniale tekstgeneratorer, der endda kan skabe poesi - forbliver et uforståeligt mysterium for udefrakommende iagttagere.

De bliver større og mere komplekse, håndterer enorme datasæt og bruger massive compute-arrays. Dette gør replikering og analyse af de opnåede modeller bekostelig og nogle gange umulig for andre forskere, bortset fra store centre med enorme budgetter.

Mange forskere er godt klar over dette problem. Blandt dem er Joel Pino (2), formand for NeurIPS, den førende konference om reproducerbarhed. Eksperterne under hendes ledelse ønsker at lave en "reproducerbarhedstjekliste".

Ideen er ifølge Pino at opmuntre forskere til at tilbyde andre en køreplan, så de kan genskabe og bruge det allerede udførte arbejde. Du kan undre dig over veltalenheden af ​​en ny tekstgenerator eller den overmenneskelige smidighed af en videospilsrobot, men selv de bedste eksperter aner ikke, hvordan disse vidundere fungerer. Derfor er reproduktionen af ​​AI-modeller vigtig ikke kun for at identificere nye mål og retninger for forskning, men også som en rent praktisk guide til brug.

Andre forsøger at løse dette problem. Google-forskere tilbød "modelkort" for i detaljer at beskrive, hvordan systemerne blev testet, herunder resultater, der peger på potentielle fejl. Forskere ved Allen Institute for Artificial Intelligence (AI2) har offentliggjort et papir, der har til formål at udvide Pinot-reproducerbarhedstjeklisten til andre trin i den eksperimentelle proces. "Vis dit arbejde," opfordrer de.

Nogle gange mangler der grundlæggende oplysninger, fordi forskningsprojektet ejes, især af laboratorier, der arbejder for virksomheden. Oftere er det dog et tegn på manglende evne til at beskrive skiftende og stadig mere komplekse forskningsmetoder. Neurale netværk er et meget komplekst område. For at få de bedste resultater kræves der ofte finjustering af tusindvis af "knapper og knapper", som nogle kalder "sort magi". Valget af den optimale model er ofte forbundet med en lang række eksperimenter. Magi bliver meget dyrt.

For eksempel, da Facebook forsøgte at kopiere arbejdet fra AlphaGo, et system udviklet af DeepMind Alphabet, viste opgaven sig ekstremt vanskelig. Enorme beregningskrav, millioner af eksperimenter på tusindvis af enheder over mange dage, kombineret med manglen på kode, gjorde systemet "meget svært, hvis ikke umuligt, at genskabe, teste, forbedre og udvide," ifølge Facebook-medarbejdere.

Problemet ser ud til at være specialiseret. Men hvis vi tænker videre, underminerer fænomenet problemer med reproducerbarheden af ​​resultater og funktioner mellem et forskerhold og et andet al logikken i videnskabens og forskningsprocessernes funktion, vi kender til. Resultaterne af tidligere forskning kan som udgangspunkt bruges som grundlag for videre forskning, der stimulerer udvikling af viden, teknologi og generel fremgang.