Fortæl din killing, hvad du synes indeni - den sorte boks-effekt

Det faktum, at avancerede kunstig intelligens-algoritmer er som en sort boks (1), der smider et resultat ud uden at afsløre, hvordan det er nået frem til det, generer nogle og forstyrrer andre.

I 2015 blev et forskerhold på Mount Sinai Hospital i New York City bedt om at bruge denne metode til at analysere en stor database med lokale patienter (2). Denne enorme samling indeholder et hav af informationer om patienter, fra testresultater, lægeordrer osv.

Forskerne navngav det analyseprogram, der blev udviklet under arbejdet. Det blev trænet på data fra cirka 700 tusinde mennesker. mennesker, og når det er testet i nye registre, har det vist sig ekstremt effektivt til at forudsige sygdom. Uden hjælp fra menneskelige eksperter opdagede han mønstre i hospitalsjournaler, der indikerede, hvilken patient der var på vej til en sygdom som leverkræft. Ifølge eksperter var den prognostiske og diagnostiske effektivitet af systemet meget højere end nogen andre kendte metoder.

2. Medicinsk kunstig intelligens-system baseret på patientdatabaser

Samtidig lagde forskere mærke til, at det virker på mystiske måder. Det viste sig f.eks., at den er ideel til anerkendelse af psykiske lidelsersåsom skizofreni, som er ekstremt svært for læger. Dette var overraskende, især da ingen anede, hvordan AI-systemet var så godt til at se psykisk sygdom kun baseret på patientens lægejournaler. Ja, eksperterne var meget tilfredse med hjælpen fra en så effektiv maskindiagnostiker, men de ville være meget mere tilfredse, hvis de forstod, hvordan AI kom til sine konklusioner.

Lag af kunstige neuroner

Helt fra begyndelsen, det vil sige fra det øjeblik, begrebet kunstig intelligens blev kendt, var der to synspunkter på AI. Den første foreslog, at det mest fornuftige ville være at bygge maskiner, der ræsonnerer i overensstemmelse med kendte principper og menneskelig logik, hvilket gør deres interne funktion gennemsigtig for alle. Andre mente, at intelligens ville opstå lettere, hvis maskiner lærte gennem observation og gentagne eksperimenter.

Det sidste betyder at vende typisk computerprogrammering om. I stedet for at programmøren skriver kommandoer for at løse et problem, genererer programmet egen algoritme baseret på prøvedata og det ønskede resultat. Maskinlæringsteknikker, som senere udviklede sig til de mest kraftfulde AI-systemer, der kendes i dag, er netop gået ned ad vejen for i det væsentlige maskinen programmerer sig selv.

Denne tilgang forblev på kanten af ​​AI-forskning i 60'erne og 70'erne. Først i begyndelsen af ​​det foregående årti, efter nogle innovative ændringer og forbedringer, "Dybe" neurale netværk begyndte at demonstrere radikale forbedringer i automatiserede perceptionsevner. 

Dyb maskinlæring har givet computere ekstraordinære evner, såsom evnen til at genkende talte ord næsten lige så præcist som et menneske. Dette er en for kompleks færdighed til at programmere på forhånd. Maskinen skal kunne lave sit eget "program" ved træning i enorme datasæt.

Deep learning har også revolutioneret computerens billedgenkendelse og i høj grad forbedret kvaliteten af ​​maskinoversættelse. I dag bruges det til at træffe alle mulige vigtige beslutninger inden for medicin, økonomi, fremstilling og mere.

Dog med alt dette du kan ikke bare kigge ind i et dybt neuralt netværk for at se, hvordan det fungerer "under hætten". Netværksræsonneringsprocesser er indlejret i adfærden hos tusindvis af simulerede neuroner, organiseret i titusinder eller endda hundreder af indviklet indbyrdes forbundne lag..

Hver af neuronerne i det første lag modtager et inputsignal, såsom intensiteten af ​​en pixel i et billede, og udfører derefter beregninger, før de udsender et outputsignal. De overføres i et komplekst netværk til neuronerne i det næste lag – og så videre, indtil det endelige udgangssignal. Derudover er der en proces kendt som justering af beregningerne udført af individuelle neuroner, så træningsnetværket producerer det ønskede output.

I et ofte citeret eksempel, der involverer hundebilledgenkendelse, analyserer lavere lag af AI simple egenskaber såsom kontur eller farve. De højere beskæftiger sig med mere komplekse problemer såsom pels eller øjne. Kun det øverste lag samler det hele og identificerer det komplette sæt af information som en hund.

Den samme tilgang kan anvendes på andre typer input, der driver en maskine til at lære sig selv: de lyde, der udgør ord i tale, de bogstaver og ord, der udgør sætninger i skrevet tekst, eller et rat, for eksempel. nødvendige bevægelser for at kontrollere et køretøj.

Maskinen mangler ikke noget

Man har forsøgt at forklare, hvad der præcist sker i sådanne systemer. I 2015 modificerede Google-forskere en deep learning-baseret billedgenkendelsesalgoritme, så den i stedet for at se objekter på billeder genererede eller ændrede dem. Ved at køre algoritmen baglæns ønskede de at opdage de egenskaber, som programmet bruger til at genkende f.eks. en fugl eller en bygning.

Disse eksperimenter, der er kendt offentligt under deres titel, producerede forbløffende billeder af (3) groteske, bizarre dyr, landskaber og karakterer. Mens de afslørede nogle af hemmelighederne bag maskinopfattelse, såsom det faktum, at visse mønstre går tilbage og gentages igen og igen, viste de også, hvor dyb maskinlæring adskiller sig fra menneskelig perception - for eksempel i den forstand, at den udvider sig og dublerer artefakter, som vi ignorerer i vores opfattelse uden at tænke. .

3. Billede oprettet i projektet

Af den måde, på den anden side afslørede disse eksperimenter hemmeligheden bag vores egne kognitive mekanismer. Måske er det i vores opfattelse, at der er forskellige uforståelige komponenter, der gør, at vi umiddelbart forstår noget og ignorerer det, mens maskinen tålmodigt gentager sine iterationer på "uvigtige" objekter.

Andre tests og undersøgelser blev udført i et forsøg på at "forstå" maskinen. Jason Yosinski han skabte et værktøj, der fungerer som en sonde, der sidder fast i hjernen, retter sig mod enhver kunstig neuron og leder efter det billede, der aktiverer det stærkest. I det sidste eksperiment dukkede abstrakte billeder op som et resultat af, at netværket "spionerede" på fersk gerning, hvilket gjorde de processer, der fandt sted i systemet, endnu mere mystiske.

Men for mange videnskabsmænd er sådan forskning en misforståelse, fordi efter deres mening, for at forstå systemet, genkende mønstre og højere ordens mekanismer til at træffe komplekse beslutninger, alle beregningsmæssige interaktioner inde i et dybt neuralt netværk. Det er en kæmpe labyrint af matematiske funktioner og variabler. I øjeblikket er det uforståeligt for os.

Vil computeren ikke virke? Hvorfor?

Hvorfor er det vigtigt at forstå beslutningsmekanismerne i avancerede kunstig intelligens-systemer? Matematiske modeller bliver allerede brugt til at afgøre, hvilke fanger der kan løslades på prøveløslatelse, hvilke der kan krediteres, og hvilke der kan få arbejde. Enhver interesseret vil gerne vide, hvorfor netop denne beslutning blev truffet og ikke en anden, hvad dens årsager og mekanisme var.

indrømmede han i april 2017 i MIT Technology Review. Tommy Jaakkola, en professor ved MIT, der arbejder med maskinlæringsapplikationer. -.

Der er endda en juridisk og politisk holdning om, at evnen til at granske og forstå beslutningstagningsmekanikken i AI-systemer er en grundlæggende menneskeret.

Siden 2018 har EU arbejdet på at kræve, at virksomheder skal give deres kunder forklaringer om beslutninger truffet af automatiserede systemer. Det viser sig, at dette nogle gange ikke er muligt, selv med systemer, der virker relativt enkle, som apps og websteder, der bruger dyb videnskab til at vise annoncer eller anbefale sange.

De computere, der kører disse tjenester, programmerer sig selv, og de gør det på måder, som vi ikke kan forstå... Selv de ingeniører, der skaber disse applikationer, kan ikke helt forklare, hvordan det fungerer.