https://bodybydarwin.com
Slider Image

Kan AI undkomma vår kontroll och förstöra oss?

2020

"Det började för tre och en halv miljard år sedan i en pool av muck, när en molekyl gjorde en kopia av sig själv och så blev den ultimata förfäder till allt jordiskt liv. Det började för fyra miljoner år sedan, då hjärnvolymer började klättra snabbt i hominidlinje. Femtiotusen år sedan med uppkomsten av Homo sapiens. Tio tusen år sedan med uppfinningen av civilisationen. Fem hundra år sedan med uppfinningen av tryckpressen. Femtio år sedan med uppfinningen av datorn. På mindre än trettio år kommer det att ta slut. "

Jaan Tallinn snubblat över dessa ord 2007, i en online-uppsats som heter "Staring into the Singularity." "Det" är mänsklig civilisation. Mänskligheten skulle upphöra att existera, förutspådde essays författare, med uppkomsten av superintelligens, eller AI som överträffar det mänskliga intellektet i ett brett spektrum av områden.

Tallinn, en Estland-född dataprogrammerare, har en bakgrund i fysik och en benägenhet att närma sig livet som ett stort programmeringsproblem. 2003 hade han grundat Skype och utvecklat backend för appen. Han betalade in sina aktier efter att eBay köpte det två år senare, och nu kastade han omkring för att göra något. "Staring into the Singularity" mossade datorkod, kvantfysik och citat från Calvin och Hobbes . Han var ansluten.

Tallinn upptäckte snart att essays författare, självlärda teoretiker Eliezer Yudkowsky, hade skrivit mer än 1 000 artiklar och blogginlägg, många av dem ägnade åt superintelligens. Tallinn skrev ett program för att skrapa Yudkowskys skrifter från internet, beställa dem kronologiskt och formatera dem för sin iPhone. Sedan tillbringade han större delen av ett år på att läsa dem.

Begreppet "artificiell intelligens eller simulering av intelligens i datorer eller maskiner, myntades tillbaka 1956, bara ett decennium efter skapandet av de första elektroniska digitala datorerna. Hoppet för fältet var ursprungligen stort, men vid 1970-talet, när tidiga förutsägelser inte panorera, en "AI-vinter" satt in. När Tallinn hittade Yudkowskys uppsatser, genomgick AI en renässans. Forskare utvecklade AI: er som utmärkte sig i specifika områden, som att vinna i schack, rengöra köksgolvet och erkänna mänskligt tal . (2007 var IBMs Watsons fortfarande fyra år bortom den rungande vinsten på Jeopardy!), Medan triumfen vid Go of DeepMinds AlphaGo var åtta år fri.) Sådana ”smala” AI, som de kallas, har supermänskliga förmågor, men bara inom deras specifika dominansområden. Ett schackspelande AI kan inte rengöra golvet eller ta dig från punkt A till punkt B. Men superintelligent AI, Tallinn trodde, kommer att kombinera ett brett sortiment av färdigheter i en enhet. Mer d Arkly, det kan också använda data som genererats av smartphoniska människor för att utmärka sig vid social manipulation.

Genom att läsa Yudkowsky s artiklar blev Tallinn övertygad om att super intelligens kan leda till en explosion eller breakout av AI som kan hota mänsklig existens att ultrasmart AI kommer att ta vår plats på den evolutionära stegen och dominerar oss på det sätt vi nu dominerar aber. Eller, ännu värre, utrota oss.

Efter att ha avslutat det sista av uppsatserna sköt Tallinn av ett e-postmeddelande till Yudkowsky all små gemener, liksom hans stil. i minning, en av skype-grundarna, skrev han. Så småningom kom han till poängen: Jag håller med om att förberedelser inför händelsen av allmän AI som överträffar mänsklig intelligens är en av de bästa uppgifterna för mänskligheten. När han flög till Bay Area för andra möten kort efter träffade han Yudkowsky vid ett Panera-bröd i Millbrae, Kalifornien, nära där han bor. Deras samverkan sträckte sig till fyra timmar. Han förstår faktiskt de verkliga underliggande koncepten och detaljerna, minns Yudkowsky. Det är mycket sällsynt. Efteråt skrev Tallinn en check för 5 000 dollar till Singularity Institute for Artificial Intelligence, ideella organisationen där Yudkowsky var en forskare. (Organisationen bytte namn till Machine Intelligence Research Institute, eller MIRI, 2013.) Tallinn har sedan dess gett mer än 600 000 dollar.

Mötet med Yudkowsky förde Tallinns syfte och skickade honom på uppdrag för att rädda oss från våra egna skapelser. När han anslöt sig till frågan med andra teoretiker och datavetare, inledde han ett liv i resor och höll samtal världen över om hotet från superintelligens. Men främst började han finansiera forskning om metoder som kan ge mänskligheten en väg ut: så kallad vänlig AI. Det betyder inte att en maskin eller agent är särskilt skicklig på att prata om vädret, eller att den kommer ihåg namnen på dina barn även om superintelligent AI kanske kan göra båda dessa saker. Det betyder inte att det är motiverat av altruism eller kärlek. En vanlig fallacy antar att AI har mänskliga krav och värderingar. Vänlig betyder något mycket mer grundläggande: att maskinerna i morgondagen inte kommer att utplåna oss i deras strävan att uppnå sina mål.

Nio år efter sitt möte med Yudkowsky går Tallinn med mig för en måltid i matsalen på Cambridge Universitys Jesus College. Det kyrkliga utrymmet är bedecked med målat glasfönster, guldgjutning och oljemålningar av män i peruker. Tallinn sitter vid ett tungt mahognibord och bär den avslappnade plagget i Silicon Valley: svarta jeans, T-shirt, dukskor. Ett välvt virketak sträcker sig högt över hans chock av gråblont hår.

Som 46-åring är Tallinn på vissa sätt din tekniska entreprenör för läroböcker. Han tror att tack vare framsteg inom vetenskapen (och förutsatt att AI inte förstör oss) kommer han att leva i många år i många år. Hans oro över superintelligens är vanligt bland hans kohort. PayPal-grundare Peter Thiel s stiftelse har gett MIRI 1, 6 miljoner dollar och 2015 donerade Tesla-grundaren Elon Musk 10 miljoner dollar till Future of Life Institute, en teknisk säkerhetsorganisation i Cambridge, Massachusetts. Tallinns ingång till denna sällsynta värld kom bakom järnridån på 1980-talet, då en klasskameras far med ett regeringsjobb gav några ljusa barn tillgång till stordatorer. Efter att Estland blev oberoende grundade han ett videospelföretag. Idag bor Tallinn fortfarande i huvudstaden - som genom en skymt av etymologi också kallas Tallinn - med sin fru och den yngsta av sina sex barn. När han vill träffa forskare flyger han dem ofta till Östersjöregionen.

Hans strategi är metodisk, nästan allt annat han gör. Han sprider sina pengar mellan elva organisationer, som var och en arbetar med olika strategier för AI-säkerhet, i hopp om att man kan hålla fast. 2012 grundade han Cambridge Center for the Study of Existential Risk (CSER) med ett initialt utlägg på nära 200 000 dollar.

Existentiella risker - eller X-risker, som Tallinn kallar dem - är hot mot mänsklighetens överlevnad. Förutom AI studerar de 20 udda forskarna vid CSER klimatförändringar, kärnkrig och biovapen. Men för Tallinn hjälper de andra disciplinerna mestadels att legitimera hotet om konstgjord intelligens. "Det är egentligen bara gateway-läkemedel som han berättar för mig. Oro för mer allmänt accepterade hot, till exempel klimatförändringar, kan komma att dra människor in. Skräcken för superintelligenta maskiner som tar över världen, hoppas han, kommer att övertyga dem att stanna. Han är här nu för en konferens eftersom han vill att det akademiska samfundet tar AI-säkerhet på allvar.

Våra middagskamrater är ett slumpmässigt sortiment av konferensgäster, inklusive en kvinna från Hong Kong som studerar robotik och en brittisk man som tog examen från Cambridge på 1960-talet. Den äldre mannen frågar alla vid bordet där de gick på universitetet. (Tallinns svar, Estlands universitet i Tartu, imponerar inte honom.) Han försöker sedan styra konversationen mot nyheterna. Tallinn tittar blankt på honom. ”Jag är inte intresserad av risker på kort sikt, ” säger han.

Tallinn ändrar ämnet till hotet om superintelligens. När han inte pratar med andra programmerare ersätter han metaforer, och han kör igenom sin svit av dem nu: Advanced AI kan bortskaffa oss så snabbt som människor hugger ner träd. Superintelligence är för oss vad vi är till gorillaer. Inskrivet på latin ovanför hans huvud är en linje från psalm 133: "Hur bra och hur trevligt det är för bröder att bo tillsammans i enhet." Men enhet är långt ifrån vad Tallinn har i åtanke i en framtid som innehåller en skurk superintelligens.

En AI skulle behöva en kropp för att ta över, säger den äldre mannen. Utan någon form av fysiskt hölje, hur skulle det kunna få fysisk kontroll? Tallinn har en annan metafor redo: "Sätt mig i en källare med en internetanslutning, och jag kan göra mycket skada, " säger han. Sedan tar han en bit av risotto.

Oavsett om en Roomba eller en av dess världsdominerande ättlingar, en AI drivs av resultat. Programmerare tilldelar dessa mål, tillsammans med en serie regler för hur de ska följa dem. Avancerad AI behöver inte nödvändigtvis ges målet om världsbehörighet för att uppnå det - det kan bara vara oavsiktligt. Och datorprogrammeringens historia har många små fel som skapade katastrofer. Under 2010 sålde till exempel en handlare som arbetade för fondbolaget Waddell & Reed tusentals futurekontrakt. Företagets programvara lämnade en nyckelvariabel från algoritmen som hjälpte till att genomföra handeln. Resultatet var en biljard dollar "flashkrasch."

Forskarna Tallinn-fonderna tror att om belöningsstrukturen för en övermänsklig AI inte är korrekt programmerad, kan även godartade mål ha lurviga ändamål. Ett välkänt exempel som lagts fram av Oxford University-filosofen Nick Bostrom i sin bok Superintelligence är en fiktiv agent som riktar sig till att göra så många pappersklipp som möjligt. AI kanske beslutar att atomerna i mänskliga kroppar skulle utnyttjas bättre som råmaterial för dem.

Tallinns åsikter har sin andel av nedsättare, även bland de människor som är berörda av AI-säkerhet. En del motsätter sig att det är för tidigt att oroa sig för att begränsa superintelligent AI när vi ännu inte förstår det. Andra säger att fokusering på oseriösa tekniska aktörer avleder uppmärksamhet från de mest brådskande problemen som fältet står inför, som det faktum att majoriteten av algoritmerna är designade av vita män, eller baserade på data som är partiska mot dem. "Vi riskerar att bygga en värld som vi inte vill leva i om vi inte tar itu med de utmaningarna på kort sikt", säger Terah Lyons, verkställande direktör för Partnership on AI, en organisation för flera aktörer med fokus på AI-säkerhet och andra frågor. (Flera av institutionerna i Tallinn-ryggen är medlemmar.) Men, tillägger hon, är några av de närmaste utmaningarna som forskare står inför - till exempel avskaffande av algoritmisk partiskhet - som föregångare till de som mänskligheten kan se med superintelligent AI.

Tallinn är inte så övertygad. Han räknar med att superintelligent AI ger unika hot. I slutändan hoppas han att AI-samfundet kan följa ledningen för antikärnkraftsrörelsen under 1940-talet. I kölvattnet av bombningarna av Hiroshima och Nagasaki bandade forskare sig för att försöka begränsa ytterligare kärnkraftsförsök. "Forskarna på Manhattan Project kunde ha sagt:" Se, vi gör innovation här, och innovation är alltid bra, så låt oss bara kasta framåt, "säger han till mig. "Men de var mer ansvariga än så."

Tallinn varnar för att alla tillvägagångssätt för AI-säkerhet kommer att vara svåra att få rätt. Om en AI är tillräckligt smart, förklarar han, kan det ha en bättre förståelse för begränsningarna än dess skapare. Föreställ dig, säger han att jag vaknar upp i ett fängelse byggt av ett gäng blinda 5-åringar. "Så kan det vara för en superintelligent AI som är begränsad av människor.

Teoretiker Yudkowsky fann bevis för att detta kan vara sant när han började 2002 genomförde chatsessioner där han spelade rollen som en AI innesluten i en låda, medan en rotation av andra spelade gatekeeper som hade till uppgift att hålla AI i Tre av fem gånger, Yudkowsky en enda dödlig säger att han övertygade portvakten att släppa honom. Hans experiment har dock inte avskräckt forskare från att försöka utforma en bättre låda.

Forskarna som Tallinn finansierar bedriver ett brett utbud av strategier, från det praktiska till det till synes långtgående. Vissa teoretiserar om AI-boxning, antingen fysiskt, genom att bygga en faktisk struktur för att innehålla den, eller genom att programmera i gränser för vad den kan göra. Andra försöker lära AI att hålla sig till mänskliga värden. Några arbetar med en sista dike-brytare. En forskare som studerar alla tre är matematikern och filosofen Stuart Armstrong vid University of Oxford s s Future of Humanity Institute, som Tallinn kallar den mest intressanta platsen i universum. (Tallinn har med tanke på FHI mer än $ 310 000.) Armstrong är en av de få forskarna i världen som fokuserar heltid på AI-säkerhet.

Jag träffar honom för kaffe en eftermiddag på ett kafé i Oxford. Han bär en rugbytröja som är oknäppt vid kragen och ser ut som någon som tillbringar livet bakom en skärm, med ett blekt ansikte inramat av en röra med sandigt hår. Han peppar sina förklaringar med en desorienterande blandning av populära kulturreferenser och matematik. När jag frågar honom hur det kan se ut att lyckas med AI-säkerhet, säger han: "Har du sett The Lego Movie ? Allt är fantastiskt."

En stam av Armstrongs forskning undersöker en specifik tänkande till boxning som kallas ett orakel AI. I ett papper från 2012 med Nick Bostrom, som grundade FHI, föreslog han att inte bara muras av superintelligens i en hållningstank en fysisk struktur but utan begränsa den till att svara på frågor, som ett riktigt smart Ouija-styrelse. Även med dessa gränser skulle en AI ha en enorm makt att omforma ödet för mänskligheten genom att subtilt manipulera dess förfrågare. För att minska möjligheten att detta händer har Armstrong föreslagit tidsgränser för konversationer eller förbjudit frågor som kan stärka den nuvarande världsordningen. Han har också föreslagit att ge Oracle Proxy mått på mänsklig överlevnad, till exempel Dow Jones Industrial Average eller antalet människor som korsar gatan i Tokyo, och berättar det för att hålla dessa stadiga.

I slutändan, tror Armstrong, kan det vara nödvändigt att skapa, som han kallar det i ett papper, en "stor röd av-knapp": antingen en fysisk strömbrytare eller en mekanism programmerad till en AI för att automatiskt stänga av sig själv i händelse av bryta ut. Men att utforma en sådan switch är långt ifrån lätt. Det är inte bara att en avancerad AI som är intresserad av självskydd kan förhindra att knappen trycks ner. Det kan också bli nyfiken på varför människor tänkte på knappen, aktivera den för att se vad som händer och göra sig själv värdelös. 2013 designade en programmerare som heter Tom Murphy VII en AI som kunde lära sig att spela Nintendo Entertainment System-spel. Fast besluten att inte förlora på Tetris AI helt enkelt tryckte paus - och höll spelet fruset. "Det enda vinnande draget är verkligen att inte spela Murphy som observeras skämt, i ett papper om hans skapelse.

För att strategin ska lyckas måste en AI vara ointresserad av knappen, eller som Tallinn uttrycker det, "det måste tilldela världen lika värde där den inte finns och världen där den finns." Men även om forskare kan uppnå det finns det andra utmaningar. Vad händer om AI har kopierat sig själv flera tusen gånger över internet?

Den metod som de flesta lockar forskare är att hitta ett sätt att få AI att hålla sig till mänskliga värden - inte genom att programmera in dem utan genom att lära AI: er att lära dem. I en värld som domineras av partipolitiken, bor människor ofta på de sätt på vilka våra principer skiljer sig åt. Men, konstaterar Tallinn, människor har mycket gemensamt: ”Nästan alla värdesätter sitt högra ben. Vi tänker bara inte på det. ”Förhoppningen är att en AI kan lära sig att urskilja sådana oföränderliga regler.

I processen skulle en AI behöva lära sig och uppskatta människors mindre än logiska sida: att vi ofta säger en sak och menar en annan, att vissa av våra preferenser strider mot andra, och att människor är mindre pålitliga när de är berusade . Men dataspåren som vi alla lämnar i appar och sociala medier kan ge en guide. Trots utmaningarna, tror Tallinn, måste vi försöka eftersom insatserna är så höga. "Vi måste tänka några steg framåt", säger han. "Att skapa en AI som inte delar våra intressen skulle vara ett hemskt misstag."

På Tallinns kväll i Cambridge går jag med honom och två forskare för middag på ett brittiskt steakhouse. En servitör placerar vår grupp i en vittvätt källare med en grottliknande atmosfär. Han ger oss en meny på en sida som erbjuder tre olika typer av mäsk. Ett par sätter sig vid bordet bredvid oss ​​och ber några minuter senare att flytta någon annanstans. "Det är för klaustrofobiskt som kvinnan klagar på. Jag tänker på Tallinns kommentar om skadorna som han kunde orsaka om de låstes i en källare utan bara en internetuppkoppling. Här är vi i rutan. Som i cue överväger männen sätt att få ut.

Tallinns gäster inkluderar den tidigare genomikforskaren Seán Ó hÉigeartaigh, som är CSER: s verkställande direktör, och Matthijs Maas, AI-policyforskare vid Köpenhamns universitet. De skämt om en idé för en nördig actionflick med titeln Superintelligence vs. Blockchain! och diskutera ett onlinespel som heter Universal Paperclips som riffar scenariot i Bostroms bok. Övningen innebär upprepade gånger att klicka med musen för att göra gem. Det är inte exakt pråligt, men det ger en känsla för varför en maskin kan leta efter mer användbara sätt att producera kontorsmaterial.

Så småningom flyttas samtalet mot större frågor, som det ofta gör när Tallinn är närvarande. Det ultimata målet med AI-säkerhetsforskning är att skapa maskiner som, såsom Cambridge-filosofen och CSER-medstifter Huw Price en gång uttryckte det, "etiskt såväl som kognitivt övermänskligt." Andra har tagit upp frågan: Om vi ​​inte vill AI för att dominera oss, vill vi dominera det? Med andra ord, har AI rättigheter? Tallinn säger att detta är onödigt antropomorfiserande. Det antar att intelligens är lika medvetande - en missuppfattning som irriterar många AI-forskare. Tidigare på dagen skämtade CSER-forskaren Jose Hernandez-Orallo att när man talar med AI-forskare, är medvetandet "C-ordet." ("Och 'fri vilja' är F-ordet, " tillade han.)

RELATERADE: Hur är det egentligen att jobba som säkerhetsförare i en självkörande bil

I källaren nu säger Tallinn att medvetandet ligger bredvid punkten: ”Ta exemplet med en termostat. Ingen skulle säga att det är medvetet. Men det är verkligen obekvämt att möta den agenten om du är i ett rum som är inställt på negativa 30 grader. ”

Ó hÉigeartaigh klockar in. "Det skulle vara trevligt att oroa sig för medvetandet, " säger han, "men vi har inte lyxen att oroa dig för medvetande om vi inte först har löst de tekniska säkerhetsutmaningarna."

Människor blir alltför upptagen av vad superintelligent AI är, säger Tallinn. Vilken form kommer det att ta? Bör vi oroa oss för att en enda AI tar över, eller en armé av dem? "Ur vårt perspektiv är det viktiga vad AI gör, " betonar han. Och det tror han fortfarande kan vara upp till människorna - för tillfället.

Denna artikel publicerades ursprungligen i Vinter 2018 Danger-numret av Popular Science.

Bara några fakta om en $ 10.000 toalett

Bara några fakta om en $ 10.000 toalett

Forskare talar mot det 'våld' som krävs för att bygga detta nya teleskop

Forskare talar mot det 'våld' som krävs för att bygga detta nya teleskop

Tekniska gåvor till din favorit fitnessentusiast

Tekniska gåvor till din favorit fitnessentusiast