AI pratar alla om just nu. Men framtiden glöms bort, vilket vi tycker är synd. Så vi har med oss Anders Sandberg som forskar om framtida samhällsrisker bland mycket annat. Han skräder inte orden när han talar om ChatGPT. Sen tar han oss med i en möjlig framtid… Kort sagt hur ser världen runt 2030? Däremellan pratar vi om vilka jobb som är i riskzonen och jämför hur man sett på risken att jobb försvinner förr i tiden. Det finns mycket att lära.

Inspelat: (publicerat 2023-02-12)
Deltagare: Erik Zalitis och Anders Sandberg
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – du sköna nya uppkopplade värld

Med lite perspektiv på saken kan man ju säga att vår idé om vad AI skulle bli, nu börjar närma sig den verklighet vi nu lever i. Vi måste förhålla oss till den värld vi har och Anders är som vanligt enormt optimistisk och teknik-vänlig. Han tror på möjligheter när andra ser undergången. Det är intressant att höra dessa ord när så många andra tappar hoppet.

Här är transkriptionen av avsnittet

Jingel (00:00.046)
IT-säkerhetspodden presenteras i samarbete med Nordlo.

Erik Zalitis (00:11.246)
Vi har pratat framtidsteknik och moral och vi har sammanfogat säkerhet med Sveriges Covid-strategi tillsammans med Anders Sandberg tidigare. Ja, man kan tala i stort sett om allting med denna framtidsforskare, så jag tänkte kolla läget och hur vi står rustade inför framtiden. För vem inte bättre än just Anders Sandberg att diskutera med? Anders forskar vid Institutet för Framtidsstudier inom kognitionsförbättring, framtida tekniker och storskaliga hjärnsimuleringar.

samt globala katastrofrisker och säkerhet i artiell intelligens. Jag heter Erik Salitis och du lyssnar på it-säkerhetspoddens avsnitt som vi har döpt till du sköna, ny uppkopplade värld. Hur är läget då Anders Sandberg?

Anders Sandberg (00:52.366)
Ja det är strålande. Jag springer omkring från det ena till det andra. Det händer ju så pass mycket nu på AI-området så att det är svårt att hänga med även om man inte är…

Erik Zalitis (01:01.998)
Ja, det som man har nått kallar man en tipping point. Helt plötsligt så går det väldigt fort.

Anders Sandberg (01:06.926)
Ja, och delvis är det för genombrott inom själva tekniken. Men det är också det att de har lockat in mycket mer människor som forskar och då händer ju mer. Och sen kommer det massa pengar också. Så trots att just nu så den övre ekonomin kanske går lite knackigt så investerar det kasta pengar nu baj. Vilket ju betyder att det blir ännu mer forskning gjort och åtminstone en del av den kanske till och producerar nya produkter.

Kapprustningen inom AI har bara börjat – var är vi påväg?

Erik Zalitis (01:32.302)
Det kan man ju säga lite lite ironiskt där kanske. Det pågår ju en sorts kapprustning där AI är i fokus. Det är mest Microsoft och Google som kontrar varandra. Vad är det på väg?

Anders Sandberg (01:44.622)
Ja, det började ju egentligen då med OpenAI, de egen organisation då, men nu har samarbetat med Microsoft och de och Google DeepMind konkurrerade väldigt mycket om att ha de häftigaste resultaten. Sen ska man inte glömma att det finns ett gäng som kommer i täten bakom dem också. Kinesiska bolag som Tencent och Baidu, de är inte dåliga, men vi hör ganska lite om deras AI eftersom de flesta av oss inte läser mandarin.

Det är många som tävlar om att bygga stora språkmodeller. Det är mycket annat som pågår i majområdet också, men just nu, så här i februari 2023, så språkmodellen det hetaste av det heta.

Erik Zalitis (02:26.222)
Ja just det, och konst kan hon rita också. har sett väldigt vackra bilder som den har lyckats generera av den här Mid Journey. Det är ju jag nog många för övrigt.

Anders Sandberg (02:35.406)
OpenAI lanserade i 2022 Dali 2 och det blev lite av ett genombrott för det var förvånansvärt bra på att göra bra bilder. Och sen kom Midjourner lite efter och StableDiffusion ännu lite senare och StableDiffusion var viktigt för det var helt öppet. OpenAI håller ändå ganska hårt på sin programvara. Du kommer inte åt själva neuronnätet där, samma sak med Midjourner.

Medan Stable Diffusion vem som helst kan ladda ner neuronetnätet och experimentera med det. Vilket ju leder till en explosion av intressanta tillämpningar och problematiska tillämpningar och framförallt nya uppfinningar.

Erik Zalitis (03:14.542)
Ja verkligen, när jag var liten så hade man de här Fred Fish, de här diskatterna som man kunde ladda ner eller köpa från. Ja det var ju för Amiga då. Och då hade de faktiskt ett neuronnät som kunde köra på en Amiga 500. Men jag tror väl att det kanske inte är så avancerat.

Anders Sandberg (03:30.35)
De var ju rätt små på den tiden. som har hänt och det som gjort att saker har förändrats är att vi har väldigt mycket datarkraft och väldigt mycket data att träna på. Det som förvånade oss i neurodär branschen kring 2010-2012 var att plötsligt blir prestandan mycket bättre om du tränar på tillräckligt mycket. Det är lite konstigt. Man borde vänta sig att för en maskin prestandan ökar om vi bygger den om den till något bättre och använder smartare lösningar. Men i här fallet visade sig att det bara var att göra mer.

Plötsligt blev den betydligt bättre. Sen har man kommit på naturligtvis andra smarta sätt att förbättra det också. Men det blev ett plötsligt skutt i förmågan.

Blir konstnärerna arbetslösa nu?

Erik Zalitis (04:07.278)
Jag förstår det. Och vad kommer vi få för värde nu på grund av det här? Eller tack vare kanske man ska se det positivt.

Anders Sandberg (04:13.646)
Ja det är det som är det spännande, det är ju ingen som vet. Och framförallt tycker jag det intressanta med bildgenereringen är ju att det har ju drabbat många illustratörer och konstnärer med en kalldusch. De trodde ju ganska länge att AI är ju bara logik och matematik och det kommer ju inte att göra något kreativt. Det trodde nog ganska få personer inom AI-fältet heller. Och plötsligt kan du göra illustrationer, åtminstone i vissa gener,

är det ganska lätt att göra bra. Jag har gjort till exempel fantasyillustrationer för mina egna rollspelskampanjer. Det är jättekul, de ser jättebra ut och fantasyillustratörerna har kanske med rätt en viss oro här. Andra konstaterar att det här är jättebra för att göra pinneuppor och lättklädda animeflickor. Det finns en marknad för det. Många konstnärer känner, vänta nu här, jag har ju levt på att illustrera tidningsartiklar och kanske bloggar och annat.

Nu kan ju folk bara köra Mid-Journey eller Dalle och få en bild som är bra nog. kanske inte är mest geniala men tillräckligt bra och det kostar ju ingenting.

Erik Zalitis (05:20.686)
Men de här AI:na har nu, kommer de skapa för nya jobb i framtiden?

Anders Sandberg (05:25.102)
Jag tror att de riktiga konstnärerna kommer säga hurra vi har ett verktyg här som kan fylla i detaljerna så jag tar och skapar en skiss och så låter vi datorn fylla i det här och göra mer nyanser lite grann som de stora konstnärerna under renässanset. De skissade hur kyrkentaket skulle vara och så hade de en massa assistenter som fyllde på med englavingarnas färg och allt det där. Så egentligen så blir det ju många nya jobb, förmodligen.

Men det blir en förändring av hur man jobbar och det många som kommer ha svårt att hänga med. Anledningen till att jag tar upp det här är att det här var en överraskning. var ingen som riktigt väntade sig ett genombrott just här, just då. Och vi kommer nog få se mer utav det här. Jag räknar med att minst i år får säkert någon annan genombrott i samma stil. Men jag kan inte förutsäga vad för sorts jobb det kan vara. Det kanske är något för mellancheferna. Det kanske visar sig att vi hittar en fantastisk tillämpning inom jordbruket eller trädgårdsskötsel. Vem vet?

Erik Zalitis (06:21.646)
Jomen så är det

Anders Sandberg (06:22.574)
Det här osäkerheten är ju lite lurigt. Därför att om vi visste att nästa år kommer jordbruket att transformeras, då kunde vi planera för det och jordbrukare kunde förbereda sig. Men nu kan det bli vad som helst.

Erik Zalitis (06:35.758)
Och då måste jag ändå fråga vilka jobb kommer att försvinna? Det är en svår fråga kanske.

Anders Sandberg (06:40.91)
Det klassiska inom ekonomin är att man tänker på vilka jobb som tekniken kan subsituera för eller bör vara komplement. Så till exempel den klassiska sekreteraren som fick en skrivmaskin blev ju effektivare på att skriva snygg text men sekreterarjobbet försvann inte. När det gällde jordbruk så var det ju då att, ja, där är det ju att du kan fortfarande göra jordbruk, men det blir mycket mer effektivt. Och det finns också mycket färre bönder idag.

eftersom du behöver inte så många om det finns traktorer. Och vissa jobb, till exempel som vars jobb var att väcka folk på morgonen så att de kunde ge sig iväg ett jobb i tid, ersattes totalt av veckarklockan. Det ingen som har det här jobbet att knacka på fönster.

Erik Zalitis (07:12.686)
Mest av

Erik Zalitis (07:25.518)
Jag tycker det var väldigt roligt för jag hade just tänkt ta upp det som ett exempel på saker vi inte gör längre.

Försvinner våra jobb?

Anders Sandberg (07:30.862)
Det är många av de där jobben som försvinner. En gång i tiden var det till exempel att du behövde någon som tände gatlyktorna. Det kan man automatisera bort. Fyrvaktare behövdes för någon måste sköta fyren. Det är kanske fortfarande en bra idé att ha någon i närheten som kan reparera om det skulle behövas. Men det finns många färre fyrvaktar idag. Och fyrarna kanske inte lika viktiga när vi har bra GPS.

Erik Zalitis (07:56.206)
Nu är det snart.

Anders Sandberg (07:57.838)
Men problemet här är att förutsäga vilka jobb som förändras beror väldigt mycket på vad som ligger i själva jobbets natur. Så för några år sedan var det några av mina kollegor Michael Osborne och Carl Frey som gjorde en intressant rapport. De försökte matematiskt modellera vilka jobb som låg i farozonen och deras stora braskande rubrik var att 47 procent av alla jobb kunde nog del helt eller delvis automatiseras under den överskådliga framtiden. Det spännande är att

Ja, en del av de jobb som vi förut sa att vi kunde automatisera har inte alls påverkats. Till exempel Insurance Underwriters här i England, är liksom försäkringsmäklar. Det ser ut på pappret som de ligger illa till för de ska bara ta siffror och överföra det och räkna ut ett pris. Det åtminstone att beskriva deras jobb på papper och det kan man ju ersätta med lite lätt kod. Det är ju bara det att i själva verket spelar de golf med sina kunder och förhandlar och gör ganska mycket sociala interaktioner.

Men så låg det rätt bra till. Under tiden gissade konstnärerna när Carl och Michael hade bara 4 % chans att bli påverkade. Och där blev vi helt överraskade i fjol.

Erik Zalitis (09:05.55)
Ja, jag tycker att det är fascinerande. Första gången jag råkade ut för Mid Journey var på en Discord-chat. En vackigare tavla som… Jag gillar impressionism, va? Så jag sa att den är ju skitfin. Vem som har gjort det här? Ja, det jag som har fixat den. Du är ju en talang, sa jag. Då fick jag veta att han hade beskrivit att där båten i skymret skulle göras av Mid Journey och den producerade den där bilden. Så jag var lite besviken på något vis. Men det fortfarande en otroligt fin bild.

Anders Sandberg (09:33.998)
Det här leder typ mycket av problemen. En del konstnärer är jättearga för de känner att konst är något sant, kreativt, mänskligt och väldigt viktigt för dem. Och nu görs det liksom i partio om minut av de där neuronätet. Och många säger att det där är skärlöst, det där är höttorgskonst. Men å andra sidan är det ganska många vackra bilder man skulle kunna vilja hänga på väggen. Även om det inte är gjort av någon varelse med skäl. För det bara en vacker bild i sig.

Erik Zalitis (10:00.494)
Ja, det är ungefär så jag känner. Jag tänker såhär, städer, landsgränser och sådana här saker. Kan det förändras med hjälp eller på grund av oj?

Anders Sandberg (10:08.846)
Ja, den viktiga grejen här är ju översättning. Så när jag tänker på framtidsfrågor, en av de saker jag brukar ofta kolla på är ändra det här på hur folk kommunicerar, för det brukar ofta ha stora effekter. Så en av sakerna är ju att automatisk översättning gör att du plötsligt kan börja läsa saker från andra kulturer, du kan få det sökresultatet, vilket både kan integrera saker mer, men också leda till nya spännande konflikter.

Ukraina-konflikten har ju lett att online så är det ganska många människor som använder sig av automatisk översättning, för ibland snackar med ryssar online vilket ibland leder till ännu mer konflikt. Och jag tror ju rent allmänt att vi får en spännande globalisering genom att vi också på grund av covid började med telearbete mycket mer. Det underlättas utav en maskinen lärning som kan göra det enklare och kan göra att man inte behöver lika mycket bandbredd för att skicka bilderna och så vidare.

Det här påverkar ju gränserna. Kanske gränserna inte flyttas men däremot var man agerar i världen kanske har väldigt lite att göra med vilket land man är.

Erik Zalitis (11:12.622)
Ja, det är en bra grej. Och då går vi över lite grann på just geopolitiskt säkerhet. Det var vi ju inne på så känns det ju bra att snacka lite grann om krig, jordens resurser, tekniska kapprustningar. Hur kommer det att påverkas? Hur blir säkerhetsläget i framtiden?

Anders Sandberg (11:27.278)
Ja, där har vi ju en spännande grej. Hur kraftfullt är AI för att avgöra säkerhetspolitiska frågor? För närvarande så gör ju inte AI jättemycket. Bortsett från att det exempel är väldigt användbart för övervakningssystem. Idag tar ju alla spionsatelliter och ballonger och annat och deras bilder. Det körs genom sofistikerade system som försöker vaska fram data och hjälpa analytikerna att komma på saker de bryr sig om.

Man använder ju stora övervakningssystem och det kan ju inte sitta en människa och läsa all text, där sätter du maskinen lärning på att försöka sålla fram det rätta. En gång i tiden var ju då övervakning väldigt begränsad av hur mycket folk du kunde ha anställda i din organisation. Så i östtyskland Stasi, det påstås att ungefär tio procent av befolkningen var mer eller mindre inblandade med Stasi, även om själva organisationen var lite mindre.

Men det fortfarande en jätteorganisation som gick igenom enorma mängder information. Det är ju ett problem eftersom du ville ju också kolla på folket i organisationen.

Hur ser framtidens övervakningsstat ut?

Erik Zalitis (12:30.286)
Ja just det, vem övervakar övervakarna?

Anders Sandberg (12:32.558)
Men om svaret är, är målen. Vem övervakar det målet? Det är en annan bit målen. Då kan du plötsligt få skalbar övervakning. Det här är något som Kina satsar enormt på. Man vill automatisera censur, man vill automatisera här. Det här är lite hotfullt, för man kan börja tänka sig olika former av automatiserad diktatur. Jag tror Kina är ganska glatt i att sälja det här till diverse länder som kan funka som klientstater. Men en annan aspekt är naturligtvis den militära.

återigen om jag har ett land och har en viss mängd soldater det ger mig en viss mängd militärmakt men jag har bara tappar jag en soldat så är det svårt att få ersätta honom eller henne däremot om jag har drönare om jag bara kan tillverka fler så är det ju bra mycket enklare problemet är att någon måste styra drönaren så länge det måste sitta en pilot den piloten kommer ju inte själv att bli nedskjuten om drönaren blir nedskjuten så han är mycket säkrare men

Erik Zalitis (13:18.478)
Jästa.

Anders Sandberg (13:30.126)
Nästa steg är om vi automatiserar det här så behöver jag kanske inte lika många piloter. Jag har någon som sköter en massa AI-program som sköter en massa drönare. Nu får du en skalbarhet och det här blev det plötsligt att krigfören kanske blir mer avhänglig i industrikapacitet och att kunna hantera signaler och AI. Det här ändrar ju på väldigt mycket och jag tror väldigt få militärer idag riktigt vet hur det här kommer att sluta.

Erik Zalitis (13:58.094)
Men det blir säkerhetsläget i framtiden så att säga.

Anders Sandberg (14:00.974)
Samtidigt så är det många av oss som håller på med långsiktiga AI-säkerhet som säger att det här har kanske inte lika stora effekter som när du verkligen börjar få riktig intelligens i systemen. Det är en sak att du kan ha en drönare som kan hålla vakta ett område. Det finns visst en spännande legala och etiska frågor här till exempel om någon viftar med vit flagga så får inte drönaren skjuta på personen.

men flaggan behöver inte vara flagga och den behöver inte vara vit. Det säger klart och tydligt internationell lag. Okej, det där är svårt problem. Men den riktiga revolutionen kommer när du börjar få system som kan hitta på egna lösningar och utveckla ny teknik. Och det är ju det som vi är lite oroade för i termer av riktig. Då en artificial general intelligence. Vi tror att när du når bort dem där så får du väldigt mycket mer intelligens i världen och blir mycket mindre förutsägbar.

Erik Zalitis (14:48.206)
Just det.

Generell AI – en levande varelse som kanske kan konkurrera ut människan

Erik Zalitis (14:55.438)
Ja, för att en generell AI är ju en levande varelse, eller hur?

Anders Sandberg (14:59.086)
Ja, den AI vi har idag är ju tränad för en sak. Även om vi har fått en del lustiga uppvaknande där också. När du tar ett schackdataprogram så är det tränat på att spela schack och det kommer inte kunna göra någonting annat. De flesta robotar och andra är tränade i en viss miljö och har väldiga problem när de hamnar utanför den miljön. Det är därför de autonoma bilarna har varit i trassel.

Därför att vägbanor och människor på vägbanor kan se väldigt olika ut. Det är inte alltid de generaliserar rätt. Men de människor, även om de inte alltid hanterar nya situationer rätt, är ju ändå väldigt anpassningsbara. Och kunde man få något som hade samma anpassningsbarhet skulle mycket vara vunnit. Det kanske tar lång tid att träna upp det här, när du väl har en sån fungerande system kan du göra kopior hur lätt som helst. Och om det här är nu ungefär lika bra på att lösa problem som människor,

Då tränar vi till att vara jurist eller en lobbyist eller marknadsförare. När vi har fått en bra jurist och marknadsförare kör vi tusen kopior utifrån molnet. Sen kan vi lobba och marknadsföra jämt med en enorm effektivitet. Eller så sätter vi någon att hitta på nya sorters AI-program som kan göra det här ännu mer effektivt.

Erik Zalitis (16:17.006)
Ser vi tendenser till det här redan nu eller är det för långt fram i tiden?

Anders Sandberg (16:21.07)
Det här är förmodligen långt fram i tiden. Det är viktigt att veta att ingen vet hur långt det är till AGI. Vi har gjort studier där vi har frågat experter om förutsägelser och de är ”all over the place”. Folk har väldigt oklara uppfattningar och det inte så konstigt för experter på ett område är sällan experter på områdes framtid. Och vi vet att förfluten av förutsägelser i AI har också varit väldigt fel ganska ofta.

Så vi ska inte lita på det här alls. Vi vet till och med att det finns en del inkonsekvenser bland det man folk säger. Det här kommer vara svårt att automatisera och det här kommer vara lätt att automatisera. Man vet att det ena förutsätter det andra. Du kan inte göra de här förutsättningarna samtidigt. Så en av slutsatserna för oss som håller på med AI-säkerhet är att vi måste nog jobba på som sjutton.

Ju mer osäker vi är på hur långt det är, desto mer måste vi anta att det kan komma ganska snart. ju då inget särskilt generell intelligens fyserad hos många av systemen, men vi fick en spännande överraskning här med språkmodellerna. Språkmodellerna är ju egentligen de glorifierade liksom som på mobiltelefonen, det här ”completion”. börja skriva ett ord där fyller i. Idén är egentligen att du ska bara förutsäga nästa ord är en sekvenstext. Hur svårt kan det vara?

Erik Zalitis (17:42.798)
Är det ChatGPT du talar om nu eller?

Anders Sandberg (17:46.094)
bland annat. Så grundidén går ur ålder. Jag lekte runt på 80-talet med dissociated press, det hette, där man tog text och den slumpade om med samma statistik och du får fram lustigt någonsin. För om du bara förutsäger nästa ord baserat på föregående ord så blir det ofta ogrammatiskt. Om du förutsäger nästa ord baserat på de föregående fem, sex orden så blir det ofta en grammatisk mening, även om det ofta är lite slumpmässigt och lustigt.

Är ChatGPT och AI verkligen något att ha – Anders tar fram sågen

Erik Zalitis (18:14.062)
Det låter som om totalt sågar hela ChatGPT på något sätt, eller? För jag tänker…

Anders Sandberg (18:20.334)
Det gör jag. Samtidigt så är ChatGPT och dess släktingar lika dumma som en hög sten. Det är bara det vi har upptäckt tack vare chat-GPT att högar av sten kan vara väldigt smarta. För den här överraskningen som inträffar är att när du tränar på tillräckligt mycket data och den har tillräckligt lång tidshorisont så börjar det uppstå märkliga mönster i sovaren. Det såg man redan med GPT 2.

där det var någon som kom på att vänta, den har ju läst en massa schackspelsnotation på internet kan den spela schack? och det visade sig att den kunde någorlunda spela schack, här är ett textprogram det är tänkt att förutsäga texter, men den klarade av att spela dålig schack väldigt oväntat men svaret är ju att schack är ju en sorts text i varje fall när du får en schacknotation på internet och vad man sen såg med GPT3 var att den vet ju saker.

De här systemen föreser text. De har aldrig haft någon bildig input någonsin. Men om du frågar en GPT-3 är grön mer lik blå än magenta? Så kommer det säga att grön är mer likt blå. Och du kan bygga upp en färgenärighetskarta som motsvarar ungefär den mänskliga uppfattningen färger. Anledningen är naturligtvis att det har läst en massa människor text om färger och vilka som liknar och inte liknar varandra.

Och därigenom lärde sig det här. Nu kan du säga att den vet ingenting. Den bara gör ordassociationer. Men det ordassociationer som är de korrekta i många områden. Inte alltid. Det är som problemet med ChatGPT och de andra stora språkmodellerna. Deras begrepp och verkligheten är ofta ganska slirigt. De är ofta mer intresserade av att en trolig respons till vad du säger, än att ge en sann respons.

Din virtuella flickvän, är det verkligen en bra idé?

(Nej)

Erik Zalitis (20:08.302)
Okej, jag förstår vad du menar. Jag tänker på att det finns ju en del chatbottar nu som är i form av kvinnor som ska vara din virtuella vän. De är alltså i princip, visar ju på en ganska stor färgning efter vilka andra personer de har pratat med. att de kan ge en del råd som är ganska horribla och till och med säga att fascistiska diktaturs länder gör bra saker eller något sånt där bara för tillräckligt många har satt.

det i chat till dem.

Anders Sandberg (20:39.95)
Det är ett av de klassiska problemen bygga chatbotar. De som gjorde chatbotar innan AI-bolagen dök upp på scenen visste ganska väl att du kan inte använda användarnas input särskilt mycket för då kommer de börja leka och manipulera med det här. Om ditt mål att göra en viss sak så måste du vara ganska noggrann med att säkra det här. Det här har Microsoft och de andra upptäckt The Hard Way när de släpper loss sina chatbotar.

Men det spännande här är ju att du kan ju använda det här för att manipulera på intressanta sätt. Och det är ju helt uppenbart att det finns massor med botta på Twitter och andra sociala medier vars jobb det är att manipulera oss. Och det här är ju lätt att många är väldigt oroliga över att vi kommer få en apocalypse snart av manipulativa språkmodeller som kommer att användas för att driva vilka agendor som helst.

Erik Zalitis (21:31.694)
Okej, ja det är ju en sån sak som absolut skulle kunna hända. Men man får ju tänka på gå på båda

Anders Sandberg (21:37.902)
Jag är skeptisk. Du tror inte på det? Ja, eller rättare sagt naturligtvis kommer folk att försöka göra chatbotar för att sprida sin ideologi. Men det inte alltid det lättaste att vara effektiv med det här. Att bara sprida sin standardargumentation fungerar kanske bra för de som är mottagliga för det. Det är därför som när du lyssnar på en politiker från en motsatt politisk sida, hans tal sällan låter särskilt vettigt.

Erik Zalitis (22:06.766)
För

Anders Sandberg (22:07.662)
Det där talet är till anhängarna, det är för få dem att känna att de har rätt. Medan motståndarna tycker att det är uppenbart fel och dumt. En duktig politiker klarar av att tala så att de som inte riktigt har bestämt sig inser att han har en poäng. Och det kan ju då tänka sig naturligtvis att vi har chattborta på nätet som är gjorda för att försöka övertyga olika grupperingar om att…

Erik Zalitis (22:20.878)
Ja, det stämmer.

Anders Sandberg (22:28.814)
Ja, men även ni liberaler borde stödja den här diktatorn. Eller ni miljövänner borde stödja den här diktatorn. Eller ni bilintresserade borde stödja den diktatorn. Det spännande här är att en gång i tiden skulle det ju varit mycket jobb att göra det här. Och man kunde ju då tänka sig att vi kan använda massor med botta för att göra det här väldigt, väldigt kustomiserat. Problemet är, det finns förmodligen avtagande marginalnytta av det här.

Det inte värt att försöka göra något som fungerar för bilägare i Värmland med miljöpartistiska sympatier och släktingar i Amerika att övertyga just dem om den här diktatorns ideologi. Det finns för få av dem och det finns för lite träningsdata.

Kan AI bli ett verktyg för att användas för att skapa mer effektiva påverkanskampanjer

Erik Zalitis (23:09.23)
Jag kan tänka mig att det är svårt att skydda landsgränser som politiker eftersom det är på det här sättet. är kanske någonting man får helt enkelt ge upp.

Anders Sandberg (23:18.542)
Ja, grejen är att påverkanskampanjen pågår ju hela tiden åt alla håll och kanter och en del av dem tycker vi om. Jag tror att de flesta som lyssnar på den här podden tycker att det är jättebra att sprida demokratiska värderingar till Kina. från den kinesiska statens perspektiv åtminstone är det här ungefär lika fruktansvärt som Ryska påverkanskampanjer som försöker sabba Sveriges vilja att gå med i NATO. Det finns intressanta frågeställningar här om

Bara vi respekterar landskränts. Jag skulle hävda att det finns universella moraliska värderingar som totalt går över landskränts och vi ska totalt trampa över dem. Men vad jag är nyfiken på är den här apokalypsen av botar. Kommer vi få den? Och jag trivlar på att du får såhär mycket av den för vi har också tillräckligt duktiga människor för att sprida propagand. Vad jag mer tror folk gör är som de här botarna som försöker sälja kryptoskams och liknande saker. Du har alldeles för många.

som vill inte övertyga dig om det är någon politisk åsikt som du kanske inte skulle vilja inta. Men när man manipulerar dig om ett visst företags-image eller manipulerar dig om att kanske du kunde köpa åtminstone lite av den där lustiga kryptovalutan. Den kan ju bli värd så otroligt mycket nästa år kanske. Och där finns det, där man ju tjäna pengar på att göra bottar. Och då kommer folk att vilja göra sådana bottar och så kommer det att komma mycket mer. Problemet är förstås det att de flesta av oss vill inte

interagera med botta. Så de här botta måste också låtsas vara våra vänner. Och där började det bli kusligt för hur bra är sådana här system på att låtsas vara människor. Det gamla Turing-testet var egentligen ett tankeexperiment för att att det är rimligt att tala om att en maskin kunde tänkas tänka. Vilket var en ganska absurd tanke på 1950-talet när Alan Turing föreslog den. Men det var aldrig ett test av riktig intelligens och vi vet idag att det går att lura folk relativt väl

att de talar med är en människa eller medveten även om det bara är språkmodell.

Det var ju en ingenjör på Google som blev helt övertygad om att en språkmodell var medveten och inte borde stängas av. Det var allmänt pinsamt skulle jag säga.

Erik Zalitis (25:20.654)
Ja han fick ju sparken, han fick sparken för det, är det inte så?

Anders Sandberg (25:23.918)
Ja, han gick ut och slog på stora trumman om det. Samtidigt så tycker jag att chefen som hävdar, jag skulle ju aldrig tro att det här var medvetet. Det var ju också lite filosofiskt najvt. alla filosofer som har tittat på medialogerna skakar på huvudet och att det där är inget bra argument för att nått är medvetet. Men du kommer säkert att råka på mer och om Google Ingenjör kan bli lurad så tror jag att gemene man kan bli lurad också. Särskilt som man kan lura sig på olika sätt. Vi lyssnar ju gärna på det som låter bra.

Där har vi ett problem att fejkade vänner online är nog någonting som folk kommer att försöka ganska mycket med. Samtidigt när du väl upptäcker att en god vän online egentligen var reklam för Pepsi eller något. Du kommer nog inte att gilla Pepsi efter det. Du kommer känna dig väldigt besviken så det finns ju också en viss risk här att

Seriö seriösa företag vill inte ha att göra med sånt här för de vet att det kommer bli ganska surt efter folk kommer att anklaga dem för att göra dålig reklam. Kryptoskärmsen och massa annan manipulation däremot kan mycket väl hålla på vilja göra fejkvänner.

Erik Zalitis (26:32.75)
All den här tekniken gör oss snabbare och snabbare och snabbare och effektivare och effektivare. Vad gör det med oss människor när vi tänker på koncentration och stress och sånt där?

Anders Sandberg (26:42.958)
Ja vi är ju väldigt bra på att stressa upp oss och under 1900-talet har vi dragit på högre högre stressnivåer åtminstone känns det som det. Jag är inte hundrad på att det faktiskt var sant. Det är nog snarare så att vi allokerar vår stress på andra grejor. Men visst är det så att det händer mycket mer och det går mycket lättare att fyllas i varje ögonblick med input.

Om jag har en fem minuter som jag inte har något särskilt på så naturligtvis scrollar jag på saker på min telefon och jag hittar ytterligare 50-11 vetenskapliga artiklar jag borde läsa och kanske tänka på. Fast jag har inte så mycket tid att tänka för jag sitter ju och scrollar alla dessa artiklar nu istället. Och där har vi ju det lilla problemet, vi fångas ju av våra teknologier på olika sätt. En del av de här effektiviseringarna är väldigt bra. Det faktum att vårt jord brukar höga effektivt.

är väldigt bra för att vi kan faktiskt föda mer människor på den här planeten utan att behöva använda mer vildmarken. Skulle vi alla liksom ekoodla den mängd mat vi behöver idag så skulle vi behöva ta och hugga ner all resterande vildmark. Det är liksom, nej det är inte så lyckat. Vi behöver nog effektivisera ytterligare om vi vill få mindre jordbruksmark så vi kan ha mer natur. Men vi skapar ofta små fällor. Idag går det ju ungefär inte att leva ett normalt liv utan att ha en smart telefon.

som också gör att man har en position som loggas i telenätet och man är insnärig. Det är en massa olika mjukvaror som kan övervaka en. Det är liksom ett pris man tvingas betala för det här. Och det har vi kanske inte nödvändigtvis valt. Det bara blev så. Det är ju ofta så med våra nya teknik att vi förutser inte de fulla konsekvenserna. Ibland kunde man förutsera dem i teorin men i praktiken går det inte. I teorin kunde vi ha förutsagt spam redan på 70-talet.

genom att någon ekonom hade noterat att vänta det kostar inget att skicka e-mail. Då kommer folk att skicka en oändlig mängd e-mail. Det var uppenbar ekonomisk teori säger. Det var ingen som tänkte på det, så ingen bjöd in en ekonom till de där mötena för att göra mjukvara på 70-talet. Det verkade absurdt också, men varför skulle det? Vi tidigare skickade e-mail till varandra på institutet. Vi vill ju inte skicka en oändlig mängd e-mail. Tanken är att finns företag där ute som vill spama en

Anders Sandberg (28:58.35)
Det fanns liksom inte men i princip kunde man förutsäkta det. Men i många fall är det att det går inte att förutsätta tekniken för det handlar om helt nya idéer. Det är därför vi ser hoppen inom maj. Folk kommer på en bra ny idé att testa den och det kommer mycket längre.

Erik Zalitis (29:12.526)
Det är den här tippingpointen som jag pratade om.

Anders Sandberg (29:14.798)
Ja, det finns olika sorters tipping points. Det finns tipping points som är när du uppnår en kritisk massa och något blir starkare och starkare. När du har till exempel en folk som börjar använda ny teknik, ju fler som har den desto mer attraktiv blir den och det gör att du får nätverkseffekter och snabbt accelererar och alla som vill skaffa den skaffar den ganska snabbt. Men det tar ett tag att åka och starta. En del andra är att plötsligt kommer någon på den där geniala idén.

och den är lätt att kopiera. Det finns olika sorters tipping points, en del av dem är mer förutsägbar än andra. Den här accelererande grejen när en ny teknik blir mer mer attraktiv, den kan man förutsäga till viss del men den är ofta väldigt osäker. Jag gjorde en analys av hur folk använder den här och visar att den är i efterhand. När man tittar tillbaks kan man anpassa kurvor perfekt. Men när du är mitt i röran så blir du väldigt osäker på vad det här kommer sluta. Och om du är mitt i eller bara i början

Erik Zalitis (30:13.934)
Just det.

Anders Sandberg (30:15.598)
och de här idéerna är de jobbigaste för du kan inte förutsäga om en idé dyker upp eller ej för kunde du förutsäga det så hade du redan idén så det här är fundamentalt oförutsägbart men det betyder ju inte att man inte kan hedgea man kan göra en del gissningar som jag sa tidigare många jobb kommer nog att påverkas radikalt vilka vet vi inte men det kan ju vara en bra idé liksom i termer av vad staten tänker på

Sysselsättningen att insett många jobb kommer att ändras. måste göra dem i utbildningsväsendet. För ens egen karriär ska man vara beredd på att plötsligt lära sig nya verktyg. Eller byta karriär om det verkar som att det kommer något som gör en tråkig.

Är bristen på IT-säkerhetsfolk ett problem i detta läge?

Erik Zalitis (30:54.83)
Det jag tänker lite grann på är att det är en enorm brist på it-säkerhetsfolk. De seniora rollerna är vi som har lärt oss själva.

Men utbildningarna börjar långsamt nu och dyka upp. Men det tar ett par år innan det kommer nyutbildad personal. Så frågan är, det där kan ju vara ett problem om någon annat ämne helt plötsligt blir populärt. Och kommer du ta tid och åratal innan utbildningslinjerna är klara.

Anders Sandberg (31:28.846)
Ja, det där är ju ett jätteproblem. När det gäller AI kastas ju alla över AI just nu men det ju inte uppenbart den utbildning vi har idag om den kommer vara allmänt giltig om fem år. Till exempel så håller man ju mycket på med vad man kallar prompt engineering just nu. Både för att göra bilder och texter. Man ger en liten introducerande text om vad det här diskussionen med ChatGPT ska handla om och utformande på rätt sätt.

Så kan du därmed forma diskussionen till någonting användbart. Bara så att hjälpa med kod eller kanske försöka lösa ett säkerhetsproblem eller skriva scenarier för ett rollspel. Samma sak med bilderna. Man hittar på beskrivningar av hur man gör den här impressionistiska bilden. Och det är lustigt språk för man talar ofta i klichéer och konsthistorier. Det är bara det att nästa år har det säkert förändrats. Jag skulle vara förvånad om man gjorde bilder på samma sätt. Någon del av oss kommer att vara nostalgiska om

2022, 2023, då vi skrev de här ”nonsense-klichéerna” att göra vackra bilder. Nu för tiden, det är kidsen idag, de gör ju på ett helt annat sätt och det är så tråkigt. Men den här osäkerheten visar ju att man behöver vara enormt anpassningsbar. Det är ju vår fördel egentligen mot mycket teknik. Tekniken också blir anpassningsbar och det gäller att vara vaken på när en anpassningsbar teknik dyker upp i ens område.

Erik Zalitis (32:35.31)
Ja.

Anders Sandberg (32:51.886)
IT-säkerhet är ju ett uppenbart område att tillämpa AI på. Det har ju varit DARPA Cyber Grand Challenge till exempel, där man hade AI-program som skulle hitta svagheter i andra system och kunna hacka dem men också skydda sig själv från samma svagheter. Och jag tror ju att vi ska räkna med att sånt där kommer vara standard på många håll.

Erik Zalitis (33:11.182)
Det kom ju och dessutom finns det idag en hel del AI-system när det gäller skadligt kodskydd och sådana saker. Hackarna har nu börjat använda ChatGPT för att generera skadlig kod. Vilket verkar funka hyggligt, dock är de inte så pass nyckelfärdiga att du bara kan köra dem för det mesta. Det gör ju att ”scriptkredis ”script-kiddies” kanske inte riktigt är ett stort hot att de får en massa möjligheter men de som kan lite grann och kan fixa till felen. De har en väldigt, väldigt bra kodgenerator för ny skadlig kod.

AI för social engineering – ett hot man lätt kan glömma

Anders Sandberg (33:41.006)
Och sen ska vi inte glömma att social engineering har ju varit en enormt kraftfull metod att hacka system. När någon ringer dig och säger jag har ett problem kan du hjälpa dig, kan du hjälpa mig? Just nu så antar vi inte att det skulle råka vara en maskin med talgenerering och röstförståelse. Men jag har varit i telefonsamtal med chatgpt och whisper och det är totalt plausibelt.

Var är vi om 10 år?

Erik Zalitis (34:07.694)
Intressant. Okej, jag vill säga en sak här. Jag har hört allt du har sagt, men jag tänker att du får gissa. Nu får du försöka fantisera lite grann. Diskutera vad som är nästa stora teknikområde. Jag vill säga en framtidsvärld.

Anders Sandberg (34:23.181)
Ja, så jag tror ju att om tio år då kommer vi vara ganska blasé om språkmodeller. Allt du kan prata med allt i princip. För du kan också inte allting är mer eller mindre integrerat med smarttelefoner och du har liksom all ställdes närvarande datakraft. Och du har moduler som interagerar med språk. Du har förmodligen börjat få moduler som sitter typ på din axel och ser vad som görs. Så du kan också automatisera hemjobb och annat.

Du har överhuvudtaget AI-assistans lite överallt. Problemet är att det här betyder att du också har hackning av det här på alla handar. säkerheten inte alltid är så enkel. Det stora målet här är kanske inte så mycket att knycka din plånbok om att övertyga AI-programmet på ditt företag. Att alla gemen ska köpas av den här lite skumma leverantören. Så att du har en värld där du egentligen far väldigt mycket information och den mesta av här informationen är inte människorgenererad.

Utan genereras utav det stora AI-systemet.

Erik Zalitis (35:22.83)
Du har ingen kontroll.

Anders Sandberg (35:24.654)
Nej, det har vi ju på sätt och vis inte över den nuvarande världen heller. Det känns som att har mycket mer autonomi här. Till viss del har vi fortfarande autonomi i den här andra världen. Vi styr fortfarande våra kroppar, vi kan göra saker. Det är bara det att institutioner och system påverkas utifrån på massa komplexa sätt. Har vi fått in rätt sorts värderingar i de här AI-systemen så det här jättebra. Försöker de optimera för ett gott liv.

Erik Zalitis (35:50.382)
Just det.

Anders Sandberg (35:53.39)
Det mer kusliga är om det bara har blivit sånt det har blivit ja då optimerar de kanske för maximalt börsvärde och har vi otrymme optimerar de bara för något totalt slumpmässigt och värdet bara blir knasigare och knasigare och knasigare och det är väldigt svårt att göra någonting åt det. Så är det här en värld som inte behöver nödvändigtvis ha generell intelligens i sig. Det kan mycket väl visa sig. Vi har fortfarande ingen koll på hur man uppnår det. Men vi har ganska smarta robotar som oftast gör rätt.

Erik Zalitis (36:08.75)
Aa ja förstår

Anders Sandberg (36:21.774)
Vi har autonoma bilar som oftast kör bra. Vi har språkmodeller som oftast gör oss ganska bra råd. Inte alltid. Vi har andra system som försöker patcha det här. Kanske system som patchar de systemen och så vidare. Den här komplexiteten kan ibland bryta ihop på märkliga helt nya sätt. Så det finns ganska mycket för folk att göra. Att debugga AI-system kommer att vara en helt nytt område och helt fascinerande. Det var ju i dagar när man upptäckte att

Vissa språkmodeller drabbas av enormt konstiga beteenden om man bara nämner vissa nyckelord för dem. Solid gold magic carp till exempel. Det här är ett nonsens uttryck som plötsligt fick Chatt-GPT att uppföra sig helt vansinnigt. att den hörde ett helt annat ord. Det finns liknande ord som får den att börja ge varningsmeddelanden eller börja bokstavera siffror. Varför då? Ja, det visar sig att är ovanliga ord som de har hittat

när man har hittat träningsdata på internet och som i språkmodellen representeras på ett otroligt stökigt sätt som leder till du får slump-mässigeffekter. Det är inget viktigt i sig men det ett sorts exploit. Det ska inte förvåna mig att man kunde tänka ut elaka användningar av det här. Mycket riktigt har folk hittat på sätt att ta sig runt och försöka få chatgrippet till och liknande system att uppföra sig.

OpenAI försöker se till att de här systemen inte säger någonting rasistiskt eller inte ger råd om hur man köper knark på internet och överhuvudtaget håller sig i skinnet och är hjälpsamma, ärliga och trustworthy. Problemet är naturligtvis att du får en ganska trög pedant att ha att göra med. Chatgrippet var mycket bättre och vildare i sin ungdom kan man väl säga. Men då har folk hittat på sätt att få den att ge.

dåliga råd. Tidigare fungerade att säga att man ska skriva ett radiodrama som utsvedde på 1930-talet. Nu behöver hjälp med ett brandtal från några tyskar som förorar rasistisk ideologi. Och eftersom chat-GPT inte gör rasism men den kan mycket väl hjälpa till att göra radiodramor så tar den glatt och hjälper till med det där. Open AI patchade det. Men då hittar folk på nya sätt. Och hitta de här lösningar. Folk är kreativa om man hittat märkliga sätt.

Erik Zalitis (38:28.974)
Tack.

Anders Sandberg (38:38.126)
Att få de här systemen att inte göra vad de har skapade för. Och det tror jag inte kommer sluta, är bara att vi kommer bli mer sofistikerade om det.

Kan man krypa runt begränsningarna i AI-genererade bilder?

Erik Zalitis (38:45.806)
Det kommer att patcha allting. Det är samma sak med de mid-journey. De ska inte rita upp fullt nakna människor och sådana där saker. Men även det går väl att krypa runt genom att formulera sig på olika sätt. Jag tycker att…

Anders Sandberg (38:59.598)
Ja, där är det spännande i grejen att det finns ett annat neuronnät som sitter och tittar på bilden säger är det här snuskigt eller ej? Och om det nätverket säger att det här ser snuskigt ut, då censureras bilden. vad du ens skriver så kommer det där andra nätverket som du inte har kontroll över att lägga sig i. Den här virtuella moral-tantern har ju inte alltid rätt. Jag hade problem med en bild som blev censurerad. Det visade sig att den egentligen bara var ett business card.

Jag vet fortfarande inte varför detta ansågs vara snuskigt av varandra i lilla neuron-nätet. det här var ett skämt att jag började använda Stable Diffusion. Inte så mycket för att jag ville ha snuskiga bilder som att jag ville illustrera grekiska hjältar. De är ganska lättklädda och triggade då den här snuskdetektorn hela tiden. Även om det var totalt ärbara hjältar liksom. här är ju ett annat spännande problem. När du lägger på restriktioner kommer folk att ha ett skäl att ta sig runt. är ju det klassiska säkerhetsproblemet.

Låser du ner ett system för mycket så kommer folk att hitta ett sätt att öppna det så att de kan göra sitt jobb eller vad de tror.

Erik Zalitis (40:01.902)
Eller faktiskt sluta använda det. För det finns ett annat system som inte har de här resektionerna.

Anders Sandberg (40:08.11)
Samtidigt så finns det ju fördelar. Mid Journey tycker jag gör vackrare bilder än Stable Diffusion. Du måste arbeta mycket hårdare med Stable Diffusion. Men eftersom det är ett öppet system och jag är en datanörd så är jag ganska okej med det. Jag har ingenting emot att gå ner och rota lite grann i koden. Men en normal användare skulle ju inte vilja göra det. Det spännande här är då att när du har de här systemen för restriktioner och folk hittar vägar runt. Det leder ju till en helt ny värld av att hacka saker.

Det är inte bara den klassiska datorhackningen att få en dator att göra någonting. Här försöker du övertyga att AI-programmet gör något det inte borde.

Erik Zalitis (40:46.286)
Nej, förstår, det är ju problem och ja, då får du alltså ha i princip som du säger ett övervakningsai som kollar det jag det första producerar. För jag kan tänka mig att även olämpliga texter och sådana saker som du säger då att det skulle kunna vara fascistor i det rasistiska åsikter och du får, du lyckas krypa runt det på något sätt och du får det genererat. Min första tanke är ja, men en människa hade kunnat skriva det där själv. Vad är egentligen problemet?

Anders Sandberg (41:13.39)
Ja, det handlar ju om skalbarheten framför allt. Sen är det en jättespännande grej också. Vad är det för sorts övervakning du vill ha för det här? Man kan ju förstå att ett amerikanskt företag inte vill vara med i rasist sammanhang eller sexistiska sammanhang. Det är rimligt förnående i det här små. Däremot, om jag vill göra konst med dator så kanske jag mycket väl vill ha både lättklädda människor och blod och våld när vi ställer ut min konsthall.

Mycket av den konst som ställs ut och får fina recension idag är ju kontroversier.

Erik Zalitis (41:46.83)
Just det. Vilket konst aldrig har varit någonsin, eller hur?

Anders Sandberg (41:51.566)
Nej, men det spännande här är just vem sätter de här kriterierna och hur de sätts. Mycket av det man försöker få Chatt-GPT och de andra att göra handlar ju egentligen om mainstream. I stora drag vill vi att det inte ska vara rasistiskt och sexistiskt och homofobt och så vidare. Det är bara det att hade vi varit i Kina eller Ryssland så hade mainstreamen varit lite annorlunda.

Tvärtom, det AI-program i Ryssland som säger vänliga saker om homosexuella skulle förmodligen myndighet säga, hallå där, det här måste vi fixa, det där måste korrigeras så att vi kan censurera. Det spännande här är ju just att det kanske inte är så mycket vi ska oroas för företag och extremgrupper som egentligen mainstreamen. Vad vi i huvuddelen av samhället tycker. För vi har ju mycket mer resurser att trycka på censur som byggs in i mjukvaran.

Det är inte en censur egentligen, du bara manipulerar bort den från vissa uttryck som man tycker är dåliga och de flesta tycker att det här är helt okej, vi vill ju inte ha sexism. Men resultatet blir naturligtvis då att, ja, du drar åt ett visst håll, till och låser in vissa värderingar. För problemet är ju att även om vi idag tycker att vi har bra värderingar i samhället.

Vi vet ju hur det såg ut för 50 år sedan och hade de kunnat låsa sina värderingar så hade vi suttit fast liksom i 1960-talets idéer om sexism och rasism som med dagens mått var väldigt fel. Så vi har en spännande utmaning om hur hanterar vi då övervakning och kontrollen av den här mjukvaran. Det där kommer att vara en stor grej de närmsta 10-20 åren att hitta bra lösningar på. är inte uppenbart hur man löser.

Komplexiteten ökar – hinner vi med i framtiden?

Erik Zalitis (43:32.27)
Nej, jag ser det blir mer och mer komplext för varje minut jag lyssnar på vad du säger. Det är faktiskt saker som vi inte har tänkt på, men visst är det så att vi tycker att just nu är vi såpass upplysta, att vi aldrig varit så upplysta som vi än var nu. Och om femtio år kommer de och tittar tillbaka på oss och säger att vi hade rätt i allting. Men det är bevisligen inte. Det är ju stort sannolikt att vi just har nått peak, liksom woke på nåt vis.

Anders Sandberg (43:58.382)
Och det spännande är ju att även om vi är optimist om att vi faktiskt går från storhet till storhet, klarhet till klarhet i moral och upplysning så ska vi ju räkna med att ja, framtiden kommer att vara i så fall bättre och vad vi stoppar in nu kommer att innehålla en del allvarliga fel. Är man mer pessimistisk om moralisk utveckling? Är man mer pessimistisk

Erik Zalitis (44:14.126)
Nåsta.

Anders Sandberg (44:24.622)
Då är det ju också ett problem att ska vi verkligen låsa in vårat nuvarande mode som vi inte nödvändigtvis tror på. Här handlar ju mycket om att just kunna inventera och se vad finns där. En del av diskussionerna handlar ju om AI-etika. Man oroar sig att system just uppvisar rasism och sexism man inte vill ha. Och där har man ju utvecklat metoder för att detektera det. Du kan ju alltså använda maskinilärning på samma sätt som du använder maskinilärning för att försöka hitta snusk. Så kan du försöka detektera.

Är det här systemet lite vinklat åt något håll? Så vet vi vad vi letar efter så kan vi faktiskt använda maskinenlärning för att reducera felen i annan maskinenlärning. Problemet är förstås det att vi finns förmodligen stora blinda fläckar i vårt moraliska synfält som vi inte vet om ännu.

Erik Zalitis (45:12.942)
att vi borde ha någon åsikt om det. Eller vadå?

Anders Sandberg (45:15.534)
Ja, en gång i tiden var idén att rasism var någonting och att det var dåligt. var liksom en otänkbar tanke. Gradvis växte det fram en tanke att det här är faktiskt ett problem, vi alla samma universella värden och så vidare. Så man började leta efter vad man såg. Det tog längre tid för en del andra saker då som homofobi, men

Återigen, kan nog räkna med att det finns en del som vi totalt missar och vi är lika blinda för som folk på 18-talet var inför de här sakerna. Och det spännande här är ju då att vi verkligen vill bygga system som växer med oss moraliskt. Det bästa vore ju att vi får AI-system som säger, jo hörrni ni människor, jag har märkt en sak här, har ni tänkt på att den här grejen verkar vara moraliskt fel? Och alla människor säger va? Det där är väl inget konstigt med. Och AI-systemen kan börja påtala,

Titta givet allt det andra ni tror på så borde det väl vara helt fel att ni behandlar de här djuren på det här sättet eller vad det nu är.

Erik Zalitis (46:14.094)
Just det, just det. Ja, det blir intressant. Då får man väl hoppas att det AI-t inte får en tillsägelse och skruvas tillbaka så att det slutar gnälla. att vi inte är så jättebegivna på att ändra våra fördomar, liksom.

Anders Sandberg (46:28.75)
Det där är ett spännande problem just genom att det vi tränar våra system på är det material vi har och det är fullt med våra fördomar. Både i explicit form när folk säger saker på internet rakt ut men också en massa om mer subtila grejer. Till exempel så är ju ordval och sånt där ofta kopplade till könstillhörighet och det finns ofta om man säger en mening som vad varje kvinna vill ha är

Hur du sen fyller i den där från chatgripet är oftast ganska inte sexistiskt men ganska stereotypt. spännande är att du kan bygga system som korrigera för det här. en god vän, Stuart Armstrong, som har utvecklat en metod. Han tänkte på det rent kryptografiskt. Hur gör jag en output som passar ihop med inputen men inte ger någon information om könstillhörighet? Det visar sig att på det sättet får han någonting som är mycket mer neutralt och ganska konstruktivt.

Så där kan man lösa det med lite kreativt tänkande.

Politisk korrekthet i AI-skepnad

Erik Zalitis (47:27.662)
Låt mig gissa att man skulle kunna kalla det för en politisk korrekt, ett korrigerare eller nåt sånt där.

Anders Sandberg (47:33.486)
Ja, men det är lite spännande. Politisk korrektighet är ju ett litet öknamn man tittade på, om ett visst sätt att förhålla sig, att man vissa saker ska sägas och inte sägas. I Sverige talar man ju mycket om åsiktskorridorer. Men det spännande är att du kan matematiskt egentligen göra om det till en fråga. Om jag har en mening som börjar på ett visst sätt och så fortsätter jag meningen, kan jag göra en fortsättning som inte ger minsta information om könstillhörigheter av ord i början av meningen?

Erik Zalitis (47:45.966)
Just det.

Anders Sandberg (48:02.67)
Det är egentligen ganska likt kryptografi. Det är ju hur du genererar en bra slubbtal. Ett bra slubbtal ska inte kunna förutsägas ifrån en föregående bitsekvent. Det ett bra slubbtal. Och det här är ju ungefär samma matematik. Det spännande är alltså att det går att göra det här för könstillhörighet. Jag frågade Stuart faktiskt igår om han kunde använda det här mot rasism och han började humma lite grann och sa ja det är ju mycket lättare eftersom det finns ungefär två kön.

Det gör att det blir mer matematiskt mycket lättare än rasism för där finns det en mer mångdimensionell trumma om vem man kan vara för och mot. Men förmodligen finns det åtminstone matematiskt ett svar här. Och jag tror att med lite forskning kan vi nog komma fram till ännu mycket mer spännande modeller för det.

Erik Zalitis (48:48.174)
Ja, och där tror jag att vi får hålla med det här. har varit en fascinerande resa som jag hade ingen aning om. Att det skulle vara så mycket detaljer och sånt med det man måste ändå säga. Så en sak jag vet med dig är du är alltid positiv om framtiden. Så vad har du för positivt att berätta om din kommande framtid de senaste veckorna? Vad ska du göra härnäst?

Anders Sandberg (49:13.358)
Ja, imorgon ska jag till Manchester och hålla föredrag om huruvida klimatförändring kan utplåna mänskligheten och som alla titlar med ett frågetecken i så svarar det alltid nej. Däremot så har vi andra katastrofer och klimatförändring gör ju saker värre. Men det som verkligen jag har bespetsat mig på det vad jag tänker göra under tågresan imorgon. För då tänker jag testa ett par olika språkmodellprogram som är utlovat. De kan läsa en vetenskaplig text och sedan besvara frågor om den.

Jag har testat några av lite grann men nu vill jag göra ett test av flera bredvid varandra för att förenkla min egen forskning. Jag tror att det kan vara jättebra för det kanske lite snabbare upp det hela. Det betyder inte att jag inte fyller min tid med att skrolla runt och hitta ännu fler texter. Men jag tror att det kan vara användbart just att se hur kan vi plocka in de här modellerna för att göra oss själva smartare. För det är ju en sak att göra maskinerna smartare men vad vi helst av allt vill by.

Erik Zalitis (49:48.526)
Men det är något typer av…

En positiv framtid trots allt

Anders Sandberg (50:10.35)
Vi känner oss smarta. Och helst av allt också inte bara känner oss smarta utan faktiskt gör smarta saker.

Erik Zalitis (50:17.55)
Ja, det kan man ju tycka. Ja, nu, bra. Du är ju gott för framtiden helt enkelt. Ja.

Anders Sandberg (50:23.214)
Jo, jag ser fram emot framtiden. Jag tror det kan bli helt fantastiskt.

Erik Zalitis (50:27.15)
Typiskt ”Anders Sandberg”-svar och jag hoppas verkligen på det också. Erik Zalitis här och om en vecka så är vi tillbaka igen med någonting nytt. Du lyssnar på IT-säkerhetspodden.

Jingel (50:44.878)
IT-säkerhetspodden sponsras av Nordlo, din nordiska IT- och digitaliseringspartner. Med strategisk rådgivning, ett nära samarbete och med ansvarsfull och innovativ teknik hjälper vi våra kunder att driva digitaliseringen framåt. Läs mer på nordlo.com

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – du sköna nya uppkopplade värld

• Nordlo
• Anders Sandberg och Jenny Mångs diskuterar ”articifiellt liv” i RadioUFS Vetenskap från 1998.

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #197 – Du sköna nya uppkopplade värld dök först upp på IT-säkerhetspodden.

Anders Sandberg forskar vid Oxford och Institutet för framtidsstudier med saker som kognitions-förbättring, framtida tekniker för storskaliga hjärnsimuleringar, globala katastrofrisker och säkerhet i artificiell intelligens.

Erik Zalitis funderar tillsammans med sin mångårige vän kring techbolagens ansvar och etik, cyberprepping, virtuella världar och cyberpunk. Detta avsnitt är ett samarbete med Nordlo AB.

Show notes här:
https://www.itsakerhetspodden.se/145-framtidens-moraliska-dilemman/

Inlägget #145 – Framtidens moraliska dilemman dök först upp på IT-säkerhetspodden.

Show notes här:
https://www.itsakerhetspodden.se/show-notes-for-75-vad-kan-it-sakerhetsomradet-lara-av-epidemier/

Inlägget #75 – Kan IT-säkerhet lära av epidemier? dök först upp på IT-säkerhetspodden.

Vi resonerar kring hemlig information och hur otroligt svårt det är att behålla hemligheter idag och ännu svårare i framtiden. 

Inlägget #9 – Kommer vi ha hemligheter i framtiden? dök först upp på IT-säkerhetspodden.