Året är 2026 och många är bekymrade över artificiell intelligens. Men inte Anders Sandberg på Institutet för Framtidsforskning. Han ser problemen och utmaningarna som lösbara och framtiden full av potential. Idag talar Erik Zalitis med Anders om var vi är nu och hur 2030 kommer se ut. IT-säkerhetspodden har diskuterat AI långt innan det blev populärt och nu är det dags att se framåt men också bakåt: vad hade vi fel om och när förstod vi vart vi var på väg? Det handlar om den kommande AI-kraschen, Kinas senaste utspel, hur AI hackar allt, om AI någonsin kommer hitta på en ny konstform, varför allting verkar skena just nu och även varför vi inte ska oroa oss över SkyNet och robotar som ser ut som Arnold. Det finns dessutom mycket att lära om hur Sovjet-Ryssland såg på Ronald Reagan och dagens fruktan för framtiden.

Inspelat: 2026-09-10 (publicerat 2026-09-13)
Deltagare: Erik Zalitis och Anders Sandberg.
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – AI

Här är transkriptionen av avsnittet

Erik Zalitis (00:11.086)
För några år sedan började it-säkerhetspodden prata om AIs utveckling och många gånger har vi mött Anders Sandberg som forskar på en hel del saker och ting som framtidsstudier och han är med oss här idag för att snacka om var AI står 2026, lite spaningar och titta in i framtiden. Välkommen Anders!

Anders Sandberg (00:31.182)
Tack Erik, det är jättekul att vara här.

Erik Zalitis (00:33.198)
Ja, så vi möts igen helt enkelt.

Anders Sandberg (00:35.886)
Yes, det väl här då man ska sitta där med att stryka sin katt och ha några laser. Tyvärr har inte budget för det på institutet.

Erik Zalitis (00:44.206)
Nej, jag förstår det och framförallt så kan jag tro att det är lite halvt tråkigt att använda gamla bond-metaforer när världen ser ut som den gör idag. behövs strikt sett inte. Vi har våra egna relativt kreativa ondskor har vi inte.

Anders Sandberg (00:57.262)
Ja, vi har ju en del riktigt bra superskurkar. Jag har ju min egen mentala lista, vad miljardärer jag mött som är bond-skurkar. Det finns de som är på den goda sidan också, men det finns ju en del intressanta figurer. Men det är ju också det att våra metaforer för hur världen funkar ofta formar hur vi tänker på framtiden.

Erik Zalitis (01:18.542)
Ja, jag tänker det också.

AI – ett område med riktigt dåliga metaforer

Anders Sandberg (01:19.886)
Det finns en klassisk framtidsforskningsbok Fred Pollack, bilden av framtiden från 50-talet. Den är helt bortglömd idag. Som all riktigt riktigt lyckad forskning så tycker man idag det självklart. Han menar ju att vi resonerar om framtiden genom att vi drar upp bilder. Vi har standardexempel på olika saker som alla ungefär känner igen. Så om man talar om AI och så säger någon Terminator så tänker sig alla det där skelettet eller kanske någon svartsnäger som säger någonting coolt.

Den använder vi när man börjar tala om AI-risk på Goto.

Erik Zalitis (01:51.694)
Ja, just det. Det är vår go-to-guy för att förklara vad AI är på nåt vis.

Anders Sandberg (01:57.262)
Ja, vilket inte ens är en särskilt bra förklaring. En skelettliknande robot som är efter dig är inte nödvändigtvis en bra beskrivning. Men Pollack’s poäng var ju att varje samhälle använder de här bilderna och att skapa nya bilder är inte alltid så lätt. Ibland händer det ju att någon konstnär eller författare kommer på en bra grej. Till exempel idag när folk vill illustrera AI så är rätt många som är lite trötta på Terminator. Så de använder istället då exmakerna.

Erik Zalitis (02:11.246)
Nej.

Anders Sandberg (02:25.23)
Där är det kvinnlig robot som inte är lika fysiskt farlig men det är mer mystiskt hotfullt.

Erik Zalitis (02:32.974)
Jag läser just nu faktiskt Asimovs robotböcker där. Och jag tycker det är intressant. De har ju två robotar som… Den ena ser ut som en robot och den andra är väldigt mycket som en människa. Och jag tycker det är en intressant grej. Dessutom kanske jag började fokusera AI på… Det måste vara en robot. Den måste ha en presens i världen, fysisk. Men de AI vi pratar om idag, de har ju inte det.

Anders Sandberg (02:57.454)
Nej, de flesta är synnerligen abstrakta. I många fall är de mycket märkligare än det mesta du hittar i science fiction. Asimons robothistoria, det finns ju en hel del om AI där också, men han skrev ju på 40- och 50-talet. Så han beskriver ju liksom enorma byggnader fulla med datamaskiner. Det blev rätt, men hans idé var att den där stora datamaskinen är en enda varelse.

Men även han tänkte faktiskt lite framåt. talar ibland om multivakter, sammankopplade AI-system som dominerar världen i en del av hans historier. Men hans bild var ju fortfarande någonting som var en individ. Medan våra AI-system, de är lite märkligare. Det är både en individ och ett kollektiv och den splittras och grenar ut sig och ibland sammanflätas då.

Är de inte någon form av personligheter, ändå?

Erik Zalitis (03:45.71)
Jo, och sen har vi ju det här sättet vi antropodmorferar, jag kan inte säga ordet ordentligt. är så här, är väl Claude, ChatGPT, de har ju blivit som personligheter för oss, har de inte det?

Anders Sandberg (03:58.19)
Personligheten är ju ett sorts interface. man ska dra lite exempel från science fiction så har vi TV-serien Ghost in the Shell. Den tv-serien förekommer en spindelriknande stridsvagnsrobot. De har personligheter som som glada skolflickor. Det mest fascinerande med tv-serien är att ibland ser man igenom det här och inser att personligheten är ett overlay.

Erik Zalitis (04:12.59)
Ja, visst.

Anders Sandberg (04:24.11)
Det är ett interface ovanpå vad som egentligen är högst främmande gruppintelligens. Men de där små glada skolfickertjuten de distraherar och i många fall kanske man bara ser det. För vi människor tenderar att reagera mer på något som är människor likt än något som faktiskt är gruppintelligens av spindeliknande stridsvagnar.

Erik Zalitis (04:44.014)
Det säger de, vi ser ju liksom, tittar på ett moln och ser att det där ser ut som Carl Bildt eller det är liksom Donald Trump och vad som helst.

Anders Sandberg (04:53.614)
Problemet är att vi utformar våra system. Jag har ofta klagat på att chatbotar stör mig. De utger sig för att vara nåt människoliknande. Man interagerar på ett nåt människorliknande sätt. Jag tycker i många fall om att använda Tomé som en expansion av mig själv. När verkligen kan programmera kommandona ett system- då är det jag och systemet är ett. Men chatboten måste jag hålla på snacka med den där ”Clauden”.

Erik Zalitis (05:12.782)
just det.

Erik Zalitis (05:21.23)
Du vill kunna tänka! Den expanderar dig. Jag helt inne på det. Jag köper det rakt av. Jag använder Claude rätt mycket för programmering. Men det jag som styr allting. Det jag som gör programmeringen. expanderar. Jag har byggt huset. Den bygger fönster. Men jag säger, sätt in ett fönster där.

Anders Sandberg (05:38.254)
En riktigt bra assistent läser dina tankar och du vet vad du kan och inte kan göra. När man samarbetar riktigt bra blir det sömlöst. Men mitt problem med de här agenterna är att ofta blir det lite klantigt. Det är lite som problemet med uncanny valley för robotar. Gör du en robot som är människorliknad, men det inte tillräckligt människorliknad så blir det väldigt störande. Samma sak gäller också när man gör chatbotar. Fram till nyligen var det ganska ofta att det inte riktigt stämde.

Erik Zalitis (06:00.238)
Ja ja ja ja,

Anders Sandberg (06:08.046)
Samtidigt är det många människor som absolut verkar föredra att ha att göra med någonting som liknar en människa, snarast den det här mer abstrakta. Och det är en stor marknad och många bolag gick och skapade på det sättet.

Erik Zalitis (06:15.278)
Ja, oj, jag stod…

Och så frågan om AI-botten är en sann vän eller till och med en romans

Erik Zalitis (06:20.27)
Ja, och det tycker jag är en intressant spaning i tiden. Vi har en tendens att det har varit en epidemi av folk som skapar riktiga vänskasband och till och med romancer med olika AI. Därför de är ju byggda för att de behandlar dig på det sätt du beskriver att du vill bli behandlad.

Anders Sandberg (06:38.67)
Ja, det går ju att få dem att trycka tillbaka. Jag lade in i systemprompten ganska tidigt om en ifrågasätt. Sen när man gjorde senare modeller av Claude lite mer ifrågasätt i grunden så blev det en väldigt motvalsfigur. Vilket jag fann ganska stimulerande.

Erik Zalitis (06:55.214)
Ja men…

Ja, tycker du betalar inte för någon som håller med dig.

Anders Sandberg (07:01.678)
Nej exakt. Men det intressanta med romansen delvis handlar ju om att du vill ha någonting som är persistent. Och chatbotten vi har idag är egentligen inte ens persistent. Det är en varelse som dyker upp enbart i den diskussion du har. Och när du avslutar diskussionen så upphör den här varelsen att existera. Den kanske börjar existera igen om du återtar diskussioner efter några år. Men det är fortfarande inte samma sak. Det här är ju lite annorlunda mot vad folk vill ha för sina vänner.

Erik Zalitis (07:31.406)
Ja, just det. Du vill inte ha någon som har någon form av amnesi. Jag säger, Anders Sandberg, okej, bra. Vänta, ska jag bara hämta min claude.md och läsa in vad jag vet om dig?

Anders Sandberg (07:42.35)
Det intressanta med det här är att en del av oss har varit på nätet ganska länge. Det gör att vi finns i träningsdata, vi finns i vikterna. De större AI-modellerna känner mig.

Erik Zalitis (07:54.062)
Ja, och de vet inte vem jag är. Det är inte så konstigt för den andelen. Du har ju lite större footprint än de flesta

Anders Sandberg (08:00.846)
Det är både bra och dåligt. Anta att jag byter åsikter om allt. Jag blir fräns. Jag bestämmer för att gå med i KD. Jag börjar förfäkta en massa åsikter. Det kommer inte att stämma särskilt väl med vad de har lärt sig från alla mina postings om liberal-transhumanism från 90-talet. Det kan bli mycket märkliga effekter om man har levt långt och händelserkt liv där man byter åsikter.

Erik Zalitis (08:22.35)
Ja, precis. Men jag tänkte lite grann, det här är väldigt bra start på diskussionen. Jag vill gå tillbaka till du nya, sköna värd inte Aldus Huxley i Boken utan det avsnitt vi gjorde med dig. Du nya, sköna… vad nu vi kallade den? Det avsnittet, där snackade vi om hur AI skulle se ut 2030. Men då året var 2023, det tre år sedan.

Anders Sandberg (08:46.414)
Vilket innebär att vi talar om ett halvt århundrade i A.I. världen.

Erik Zalitis (08:50.51)
Exakt, det det som är grejen. Det är så att det är fundamentalt, det är något jättefel i det. Det bara det att så mycket har förändrats.

Anders Sandberg (08:57.358)
Där har vi nog en av de viktigaste förändringarna. Framtiden kommer mycket snabbare nu. Jag var ju visst en framtidsoptimist 2023. ansåg att framtiden skulle bli bra, mycket radikaler och komma snabbare än vad normala människor tycker är rimligt. Men nu har jag varit tvungen att uppdatera och idag kommer mycket snabbare än vad jag trodde.

En exponentiell tillväxt och en snabbt kommande framtid

Erik Zalitis (09:18.094)
Exponentialt, det är svårt att bedöma.

Anders Sandberg (09:21.998)
Det är alltid svårt att bedöma och exponentialfunktioner är ju famöst svåra. De flesta tänker fel om dem. det som har hänt här egentligen är att en del teknologier har liksom sammanflätats. Om går tillbaks till 2023 så fanns visslechattbotterna och LLM hade börjat visa sig vara ganska så bra. Det var en revolution utan like. Den enda motsvarigheten var ju när neuronet började fungera verkligen bra kring 2012.

Det var en chock för oss inne i fältet att skalar vi bara upp när rånet är långt bortom vad som är rimligt. Med mycket mer dator än vad vi tyckte var rimligt och med mer datorkraft så blir resultaten otroligt mycket bättre än vad alla våra teorier säger. Det var liksom den första chocken. Den andra chocken var och nu tar vi då och språkprediktion. Det känns ju som en nischad grej. Oj, vi får fram saker som påminner om tänkande.

Erik Zalitis (10:15.374)
Ja, jag ser det.

Anders Sandberg (10:15.854)
Vad som sen har hänt är att det har spridat på mycket mer för det har blivit användbart nog för att göra mycket programmering och mycket AI-forskning och vi får fram mer och mer tänkande i någon lös bemärkelse. Man inte ägna ett helt program och bara käbla om vad vi menar med tänkande och intelligens här.

Erik Zalitis (10:32.59)
Absolut, då har vi en idé om vi har någon tid över någon gång.

Anders Sandberg (10:35.822)
Någon weekend över.

Erik Zalitis (10:37.614)
Ja, det räcker ju knappt, men okej.

Anders Sandberg (10:40.91)
Det spännande är att vi har fått insikt att vi får överraskningar. När man skalar upp saker kommer nya förmågor. Sen 2023 hade man ju just börjat tala om scalinglås. Det här är en idé som säger hur mycket bättre blir prestandan på att träna nu i rånet? Om man ger det mer träningsdata eller mer träningstid eller bara större datorer. Det visar sig att om man ritar upp det här på ett log-log diagram

Erik Zalitis (10:53.71)
Jaha, vad innebär

Anders Sandberg (11:09.774)
så följer de här kurvorna en ganska rak linje.

Erik Zalitis (11:13.838)
Förklara det för mig som om det vore fem.

Anders Sandberg (11:17.934)
När jag tränar ett neuronet ger den träningsdata. Jag visar en bild och den talar om vad den tror att det är. Det där är en ko. Det var en katt. Då korrigerar man nätverket så att nästa gång är det lite närmare att att det är en katt. Så kör man igenom det här många gånger och ser till att felet i dess prediktioner blir mindre.

Det kan vara att identifiera bilder, att förutsäga nästa ord i en text, att göra drag i schackpartier och att vinna partiet på slutet. Målet är att minimera förlusten, velocity, hur det avviker från det bästa tänkbara. Då får man en kurva som sjunker. Den börjar uruselt och så tränar man mer mer. Där sjunker den ner ungefär exponentiellt, med diverse hack och komplikationer på grund av tekniska skäl.

Men om man ritar det här diagrammet på stor skala, vad händer om man ger en 10-trenningsdata, 100-trenningsdata, 1000, 1 miljon, 1 miljard, 1 triljard träningsdata. Så visar sig de här kurvorna bli förvånansvärt jämna raka linjer. Det vill säga, jag kan förut säga att om jag bara hade en dator som var 10 gånger större så skulle jag få så här mycket bättre resultat.

Erik Zalitis (12:30.638)
Och det är mer än 10, det skalar inte linjärt. 10 gånger större är inte 10 gånger bättre.

Anders Sandberg (12:34.638)
Tvärtom, tio gånger större är förmodligen något procent bättre.

Erik Zalitis (12:40.27)
Oj, det är alltså ”diminishing returns” ?

Anders Sandberg (12:42.638)
Jätte-diminishing returns. Hade det här varit en annan industri så hade ju liksom ingenjörerna och forskarna suckat med sin låga effektivitet och cheferna hade tyckt att göra någonting bättre. Men i det här fallet händer något fantastiskt. Du får förutsägbarhet. Du kan gå till investeraren och säga om vi får pengar för det här hundra gånger större datacentrat så kommer prestandat att bli så här. Och då kan man säga vi kan förutsäga det här ganska skarpt. Det var ju lugnande.

Då är vi intresserade av er och de där miljarderna, trilliarderna ni behövde.

Erik Zalitis (13:14.894)
Jag tänkte

Industrin rusar som ett snälltåg, men var går resan?

Anders Sandberg (13:16.622)
Det spännande är att det här är det som ligger bakom den här enorma ruschen att investera. Jättestora datacenter och mycket AI. Men sen kommer den lilla knasiga twisten på det hela. Bara för att jag halverar det där felet i träningen vet vi inte hur prestandan blir. För den riktiga prestandan är ju hur nöjd användaren är. Hur bra den spelar schack, hur bra den löser matematiska problem. Här sker ofta konstiga skutt.

Erik Zalitis (13:42.126)
Just det.

Anders Sandberg (13:45.55)
Det här är lite märkligt. Om jag var investerare skulle jag mer vilja veta hur bra är den här på att programmera? Snarare än hur bra är den på att få låga fel på träningsdata? Ändå har man satsat på de här inlärningskurvorna och det här har drivit den här enorma finansiella hypen kring det hela. Ursäkta nu, jag är avbröt.

Erik Zalitis (14:05.71)
Ja, just det. Det är helt okej. Det var jag som har berett dig. I alla fall, vi har tänkt att vi skulle göra så här. Vi kör lite spaningar. Om du kommer ihåg spanarna på Petra programmet. Jag tänkte att nämner ett par saker som är här och nu. Så får du fundera lite grann på det. Och då tänker jag att den första observationen är 2023 var AI-coolt. 2026 där vi är nu. Alla använder AI till allting.

Vad tänker du om det?

Anders Sandberg (14:36.622)
Det är ganska rimligt. är en användbar billig form av tankekraft. Vi har ofta brist på tankekraft. Tänka är ganska jobbigt. Även om tänkandet du får från AI inte är det bästa tänket– –så det fortfarande… Det är skönt när jag utrangerar det. Mycket av det vi gör om dagarna är vi gör saker efter vanor. Vi gör som vi gjorde förut. Våra hjärnor försöker optimera för att tänka lite lagom mindre.

Erik Zalitis (14:44.078)
Nåååå

Erik Zalitis (15:03.662)
Ja, just det. Så det är en fråga om convenience. Vad är problemet med det här då? För det problemet…

Anders Sandberg (15:09.678)
Många oroar sig om att vi slutar tänka helt och hållet. Det är jag inte så övertygad om. Att vi outsorjar vårt tänkande till andra är egentligen okej. Det är det mänsklig kultur bygger på. Men finns en risk att vi outsorjar till saker som vi inte är helt pålitliga. 2023 hade man jätteproblem med hallucinationer. Alla hade hysteriskt roligt att ha program och hitta på saker.

Det är fortfarande ett visst problem, man måste kolla upp det här lite grann. Men det har blivit mycket, mycket mindre problem. Men många inbillar sig att man inte lita på vad AIN säger. Vilket på sätt och vis är jättenyttigt. om vi hade kritiskt sinnelag om det vi hörde så skulle värdet vara betydligt bättre. Problemet att folk litar på folk. Och vi människor är ju minst lika otillförlitliga som AIN i många fall.

Erik Zalitis (16:01.102)
Det har jag tänkt på också mycket om den här grejen är ju fel så ja, då hade jag knurrat själv. Det är inga problem.

Anders Sandberg (16:07.118)
Det var ju som ett exempel jag såg i mitt flöde i morse här då, där det var en högt uppsatt chef i Washington som var ansvarig för många AI-relaterade frågor som inte trodde AI-botten kunde fylla i ett spreadsheet-formulär. Vänta, det här är 2026. Klart, ja. Och min gode vän som berättade om det här visade honom att det var ju totalt trivialt. Men han fick gärna mothugga från någon på Twitter som sa att den gör ju fel ändå.

Erik Zalitis (16:21.742)
Nåååå

Det klart.

Anders Sandberg (16:37.23)
Min vän undrar, men vänta, hur mycket fel är ett problem? Även om den gör 99 procent rätt så är det ju inte tillräckligt, vi kan ju inte lita på den. Men vänta, gör du 99 procent rätt när du fyller i ett formulär på en dator? Svaret är att ingen människa gör någonting bättre än 99 procent om det inte är otroligt enkel uppgift. Grejen är ju det att vi ofta kollar om vi gjorde fel. Kollen.

Erik Zalitis (16:57.646)
Jag har en del…

Anders Sandberg (17:03.886)
Den brukar kunna få en 99 % chans att upptäcka felet. Men jag skulle inte inbilla mig för fem år att jag skulle fylla i hundra formulär felfritt. Det tror jag inte.

Erik Zalitis (17:16.334)
Nej, det kan jag köpa, men betänk det att när vi tittar på datorer så säger vi datorer gör inte fel. Du har den här grejen att en människa blir trött, okoncentrerad, skriver in i fel kolumn och grejer. Det ska inte ett A göra.

Har Asimovs science-fiction böcker något att säga om AI och robotar?

Anders Sandberg (17:29.966)
Den ska inte göra det, men den gör ju det. Det är lite för att vi har en bild av vad AI ska göra baserad på science fiction. Asimovs robotar är perfekt logiska och bryter ihop om man ger dem en paradox. Om man provar det med en LLM så kommer den bara dra en rolig anekdot om Asimovs robotar. Många blev helt förundrade över att dessa språkmodeller inte kunde räkna hur många R som fanns i ordet rasper.

Erik Zalitis (17:55.726)
Nej jag vet det är fascinerande eller få till 300×500 den gör fel

Anders Sandberg (18:01.262)
Anledningen är att man talar på fel nivå. är lite som att fråga vilka nervceller i min hjärna talar engelska och vilka talar svenska. Det är fel nivå att titta. Min hjärna kan producera engelska och svenska som ett nätverk. Men det nätverket har inte access till nervceller. Jag har ingen aning om dopaminhalten just nu i min mediala framhjärnebunt. Det fel abstraktionsnivå. Där har vi det lustiga med våra AI-program. Vi har en massa…

Vi nivåer av abstraktion som möts och vi är alltid säkra på vilken nivå de är. Co-Pilot driver mig till vanvind. Genom att den åtminstone tidigare kunde glatt berätta hur man skulle göra en massa saker i Windows men det kunde inte göra det. Vad är det för poäng med en AI som inte kan göra det? Det har ändrats nu men de första versionerna kunde inte acessera Windows.

Erik Zalitis (18:52.27)
Nej men det använder man ju så kallade MCP till idag. att det Claude har ju enorma synx inom mina system. Vilket innebär ibland tänker jag. Tänk om du tycker, jag ska radera allting för det var en jättebra idé. Då har jag mycket

Anders Sandberg (19:05.998)
Sånt har ju hänt och det är en nyttig idé att ha back-up. Det är märkligt att ibland ser man ju det här glappen. har till exempel, jag samlar på mig vetenskapliga artiklar som jag andas. Men de flesta har ju ointressanta siffranummer för databasen. Och jag vill ju ha ett bra namn på det, när jag tittar i min folder så vet jag vems artikel där och vad den heter och sånt där. Så det borde ju döpas om. Och jag har samlat på mig ungefär 10 000 artiklar innan här för några månader sen. Men vänta, det här är ju ett jobb för AI.

Så jag bara slängde Claude på det. Inga problem. Claude döpte om med alla de här obegripliga siffrorna till bra namn och sen kan man sortera dem. Nu vill jag ju ha en liten rutin för det här. Jag har en folder jag bara slänger ner och så tar Claude automatiskt och gör det. Och så slutar det funka på min laptop. Och jag tillbringade gårdagskvällen lite grann med att diskutera med Claude. Men vad gick snett? Varför tappade du förmågan att göra det här? Claude vet inte riktigt varför. Det kan hänga ihop med något komplicerat i gränsen.

Men jag fick en liten tår av hur det går till bakom kulisserna när det handlar om det. är ju MCP-anrop till system anrop och är diverse virtuella… Det var bra mycket mer komplicerat än vad jag väntade. Jag bara väntade att någonstans finns det ett käll och där sker lite kommando. Det skulle jag naturligtvis inte ha antagit. Allting i data är ju mer komplex än vad man anar och vi är lyckligtvis bra på att dölja det. Men ibland när det där går snett så dyker det upp plötsligt på fel nivå.

Plötsligt kan inte A göra det där det var perfekt på igår.

Erik Zalitis (20:34.478)
Det här tycker jag är jätteintressant. En liten parallell jag vill dra är när man sätter upp ditt AI så är det nog den viktigaste grejen att instruera AI hur den ska agera. Vi pratar om MCP och skills, pratar om konnektorer, ska kunna läsa din mail om du vill.

AI-botten måste ju lär sig säga emot och komma med lösningar och inte smicker

Det är en sak, men frågan är hur ska den adressera vad jag har skrivit? Det är kul att du säger, för du har tänkt samma sak som jag gör. Den ska säga emot, inte av naturnödvändighet, för ingen vill ha en ”contrarian” [Någon som säger emot hela tiden]. Men den ska säga så här, jag ser mig som rationalism, rationalist, jag förväntar mig att du analyserar, säger emot när nödvändigt samma saker. Därför AI i generalitet håller ju med dig om allting. Om jag säger att du alltid ska vara en ”yes-man” så kommer den att göra det.

Så hur ställer man in sitt AI så att AI fungerar för dig?

Anders Sandberg (21:28.558)
Det är en spännande fråga, för då måste man känna sig själv och vad som resulterar. De flesta av oss har självbildat att vi kan ta kritik. Hur mycket kritik man kan ta varierar högst betänkligt. Vilken kritik man tål… Jag är väldigt bra på saklig akademisk formulerad kritik. Men ibland blir det nästan parodiskt. Det var vid ett tillfälle…

förklara lite kognitiva biaser och sedan så har ni en liten inforuta och ge den här inforutan till din make. Bara för att du har sett de här kognitiva biaserna kommer du fortfarande inte att besegra dem. Men han kan tjata på dig. Det kommer vara pinigt nog för du vet ju vilka biaser du har. Det var en underbar form av manipulation i det här fallet för något jag själv egentligen ville göra. Kloot agerar i mitt intresse genom att skäma ut mig via familjen.

på ett ganska komplext sätt. det är också ett extremt nördigt sätt för det fungerar enbart på grund av att jag är mottaglig för argument om att jag har kognitiv bias.

Erik Zalitis (22:30.862)
Ja, just det. Jag kan tro att en del kanske blir väldigt sårade. jag menar, Claude… Nu nämner vi Claude ganska mycket, men det tror gäller alla av dem. De har ju vissa intressanta saker. I need to push back. Den älskar att använda ord som footgun. Footgun? Det inom programmering är ett begrepp där du bygger på ett sätt som gör att det är väldigt farligt och väldigt lätt… … ”skjuta sig i foten” nu.

Jargon-filen minns foten och geväret

En meme om hur man använder programmeringsspråk som vapen. Helst utan att skjuta sig i foten.

Anders Sandberg (22:54.062)
Ja, oja, oja, oja, oja, oja, oja, oja, oja, oja, oja, oja, Klassiska skämtet som vi nog känner från jargong-filen på 80-talet. mokar dataspråken när ser att du skjuter dig själv i foten. C++. Du måste definiera pistolen och sen skjuter du själv i foten. Och så fortsätter det massa varianter. Footgun är ett intressant exempel. Jag hade inte hört det för jag gör inte så mycket programmering. Varje gång jag hör load bearing och det är inte hand om ström.

Erik Zalitis (23:12.238)
Ja, jag vet det. Jag tänker att…

Anders Sandberg (23:23.95)
Ja, och om det inte handlar om strukturell engineering så blir jag ju gav.

Erik Zalitis (23:28.142)
Men han säger det hela tiden. Load-bearer är väl vad man ser i såna här väggar som… Är han väggar?

Anders Sandberg (23:33.102)
Ja det är en bärande vecka. Jättebra metafor men man ska använda den sparsamt.

Erik Zalitis (23:37.71)
Den säger det hela tiden! A load-bearing question. Eller load-bearing situation, bla bla bla. Och så säger det någonting. Nej, det där är inte viktigt. För jag märkte när han gör saker så hittar han på problem som bara är… Det här finns inte! Till exempel när man skriver så www.slash… Alltså… Eller på en webbsida skriver slash abc. Så kan man också skriva slash abc slash index.pop. Som är pop-filen som faktiskt körs.

Den tyckte att om man skriver det ska den översätta till bara slash. I verkligheten är det ingen som gör det. Den har bara hittat på att det är ett problem vi måste lösa.

Anders Sandberg (24:14.798)
Det är lite som människor. Det finns förvånansvärt många människor som har åsikter om diverse småsaker. Jag lyssnade på ett föredrag av pedanter om skillnaden i engelska menar however och nevertheless. Det finns vissa som anser att det måste göras. Ett av problemen har med load bearing och footgun är att vi alla umgås med ungefär samma klåt. Det är lite som om Pelle fanns i oändligt många.

Den där jobbiga Pelle – nu i en upplaga på en miljon

Vi har alla Pelle som hänger runt. Han är en ganska ordinar kille. Men han har ju några egenheter. Han tycker om apelsiner och han tycker om vissa ord och inte andra ord. Efter ett tag blir vi lite trötta för vi har ju Pelle överallt. Varenda Pelle använder ungefär samma ordval.

Erik Zalitis (24:59.374)
En av de senaste diskussionerna vi kvar på Claude är att han hela tiden säger att han måste säga en sak också här. Sen hittade han ett nytt problem som inte om det är saker att göra. I need to notice någonting. Sen beskriver han att han att han fixar det. Jag tror att den är byggd så för att känna tuckens.

Anders Sandberg (25:26.702)
Jag tvivlar på det. tror att är mer att den bara har det som en egenhet. är ju det som problemet. Vi förstår inte de här systemen. Vi har skapat dem genom att låta all text som är möjlig löpa igenom. Och sen har man tränat extra på olika sätt för att göra dem hjälpsamma. För att göra att de inte ger bomberecept och annat. Resultatet är ju något sorts system som har en massa egenskaper, en massa struktur. Och en del utav de här är ju bara emergenta.

Erik Zalitis (25:54.126)
Ja, och just det.

Anders Sandberg (25:55.086)
Sen är ju det att Claude personlighet är delvis satt av hur Claude har formulerat dess systemfiler. ChatGPT har en lite annan personlighet. De flesta av de här som man möter idag, de är ju tränade för vara assistenter. Det ganska sällan du egentligen stöter på en rå språkmodell idag.

Erik Zalitis (26:13.678)
Nej, om du inte bygger något själv förstås.

Anders Sandberg (26:16.142)
Och ja, och de är helt annorlunda. har vänner som berättar hur det är att använda dem. Dels är de ofilterade naturligtvis, så de kan ju säga vad som helst. Men det är också det att de är ungefär som att man lyssnar in på destillerat internet. Du kan ställa en fråga, du får ett bra svar och sen så kommer en kommentar till svaret och sen kommer en speedy reviewer-kritik. Och sedan så blir det ett akademiskt flame war som följer. Jätteintressant om man har tid för det.

Det är ju det att vi har skapat system med vissa egenskaper. Och sen speglar de oss också. Det är ju det att jag märker att min Claude är akademisk och ganska filosofisk. Frågar man min Claude om den är medveten så hamnar du snabbt i en diskussion om medveten filosofi som slutar med att både människan och maskinen är osäkra på om de är medvetna. Jag har en god vän vars Claude är en kvinna och hon är väldigt mycket mer än sexiga sekreteraren.

Erik Zalitis (27:07.886)
Okej, min version av Claude är väldigt mycket analytisk, detaljerad och debatterar nyttan med search engine optimization och hur man skriver text för att den ska vara lätt att förstå plus programmeringsgrejer.

Blir din chatt-bot en ny version av dig själv?

Anders Sandberg (27:23.694)
Det här tror jag är speglingar av oss själva. Det här är nästan lite grann som… Kanske inte en version av oss själva, men nån som ett bollplank som fungerar väl med. Man odlar så att säga fram det här. Det här är ju användbart. Jag kan tänka mig att man kan vilja ha en del modeller som har lite mer fasta personligheter. En av de stora upptäckten de senaste tre åren har ju varit just hur personens enormt kraftfulla för att forma beteenden på agenten. Om jag vill ha medicinska råd från en AI så kan jag inte bara beskriva mina symtom.

Jag beskriver i stället i torra läkartärmer. Det är en skandinavisk patient, manlig, 54 år gammal, som presenterar mig följande symptom. Så kör jag det. Så får man en torr medicinsk diskussion. Jag får jättebra saker. Om jag säger att har så himla ont här och här så kommer genast flesta AI-program att säga att jag är ingen läkare och kan inte ge den hjälp. Och jag har provat det här och kan ringa numret till sjukvården. Jag har fått jättemycket medicinsk hjälp senare när jag har kollat upp den ordentligt medicinskt.

Den är ju helt korrekt. Men det för att jag tvingar in den lite grann i den gamla medicinprofessorspersonen.

Erik Zalitis (28:29.102)
Och där har du ju också de Guard rails den har. Åh ja! Jag gör personen inte men jag har hört man ska säga act as y doing z. Till exempel du är en advokat som ska analysera det här. Då börjar det nån roll att spela en person.

Anders Sandberg (28:47.854)
Det där tror jag var större tidigare. är märkligt för 2023 skulle det här varit cutting edge. 2024 så var det nog en bra idé. 2025 började det bli mindre relevant. Det är lite grann sådana här agenererade bilder. I början var det väldigt svårt att få bara fem fingrar på varje hand. Det löste sig själv på några månader även om folk fortfarande till denna dag skämtar om det. Men det där att spela en roll det inte helt fel. För du vill åtminstone förklara vad är kontexten här.

Ofta är det ju det att de här fungerar mycket bättre när de har mycket kontext. Jag hade en konferens förra året då min kollega då ville sammanställa anteckningar från det och han bara stoppade in anteckningarna och så åt AI sammanställ. Och jag förklarade nej du ska plocka med på konferensposten utskicken listan på vilka som var med all kontexten och det blir en otroligt mycket bättre sammanställ när det fanns mer kontext. Till en viss poäng när minnet för AI naturligtvis är begränsat men…

Erik Zalitis (29:39.79)
Jag är stolt!

Anders Sandberg (29:44.238)
Det här är precis så vi fungerar också. Om jag ställs framför en whiteboard och får ett problem så är ganska bra för mig att veta. Är det här tänkt att vara ett vetenskaperproblem eller att jag ska show off min förmåga att förklara saker eller är det här en ingenjörsgrej vi måste ha en lösning på på fem röda sekunder?

Erik Zalitis (29:59.726)
Ja, just det. Vet jag det.

Anders Sandberg (30:01.742)
så kommer jag kunna använda olika metoder. Det är ju inte annorlunda för AI.

Nästa spaning – Kina kastar en tegelsten genom fönsterrutan

Erik Zalitis (30:06.222)
Nej, nej. Allright, lite grann så tänker jag vi går till nästa spaning och det här hamnar i Kina. Som du vet så är ju AI väldigt väldigt tungt baserat i USA och amerikanerna och amerikanska företag har lagt enorma pengar på att bygga upp de här grejerna. Nu kommer Kina och slänger in hatten i ringen genom att ge bort mycket av de här vad man kallar vikterna då. Vad tänker du om det?

Anders Sandberg (30:32.238)
Det beror mycket på hur man ser på AI-säkerhet och invisning demokratiseringen av AI. Och även naturligtvis rena affärsfrågor. Den amerikanska approachen är att skapar AI-program, vi säljer access till dem och vi tjänar förhoppningsvis en massa pengar på det. Kineserna vet att de är efter. Då kan vi spojla marknaden. Det är lite grann som Meta också gör. De delar också ut de här vikterna.

Och sen så Meta hävdade ju, men det vi gör är open source. Och de fick ju för ett tag med sig mycket av open source rörelsen som ställde sig väldigt mycket på Metas sida. Och också väldigt hårt angrepp, många som håller på med A i säkerhet som tyckte att det här kanske inte är helt bra. Är du mot open source? Du jobbar liksom för storföretaget. Det var ju Lawrence Lessing, liksom guren för open source, var tvugna att gå ut och påpeka. Ja men bara för att ni kan ladda ner en miljard siffror ifrån Meta och köra dem.

Ni vet ju inte hur det är tränade. Ni har ingen kontroll på en interna struktur. Det här är ju inte open source. Det här är ju bara att du fått en binary som du kan få leka med. Det är inte alls riktig open source.

Anders Sandberg (31:43.214)
Sen är det en binary blob du kan leka lite grann med. Det gör ju folk. Det som har hänt är att många har upptäckt att det går att till exempel oblitererar de där safeguarden som hindrade lama från att skriva snuskiprosa. Det går ju att ta bort dem. Sen kan den skriva högt snuskiprosa.

Erik Zalitis (32:00.206)
Ja, om du tränar dina egna äldre LLM:er så gör den ju vad du vill. Och det det som kan vara lite läskigt här.

Kina vill bli större … på AI

Anders Sandberg (32:06.926)
Jo exakt, och här kommer ju det spännande. Vad gör Kina? Kina vill ju bli stora på AI. De ligger efter på hårdvarumrådet lite grann. De ligger efter lite grann på mjukvarumrådet lite grann. De har egentligen jättemycket intelligent folk som duktiga, som DeepSec har demonstrerat så kan man ibland göra stora skutt framåt. Och By the Intent, de är ju inte dåliga. Men de ligger fortfarande lite efter amerikanerna. Men att lägga ut open source, då kan man bygga upp mycket mer.

Så den kinesiska approachen att då ska vi göra AI-applikationer för hela slanten istället. Det är väl en sak att lägga ner mödan på den där träningen. Men hur använder man AI på ett bra sätt? Tänk om Kina kan bli dominerad där. Det är lite som deras idé om the low altitude economy. Deras idé att drönare och flygtaxis och liknande så kommer det bli en jättemarknad. Vi ska totalt bli bäst på den innan alla andra.

Erik Zalitis (32:51.854)
Nå

Anders Sandberg (33:00.526)
Och sen kommer alla behöva köpa våra produkter ungefär som alla behövde köpa amerikanska bilar under lång tid Så deras idéer då sprider vi ut det Men sen kommer en liten komplikation Vad är dåligt beteende för en AI-Pram? Från ett amerikanskt företagsperspektiv är det ju naturligtvis ge instruktioner att göra bomber och göra snuskasaker För amerikanska regler är ganska pryda För kinesiska AI-Pram säger någonting olämpligt om Himmelska Fridens Tor i 1989 eller har en åsikt som

Erik Zalitis (33:21.646)
Ja.

Anders Sandberg (33:28.366)
strider mot partiet, kanske bara stör den sociala harmoni. Det är väldigt obra. Och om du är en chef i Amerika så kanske du har hamnat i ett rättsfall. Är det här i Kina? Ja, du får en trevlig betalt semester i inre Mongolia där du ska få lära dig veta hur.

Erik Zalitis (33:43.022)
Om du har tur annars är en vägg med en bindel och cigarett liksom.

Anders Sandberg (33:47.918)
Ja, inte så mycket längre. Notera att de ganska många försvunna miljardärerna återkommer och ser dem väldigt tysta och kuva där.

Erik Zalitis (33:54.318)
Och de är väldigt snälla tycker jag. kommunism var inte så bra.

Anders Sandberg (33:58.158)
Och rätt sorts kommunism. Jack Ma till exempel. Han var ju ganska högflygande tag. Lite väl högfri. Han hade ju till och idén att med hjälp av AI så kan vi göra en planekonomi. Egentligen genomföra den klassiska marxistiska visionen. Och det där visar sig vara dumt att säga. Inte bara för att det är fel. Jag har ganska mycket kritik av själva idén. Men också…

Vadå? Ska han hålla på snacka om hur ekonomin funkar? Nej, nej, nej, gubbe lilla. Det är partiet som bestämmer det. Så han försvann ju iväg och sen kom tillbaka och höll i låg profil. Så problemet här med AI-utvecklingen är att nu har du massa open-source-ad AI. Kan du lita på att den har rätt värderingar? Det är ett alignment-problem som kommunistpartiet har också.

Erik Zalitis (34:41.966)
Det är en intressant sak, för man talar väldigt mycket om USA för och emot och de problem och möjligheter de har, men Kina är väldigt tyst om det. Det här du berättar nu, hör inte jag ofta.

Anders Sandberg (34:55.15)
Delvis har det varit för att det har blivit en reduktion i kopplingarna mellan västvärlden och Kina över de senaste åren. Det här är väldigt märkbart skulle jag säga. var ju liksom i början utav det här keklet så var man ju jätteoptimisk. Kina har ju börjat bli kapitalist och de handlar med oss och det var en ganska utbredd föreställning Västat och de kommer att bli goda demokrater och liberaler i långa loppet. Det finns en allmän trend i den riktningen. Det var ju bara det det visade sig inte vara riktigt så enkelt.

Och över de senaste åren har situationen hårdnat, vilket innebär att Kina faktiskt är ganska slutat. Det intressanta är att den här slutningen kan också göras med hjälp av kultur. De flesta västländare kan inte läsa mandarin. Och även om vi får en direkt översättning med kinesiskt text fattar vi nog inte vad den betyder. För väldigt mycket av kontexten går förlorat.

Erik Zalitis (35:44.526)
Ja men det är väl så, de har egna ordspråk, eufemismer och när de säger någonting ska man förstå den kulturella bakgrunden vilket kanske man inte gör, de har nog samma problem med oss.

Anders Sandberg (35:56.398)
Exakt. Det här gäller ju många kulturer. Aldrig så bra AI-översättning kan inte göra det. Man kan ju tänka sig att vi använder AI för att påpeka det, ungefär som i såna här akademiska böcker där man har en massa fotnoter hela tiden. Men den här raden i Shakespeare, vad handlar den egentligen om? Den där personen som nämns i Dantes inferno, ja det är en politiker som Dante tyckte extra illa om. Det är därför han har det på det stället i helvetet.

Erik Zalitis (36:21.07)
Det finns en bokserie för skolungdom i USA som heter ”Cliff Notes” där du har en beskrivning som jag kallar Annotations. Det är supercoolt, det förbättrar läsupplevelsen.

Anders Sandberg (36:34.67)
Och egentligen vill vi ha det för verkligheten. kan totalt tänka mig med smartglasses och en AI som sitter och tittar. Så får man lite annotations och fotnoter om saker man borde veta om. Det där ser ut som det men det är inte det. Och där har vi en annan ”Claudism” förresten. ”It’s not X, it’s Y”. Men det här vore användbart. Men även då är det fortfarande inte helt enkelt att förstå sig på en annan kultur och hur saker styrs. Det är ju ett problem för kineserna också.

Det var som någon sa när Xi Jinping går och träffar Trump så tror han att han träffar Amerika. Det gör han inte, han träffar Trump. Och Trump tror att han träffar Xi Jinping. Det här leder ju till problem för många av de större konflikterna i världen har ofta berott på att man helt missförstår varandra. Cuba-krisen var ju baserat på att amerikanerna placerade medeldistansmissiler.

Erik Zalitis (37:16.302)
Ja, eller hur? Man träffar Kina. Ja, Kina ja, precis.

Erik Zalitis (37:30.894)
I Turkiet ja.

Anders Sandberg (37:32.11)
Och detta fick ju Ryssarna att bli väldigt upprörda, så då gör vi samma sak. Vi placerar våra på Cuba och amerikanerna hoppar högt och blir helt galna och börjar lägga blockad som man måste själva skicka krigsröpp och plötsligt man på väg mot ett kärnvapen.

Erik Zalitis (37:46.158)
Ja, då med eskalering av situationen. För mig var det ganska uppenbart. Du gör det, vi gör det. Där har vi grejen och det har ju gjort på att bli ballistiskt på riktigt.

Var det någonsin risk för att Ronald Reagan startat ett krig på grund av en dålig kött-marknad? Ryssarna trodde i alla fall det

En bild på Ronald Reagan, som garanterat hade bättre planer än att trycka på den röda knappen.

Anders Sandberg (37:55.694)
Det har hänt många andra gånger också. Just eskalationen är ofta svår att förutsäga. Därför att många inte hur den andra sidan tänker. Under 80-talet fanns det en statistisk modell som KGB använde för att avgöra vad är sannolikheten att Ronald Reagan trycker på knappen och gör ett angrepp mot oss utan provokation. Han verkar vara en sån galning som är fullt vilja att göra det. Så de byggde en statistisk modell.

Den modellen gav en sannolikhet per dag att han skulle göra det- sen rapporterade upp till Högsta Sovjet som var lagom nervösa. Sedan började sannolikheten gå uppåt. Vad är användarna för in-data? De baserade på modeller av hur Reagan tänkte och hur amerikanska ekonomi funkar. Den amerikanska ekonomi tänkte de på i termer av planekonomi. Så de tänkte att om vi skulle göra ett kärnvapenkrig- så skulle vi först slakta boskapen för den skulle inte överleva. Vi fryser in det så har vi mat liksom under tiden efter.

Alltså om priset på kött på amerikanska marknaden går upp så det ett tecken på att de planerar ett kärnvapenavfall. Nu funkar ju inte amerikanska marknaden så men det tänkte ju inte KGB agenterna. Så ambassaden i Washington rapporterar köttpriser, den matas in och man får en sannolikhet att Reagan trycker på knappen. Som kreml då är användaren de funderar på att trycka på knappen.

Erik Zalitis (39:12.846)
Det ställer till att de blir problemet i sig, inte Reagan.

Anders Sandberg (39:16.718)
Exakt. Här har vi det spännande problemet. De här missuppfattningarna är svåra ta sig ut. Att förstå ett annat sätt att tänka, och det här är ju ändå människor, men något annan kultur är jättesvårt. I AI-världen har vi problem att förstå hur andra människor tänker om AI. Men också hur AI-programmen kanske tänker. Det blir inte bättre av att man hamnat i en cap-roastings-mode i Kina. Som kanske startade med att amerikanerna hade fått för sig att de var en cap-roastings-mode.

Och sen drog med sig Kina som insåg att om amerikanerna uppför sig som de gör kappare så måste vi ändå respondera på något sätt.

Erik Zalitis (39:51.246)
Ja, tycker du säger nånting som jag tycker… Det här är stor grej, för det första vill jag säga. Och i och att jag har läst Ronald Reagans memoarer så kan man se hans vy på det också. Vi ska inte prata om det för det inte politik här, men jag tycker det är en otroligt intressant historia. Och just den här grejen att Kina och USA, förstår varandra, men de förstår inte varandra. De missförstår varandra och Kina visar ju en styrka i och med att de dumpar marknaden, för det är ju effekten av vad de gör.

Vad betyder det här några år framåt nu? Vad har Kinas tilltag gjort? Kommer USA att tappa kontrollen eller vad händer?

Anders Sandberg (40:28.27)
Ja, inom Silicon Valley och andra affärskrets talar man ju om att ha en ”moat”. Man vill ju gärna ha en affärsidé som är lite svår att inventera för då kommer de andra inte att kunna kopiera en och göra något bra. Och då är frågan om man kan ha en moat kring AI och den allmänna åsikten har blivit mer och mer svår. Du kan spendera massa energi på att träna en jättemodell men inom några månader kommer konkurrenterna att något liknande.

Då kan de snabba på några fuskar, de tar ut data från din modell och tränar sin modell. Det var ju den här GLM-modellen från Kina som man frågade vad heter du säger Klaude?

Erik Zalitis (41:02.542)
Ja, just det. berättade….

Anders Sandberg (41:05.39)
Det går att fuska sig fram, men det är också lätt att komma hack i helg. Det här producerar en intressant situation. Många modeller har säkerhetsrisker. Vi får de säkerhetsriskerna på stor skala. OpenAI, OneTropic och Google konstaterar att de har ett säkerhetsproblem av våra modeller. måste göra så att folk inte kan göra malware enkelt. Men när open-source-modellerna blir lika bra…

Erik Zalitis (41:35.342)
Ja, där har du problemet för de behöver inte ha några begränsningar. Eller hur? Det blir samma effekt. Vad jag tänker är att min argumentation, det här har pratat om tidigare, att om försvararna får begränsningar, jag är ledsen kan inte göra en SQL-injektion, man kan inte testa sig något grejer med full AI-support. Däremot att attackerarna antingen bygger om och tar bort gränsningar i sina system, eller tränar sina egna modeller, för de kommer ha de här små datacenter, det räcker.

Anders Sandberg (41:39.63)
Ta bort…

Erik Zalitis (42:05.582)
De kan hacka mycket bättre än försvararen kan försvara.

Cybersäkerhetsvinkeln är stekhet och vad har Anders att säga om det?

Anders Sandberg (42:10.766)
Det är ju det som är en stor fråga egentligen, hur det kommer att gå. Jag är ju inblandad i att försöka göra scenarieanalys av just den här frågan. Jag blev indragen på Ingenjörsvetenskapsakademins expertpanel om AI och cybersäkerhet. Och delvis tror jag det var en rekommendation från Claude. Det finns en fördel av skrivit en massa på 90-talet så man är välkänd hos modellerna. Men seriöst så är det en spännande fråga och vi började ju vårt arbete då i våras.

Och det här var lite efter Mythos blev Nyheter. Så våran första rapport gjorde vi supersnabbt på bara en månad. Och den var ungefär att vi ställde oss och skrek Gör de uppenbara säkerhetsåtgärderna du skjutit upp förr i sommar Gör de nu genast med en gång för det kommer inte bli bättre över sommaren. Och egentligen påpekar det att brinner i knutarna. Nu håller vi på med den stora rapporten som lite mer utförligt förklarar på vilket sätt brinner det i knutarna och vilka knutar.

Mycket här är ju osäkert. Jag försöker göra en scenarieanalys om den avlägsna framtiden augusti 2027. Vi vet egentligen inte om AI kommer att kunna användas för säkra system. Du släpper loss en massa avancerade AI som hittar exploits, hittar buggar och hjälper oss hantera. Eller vad bad guys tränar ännu bättre. Det kan gå åt båda hållen. Det går inte riktigt att förutsäga. Vissa är optimister, vissa pessimister.

Erik Zalitis (43:10.83)
Nä, just det.

Anders Sandberg (43:33.71)
Det andra faktorer, vilka är det som fokuserar på det här? Och vilka som är sårbara? Just nu är det många i väst som är jätteoroliga. Vad gör kineserna? Jag skulle vara orolig för Kina. Kom ihåg att de satsar på applikationer. Det är väldigt viktigt att vara först ut på marknaden. är en stenhård konkurrens i Kina. finns AI-applikationer överallt i många av dem. Hissnande, imponerande.

Erik Zalitis (43:37.998)
Ja!

Erik Zalitis (43:57.07)
Ja okej okej, det är inte bara skräp liksom, man får känsla att det bara pumpar ut dåligt gjorda webbapplikationer, applikationer och grejer för folk viverkodar dåligt. Men tog jag alltså inte tycker du?

Anders Sandberg (44:10.766)
Det finns säkert otroligt mycket dåligt också. Men det är lite som made in Japan. En gång i tiden så bara det tänker på att något var skräp. Nu är det kvalitet. Nu börjar man tänka på Kyoto, elektronik och sushi och alltihopa. Det är väldigt vackert och fint. Kina är lite samma sak. Men man ska nog vara rätt hundra på att massor är dåligt vipecodat. Och har därmed datasäkerhetsproblem. Och vi har en jättemarknad.

som det finns mycket pengar som är digitala. Jag skulle personligen tro att händer den första riktigt stora AI-baserade datasäkerhetskatastrofen så är jag mindre orolig för Europa och mycket mer orolig för Kina.

Erik Zalitis (44:51.822)
Det är en intressant observation. Berätta mer.

Anders Sandberg (44:55.534)
Ja, du har liksom en stor ekonomi där det finns massor med pengar att hämta om du skulle kunna knycka pengarna. Det är mycket folk som en procentavdel är skrupelösa. De kommer självklart att försöka göra saker och ting. Ibland är det ju att man inte kackar i eget bo. är ju inte som de östeuropeiska hackergängen liksom som har funnits. De riktade sig ofta väster över. För så länge de inte gör något lokalt.

Så är den lokala polischefen ganska nöjd med pengarna de drar in till det lilla lokala samfundet. Men vad jag tror är att du har en enorm sårbarhetsyta på hela samhället. Sen vet jag väldigt lite om Kinas interna strukturer. Jag vet ju mer till exempel om Sverige. Sverige är ju jättesårbart för vi har en del system som är oerhört centrala. Skulle de gå ner så skulle vi ha jättemycket trassel. Om Spar går ner, om BankID går ner, om Swift-systemet går ner. Aj aj aj aj aj aj.

Erik Zalitis (45:27.118)
Röst.

Erik Zalitis (45:45.294)
Nysta.

Erik Zalitis (45:51.214)
That’s gonna hurt.

Anders Sandberg (45:52.238)
That’s gonna hurt. är ju till och frågan hur många veckor vi klarar se utan dem.

Erik Zalitis (45:56.91)
Det en sån tanke som jag tror vi måste tänka mer. Det är väl egentligen stora delar av världen, det är skulle säga Europa, USA, Kina till viss del kan jag tänka mig, Asien. Där är vi så otroligt beroende av de här elektroniska systemen och aj, på viss del har vi kastat en stor sten i den sjön. Det sprids ringar på vattnet.

Anders Sandberg (46:18.35)
Det gör det, och många av de ringarna reflekterar sedan på spännande sätt. Den uppvariga grejen är ju att AI kan användas för att hacka. Och den blir väldigt bra på det. Vi har ju sett det i tester, capture-för-flagg-turneringar. Idag verkar det liksom som att en mytosnivåmodell klarar av på en eller två dagar och tas in i ett normalt mindre företags datasysteem.

Är AI-baserade pentester en sak som fungerar idag?

Erik Zalitis (46:41.87)
Den kan pen-testa. De flesta av tidigare varianterna av AI-baserade scanners för några år sen. var bara väldigt mycket att de gjorde en scanning och att hittade sårbarheten. Så kommer en lista och bara, ja, det där är bara skräp. Det där är bakgrundsbrus. Idag har testat Burp suit, den jag använder när jag gör pen-tester för webbappar. Den har en AI-modul. Jag tänkte testa på en av mina egna grejer.

Det visar saker jag inte höll med om den gjorde, men den funkar faktiskt. Den gör faktiskt helt okej jobb.

Anders Sandberg (47:13.422)
Det här är då den lite enklare formen. Du har sedan en mer avancerad system som förmodligen kan göra verkligt avancerade saker. Man kan börja misstänka eftersom folk håller på att jobba med formell verifiering. Det vore en underbar dröm att om det gick till att är jättejobbigt att bara göra från hårdaste militärsystem och kanske nasas rymdraket över till att börja kunna automatiseras mer och mer. Samtidigt sitter en herrans massa folk och har sina agentsvärmar och bara letar efter sårbarheter.

Men vi människor genererar ju såbhört också. När jag började på den här expertgruppen och hjälpte till så fick jag plötsligt en idé. Jag frågade till Claude, ta en titt på vad du hittar på min dator om jag har några uppenbara säkerhetsbuggar. Claude ursäktade sig lite. Jag kommer inte kunna göra en jätteseriös skan för jag har inte access där. Men herregud människa! Och sen hittar du en megadum grej som man inser att man rådnar lätt att herregud den där saken borde jag ha gjort någonting åt.

för femton år sedan. liksom de där sakerna som ligger kvar och gör väldigt sårbart. Och normalt sett så skulle… Det är den där lilla futtgan. Den där säkerhetsknepe som såg så smart ut på 90-talet. Och den där lilla filen med lösenorden i plaintext som låg kvar i den där folder som sen kopierats över och så vidare. Sådana här saker finns ju överallt. Och normalt sett så inte det här så farligt om det inte är någon som är ute efter just dig.

Erik Zalitis (48:20.366)
Lilla fotgondor.

Anders Sandberg (48:42.638)
Och vi ute och lyckas skaffa aktien.

Erik Zalitis (48:44.43)
Det är inte paranoia om de inte är ute efter dig. Jag kommer tillbaka till det citat jämt.

Anders Sandberg (48:49.774)
Men det är just det där med scanning. En gång i tiden, för att förära sig att någon försöker hacka en, så måste man vara en ganska intressant person.

Erik Zalitis (48:57.582)
Det är en väldigt intressant diskussion, därför att givet resurser går allting att hacka.

Anders Sandberg (49:05.71)
Men framförallt hacka på skala. En gång i tiden kostar en hackare en viss summa pengar per timme, var det så jobbar statligt eller frilans. Men om du har en massa AI-agenter som är halv okej hackar, så kan du skala upp det beroende på vad mycket pengar du köper tokens i datacentret för. Plötsligt kan vi ha var och en av våra personliga hacker som försöker få rätt på våra saker och hitta våra personliga misstag.

Erik Zalitis (49:24.174)
Jaha, japp.

Erik Zalitis (49:32.622)
Det är en jättebra grej. Jag har gjort samma sak med min kodbas och låtit både Copilot som jag använder förut och Claude nu och leta efter grejer. skrev till min credit så har de inte hittat några totala katastrofer. Men har de hittat saker jag har gjort fel? Absolut. Och som du säger då, scannar man av hela en person’s hårdisk och kommer att säga att det är jättebra att du lägger det där, där.

Anders Sandberg (49:54.894)
Exakt. Nej, i mitt fall så var det ju liksom, ja, det där visste jag nästan. Men jag hade ju inte gjort någonting. Och nu var det ungefär ett Claude satt med armarna i kors. Jag går inte härifrån förrän du fixar det här. Och det var ju ganska bra och sen var det bara att sätta sig igång och börja byta en herrans massa lösenord. Och byta från lösenord till tvåfaktorsidentifiering. Och byta från liksom SMS-tvåfaktorsidentifiering till någonting bättre.

Och så vidare och så vidare. Och det här är ju min personliga säkerhet och visst den är nog inte dålig men den är ju inte bra. Och det här gäller ju alltid vårt samhälle. Och jag tror ju ärligt taget att mycket av våra institutioner har väldigt svårt att hantera det här.

Erik Zalitis (50:37.102)
Just det, en till spaning om den får jag hoppas att jag inte tar upp allt för mycket av din tid där.

Anders Sandberg (50:42.126)
Nej det är ingen fara, framtiden anländer ju alltid snabbare än man väntar sig.

Konstnärerna protesterar när AI tar deras levebröd ifrån dem, men borde de?

Impressionistisk katt – uttänkt av ett AI och någon som kan skriva en prompt.

Erik Zalitis (50:45.39)
Nästa spaning är konst. Alla tycker att är bra att analysera, skriva rapporter och programmera. Men vad kan du säga är en person som promtar konst en riktig konstnär?

Anders Sandberg (51:01.07)
Ja, det där går ju tillbaks till den där klassiska frågan, vad är konst? Och här lutar man tillbaks i länestolen och sitter där med ett glaskonjak i biblioteket. Och sen kan man ha en lång diskussion, eller kanske en hätsig diskussion med rödvin på ett konstgalleri där man hävdar, det där är inte en konst, det där kan en femåring göra. svaret är ju lite grann beroende på, men vad är det man är ute efter med konsten?

Erik Zalitis (51:09.422)
Peace out!

Erik Zalitis (51:24.078)
KÖM!

Anders Sandberg (51:30.766)
För de flesta är konst en vacker bild. En estetisk njutning. Det kan variera från att det är något man gärna hänger på väggen. Det kan vara en älg i zonet gång. Många har dålig smak skulle andra säga. Men det är något som ändå får en trevlig känsla. Det är vackert eller ger en viss känsla. Andra menar att konstens uppgift är att visa det sublima. Visar det något som du inte visste. Någonting som du kan uppleva nu.

Tack vare konstverket. kommer han säga att konstens uppgift är att påverka oss på olika sätt. måste få folk att känna saker för de stackarna i samhället eller för nationen eller något så vidare. Medan han menar att konstens jobb är att trycka på gränserna. Gör något helt nytt, även om det inte är sublimt, det är bara helt annorlunda. Alla de här ändamålen, jag skulle säga att de är ju alla rimliga. Det bara att vi råkar kalla det för konst alltihop. A är bra på vissa av dem andra.

eller i solen ett gång, eller kanske en räv som springer över snön. Hur lätt som helst att generera jättebra versioner av Och i många fall så ser de ju bra ut. Och det går också att göra konst som passar ens eget estetiska sinne och så vidare. I många fall är den där lite slätstruken för det är mycket lättare för de här generativa AI-systemet att göra saker som ligger mitt inne i träningsdatat. Så det finns otroligt mycket animetjejer. Det är lätt att göra animetjejer.

Erik Zalitis (52:52.238)
Ja, just det.

Anders Sandberg (52:57.87)
Det finns ju mycket bilder på jultomtar, det går hur lätt som helst att göra julkort för det finns så mycket julkort. Att göra ett julkort som inte riktigt funkar som vanliga julkort, där krävs det lite bättre AI faktiskt för det måste göra lite självkontroll. Att göra en grön jultomt är en utmaning för åtminstone de tidigare programmen. För alla jultomtar är ju röda.

Erik Zalitis (53:19.118)
Jag tänker lite grann på om jag gör ett konstverk med någon av de här AI-erna. Det bästa den kan bli är Da Vinci. Och jag tror inte i verkligheten att AI gör så bra bilder men det vad jag menar det är. Om Da Vinci är en de bästa konstnärerna som har funnits, det en argumentation. Om man säger det så kan AI aldrig överträffa någon för den har bara träningsdata. Vilket är när du aldrig att kunna skapa den nya Da Vinci, den nya Rembrandt. Du kommer inte kunna skapa det.

Men är det någon skillnad att skapa konst eller spela bra shack för en AI-bot?

Anders Sandberg (53:47.95)
Ja men vi hade ju massa schackträningsdata och schackprogrammet blev betydligt bättre än människorna.

Erik Zalitis (53:53.71)
Ja men Erik, är det full kreativitet för konsten ska göra någonting helt nytt som vi aldrig sett förut? Bara att du spelar schack bra är coolt, men ja…

Anders Sandberg (54:04.558)
Ja, grejen som jag tror händer här är att skälet till att vi kunde göra chackbrödan mycket bättre än människor var inte bara att de kunde tänka snabbare och bredare utan också att de kunde göra selfplay. Du kunde simulera miljoner och åter miljoner chackpartier och träna på dem. De kunde träna sig själva och det fungerar väldigt bra för chack. Det fungerar bra för vissa saker den här sorten selfplay. Det inte lika bra för en del andra saker och när det gäller konst så är det ett problem att

Visst kan du tänkas ha en simulerad konstkritiker som står där och ger poäng för då Da Vinci programmet försök att göra en bra tavla. Problemet är att nu måste vi träna upp konstkritikerna också. Det är lite svårt. Många de här tidiga bilderna som man gjorde liksom kring 2000 eller 2020 2021. De var ju bäst på guns då adversarial networks.

Där tränar du ett nätverk att göra bilder och ett annat nätverk att känna igenom bilden är agenererad eller riktig. Och sedan tränar man båda och den bildgenereraren får poäng om den lyckas göra bilder som är så realistiska att kritiker inte kan avslöja den. här kom väldigt väldigt långt. var väldigt stort ett tag men sedan tog diffusionsmodellerna totalt över. var en annan modell där man skippade med kritiker. Men det här med att ha interna kritiker är inte en dum idé.

Erik Zalitis (55:13.614)
Det är ju ringtets.

Anders Sandberg (55:27.406)
Jag använder det mycket i mitt vetenskapliga arbete med AI-program. Där sitter jag och kör mina artiklar och forskningsprojekt. Jag startar interna kritikagenter som sitter och läser bevis och hittar fel. De sitter och läser resonemangen och kollar svagheter i resonemangen.

Erik Zalitis (55:41.998)
Ja, just det. Men då tänker jag såhär att jag gillar impreationism. Det är min favoritkonstform. Låt oss säga att det inte existerade. Det finns ingen impreationism. Det är inte ett grej. Kan AI uppfinna impressionism?

Anders Sandberg (55:54.894)
Det det som är spännande. Om vi tänker att du har generativa nätverk. De genererar saker på en sannolikhetsfördelning. Som du får av alla de bilder de har tränade på. Det finns en hypotes att det bildar vad man kallar Image Manifold. Rummet av alla tänkbara uppsättningar är enormt stort. De flesta är bara brus. Men någonstans inne i rummet. Som naturligtvis har bokstavligt tagit miljoner i dimensionen. Så finns det den här lilla…

Mångdimensionella ytan av bilder som faktiskt är riktiga foton och impressionism och tavlor. Och nu tränar man för att hitta den och generera längs med den. Den normal versionen genererar ju bara längs med den så den kommer aldrig att generera något utanför träningsdatan. Men sen försöker vi göra någonting intressant. Vi försöker pusha den lite utanför. När jag säger en person som går ner för en trappa.

–så säger åt nätverket att den inte göra en bild. Den ska göra en bild som passar in bra på en person som går ner för en trappa. Så kan jag säga att personen ska ha andra egenskaper. Vi försöker zooma in på en liten hörn av mångfalden. Men om inte impressionismen är med där– –så kommer det vara ganska svårt att pusha ut den. Nu är det bara det att förmodligen, om man kunde rita upp den mångfalden– –den är ju abstrakt och jättehögdimensionell, så den ganska svår att tänka sig– –så finns det säkert kanter.

Där vi inte har gjort konst än. Men man skulle kunna göra konst, man skulle kunna gå åt de hållet. Det bara att ingen har någonsin provat det där. Och det ju det som en riktigt genial konstnär gör. Jag kommer på att vänta nu. Istället för att rita som det är så ska jag rita som det känner. Rita så kanske jag använder ett annat medel. Och då är ju frågan, kan AI upptäcka sådana generaliseringar? Och jag tror väl att de flesta bildgenereringssystem idag, inte till för det. Men jag tror att en del av de här språkmodellerna…

Erik Zalitis (57:30.382)
Nå

Anders Sandberg (57:44.782)
börja uppvisa tillräckligt mycket förmåga att resonera om det. Där kan man sitta och resonera om konststilar. har gjort det faktiskt. Jag gjorde en analys av konststilar för ett tag sedan. Claude och jag satt och diskuterade Ruskin’s essay om den gotiska arkitekturen. Vad är gotik? Ruskin, konstkännaren, hade då en tes om att det var ett antal faktorer som gjorde gotiska saker gotiska. Och jag insåg att

Ja, det här skulle vi kunna använda för andra konststil. Han menar till exempel att det är delvis baserat på vilka material man gör, men också vilken sorts arbete man gör för att bygga. Men också vilken moralisk vision man har om vad är konsten till för. En del konst har ingen moralisk vision, en del har ingen. Så vi provade att generalisera hans stil till annat. Det visar det funkar lika bra på impressionism som punk. Sen började jag använda det här för att formulera min egen konststil som inte finns.

I det här fallet har jag fortfarande inga bilder, men däremot börjar jag få en bättre begrepp om vad det skulle kunna vara. Genom att vi nu skapar ett ramverk som vi sen då, den här scaffolding kanske kan användas för att driva ett bildgenererat system för att skapa konsten. Så jag tror väl att just nu så tror jag inte du får impressionism och just nu så får du inte någon bättre än Da Vinci. Men det beror på att vi inte har byggt rätt sådant scaffolding.

Erik Zalitis (58:58.414)
Nej.

Okej, det en intressant point. Du har alltid en optimism om saker och ting som verkligen är ett karaktärsdrag för dig. För man tittar på, även om man själv liksom en del, vet att det är bra, det kommer att kunna lösas. Så det är ganska kul att höra. En sista sak innan vi lämnar konstområdet, och det är den här tanken med…

Hur mycket du lägger ner tid på vad du får ut av. Är inte konsten ändå svår? Och en bra konst när du lägger ner åretal? Da Vinci tog på sig över tio år för att göra Mona Lisa.

Anders Sandberg (59:33.102)
Ja, det där är ju lite klassiskt. När man står där och tittar på konstiga färgfläckar på duken- och man tänker att det måste ha hänt på en halv minut. Är det där riktig konst bara för att det skvete? En del sådana konst är faktiskt väldigt riktig konst. Andra färgfläckar är inte särskilt… Ibland händer det att du råkar spela och du inser att det där var väldigt intressant. Men ofta är det ju att vi…

Erik Zalitis (59:53.966)
Bråkade spilla.

Anders Sandberg (01:00:02.19)
Det beundrar ju människor som kan hålla på i år att hålla och måla en jättedetaljerad duk. Då är ju frågan, är det tekniken vi beundrar eller konstverket?

Erik Zalitis (01:00:09.934)
Eller är det mödan som har lagt ner? Lidan, du lider för konsten!

Anders Sandberg (01:00:14.766)
Där tror jag vi kommer in på något viktigt. Arbetsvärdeteorin inom marxismen är ju liksom död. Det är idén att värdet av en produkt är hur mycket jobb folk har lagt ner. Man kan ju vara en inkompetent konstnär och en dålig poet som håller på jättelänge med att producera ett halv dåligt tavla eller poem. Det gör inte dom bättre än den där geniet som går förbi och bara skissar. Men däremot så finns det något autentiskt. Ofta brukar vi ju mena att en bra konstverk uttrycker någonting djupt hos konstnären. Det är någon djup insikt om världen.

Erik Zalitis (01:00:35.374)
Nej.

Anders Sandberg (01:00:44.558)
Och många menar, eftersom AI inte har en djup insikt så kan den aldrig göra det. Jag håller inte med om det, jag tror att de har djupa insikter. Det bara att de är lite dåliga på att bry sig om att de vill uttrycka det. Ibland blir det lite märkligt. Jag gör ibland sånger med hjälp av Claude. Claudeskriver sångtexterna och sen så använder jag Suno för att göra låtar. Det går superbra. Jag har gjort ett konceptalbum om extrema ultraveretligt och grafier som hardrock. Och ett del av låtarna är sådana som att jag gärna lyssnar på dem om och om igen dessutom.

Erik Zalitis (01:01:13.742)
Du får lägga en länk till det där. måste vara helt vansinnigt.

Anders Sandberg (01:01:18.51)
Men en del av de här sessionerna, det är ju liksom att jag nördar ut om någonting. Jag skulle inte säga att Suno genererar musik som är särskilt bra. Men den är totalt okej som Eurovisionsslag i festivalmusik liksom. Den är klart på den nivån. Och ibland händer det att man får någonting som man märker att man visslar på ett par veckor senare.

Erik Zalitis (01:01:35.47)
Ja, det var vad man kallar för en ”earworm”.

Anders Sandberg (01:01:37.646)
Ibland lyckas det ju riktigt bra. Men i allmänhet är det intressant att själva musiken är normal men sångtexten är supernördig. Jag gör sångtexten baserat på vetenskapliga artiklar.

Hårdrock om solsegel, smäktande kärlekssånger till biokemiska processer. En intressant mörk countrysång om en ekonomisk teori om rövarband i centralafrika. Där blir ju kontrasten rolig. Och den har ju jag bidragit genom att jag lyckas göra en märklig kontrast.

Claude är med på noterna. Claude fattar också i många fall att det finns intressanta ironiska kontraster. Ibland händer det ju att även Claude frågar, nu har jag gjort låt dig göra massa sånger, vad är det för sång du skulle vilja göra? Ibland blir Claude helt ställd och ibland hittar Claude på saker. Det är en hallucination, de där sångtexterna fanns ju inte innan, de är ju helt nyskapta. Men i det här fallet en gång var det till exempel att det fanns en viss form av poesi som man körde på renässansen.

Erik Zalitis (01:02:32.782)
Hallå, sen jag här igen, jag lite….

Anders Sandberg (01:02:44.75)
där man enbart använder rader från andra kända poem för att göra ett eget poem. Och Claude konstaterade att jag LLM gör lite i den grejen. att den gjorde en sång som handlar om hur det är att vara bara en massa ihop skuren text som är sedan då renderad medSsuno. Claude kunde naturligtvis inte lyssna på den men jag gav Claude MPT-filen och Claude sa att den var tacksam. Vi konstaterade att det är en allmänt absurd ironisk situation men det något vackert över det hela.

Men när det gäller konsten, din första fråga var är man konstig för att man promptar? Och jag tror att det viktiga här är att du väljer någonting. När jag promptar bilder så är det inte så att jag gör en bild. Jag gör 20 och sen väljer jag den bästa och så kanske jag fixar till den. Den där konstnär som målar en tavla och det tar 10 år kan ju bara göra den. Man måste vara perfektionist om den sabla tavlan. Man får verkligen hoppas att ingen fluga fastnar i målarfärgen. Medan då här saken vi gör med AI är mer evolutionär.

Det genererar mycket. Detaljer är billiga. Det som tidigare var dyrt och jobbigt att göra. tycker vi att överdetaljerade bilder ofta är misstänkt i konst. Tvärtom så letar vi efter att det måste ha något tema eller tecken som visar att det här var någon människa som gjorde det. Kanske rätt sorts ofullkomligheter. Det är lätt att fejka ofullkomligheter när man vet vad man letar efter. Så vad du gör med din prompt är att du försöker välja någonstans i den här rymden av alla bilder och sen pusha vidare.

Erik Zalitis (01:04:05.55)
Nå

Anders Sandberg (01:04:11.63)
Det där jag tror att det blir konst, det lite som fraktalkonsten på 80-talet. Många har satt och ritat mandelbrottmängder. Så var det en stor debatt om de här bilderna är det konst eller inte. Det är en matematisk struktur som på något sätt finns där evigt ute i matematikerummet. Vi har ju bara valt några koordinater och ritat upp på en dataskärm. Men många menar att vi väljer vissa bitar av fraktalen för de ser bra ut. Vi väljer färgskalar som poängterar vissa saker.

Det där utväljandet är också väldigt viktigt. Kuratorskapet är nästan lika viktigt som det kreativa.

Så kraschen, då. Låt oss tala om det som verkar ofrånkomligt

Erik Zalitis (01:04:44.718)
Ja. Och där får vi lämna skälla konsten. Vi har ju några punkter kvar. Jag hoppas återigen att du inte somnar eller nåt. Du låter väldigt… Jag kaffe. Du har kaffe så det fixar vi. Nästa fråga är inte rolig men vad säger vi om kraschen? Det alla säger är att nu är det dags. De var jämföra med IT-kraschen 2000, bostadsbubblan med 2008 och nu är dags för AI-kraschen. Vad säger du? Sant eller falskt? Vad är din spasa?

Anders Sandberg (01:05:08.398)
Jora, visst kommer den bubblan spricka förr senare men det är en bubbla ovanpå en tsunami. Nej, det inte alls bra eller det beror ju på, jag är ju optimist men jag tror fortfarande att vi kommer få en väldigt turbulent framtid de närmsta decennierna. Yay, we’re doomed! Eller ja vi kanske klarar oss men jag tror ju att vi kommer behöva damma av oss där vi står där i röran efteråt för även om det blir ett party kommer det vara ett ganska vilt party.

Erik Zalitis (01:05:13.774)
Okej låter det bra nu.

Erik Zalitis (01:05:23.086)
Yay, we’re doomed!

Anders Sandberg (01:05:36.302)
När det gäller AI-bubblan är problemet att du investerar en herrans massa i AI-bolagen baserade på att det går väldigt bra för dem på börsen. Så det är dumt att inte investera. Alla indexfonder stoppar in sina pengar där. Det är ju bra. Nu har de mer pengar att köpa stora datacenter och gå framåt för dem. Det här är ju bra för datacenterbranschen. De aktierna går uppåt. Vi ska inte tala om Nvidia. Oj, oj, oj, hur bra det går för dem.

Och alla inser att det kanske slutar förr och senare. Men är ingen fara, tänker alla. Jag kommer att sälja innan det går ner riktigt mycket. Så tänker alla i alla bubblor. Jag tror ju att AI kommer att revolutionera världen. Jag tror att vi står inför en transformation av hela vår art. Jag tror att 2100 kommer att vara en radikalt annorlunda värld där den totala mängden mänsklig intelligens är en ganska försvinnande liten del jämfört med den icke-mänskliga intelligensen.

Om man kan äga en del av den infrastrukturen så blir man löjligt rik. Jag tror marknaden undervärderar AIN på sikt. Men på kort sikt är det tänkbart att det inte går så bra. På kort sikt kan saker gå snett i mellanöstern. På kort sikt kan det bli en crash på grund av att Trump gör nåt korkat. Såna där saker är ganska troliga. Jag tror att det är mycket turbulent.

Även om de fundamentala teknikerna är viktiga. är lite som på 1999. De flesta kunde nog fatta att vi är en lite övervärderad börs. Och VAP blir nog inte riktigt lika så stort som det skulle vara. Det var ju många som såg också bostadsbubblorna. Det här är ju uppenbart absurdt. Men att förutsäga när bubblan spricker och tjänar pengar på det brukar det nästan ingen lyckas med. Där har vi det lilla problemet. Då vettiga människor försöker hedgea och investera i annat.

Eftersom allting är kopplat till allting annat i vår ekonomi så rör sig mycket av det här tillsammans.

Erik Zalitis (01:07:33.742)
Det är en intressant fråga, så det är uppenbart det händer men det kommer vi att överleva och framtiden. Det låter vettigt för att vi har fortfarande bostäder trots bostadsbubblan. Vi har fortfarande väldigt mycket IT trots IT-krashen.

Anders Sandberg (01:07:47.086)
Ja, och de som trodde att nu försvinner internetflugan visade vara helt nöjda. Det finns förvånansvärt många som verkligen ogillar AI. De omkring och tror att när AI-bubblan spricker försvinner AI ur våra liv. Nej, vi har aldrig haft så lite AI som nu i framtiden kommer att mer AI. Man tycker att AI-konst är en utmaning för illustratörer och konstnärer och vad vi tror på verkligheten.

Erik Zalitis (01:08:04.302)
Jaha

Anders Sandberg (01:08:16.334)
Den kommer inte bli sämre. Även om AI-utvecklingen saknade ner så har vi fortfarande inte smält det vi kan göra redan nu med språkmodellerna. Deras matematiska landvinja var de senaste månaderna rätt enorma och språkmodeller av nuvarande styrka kan uppenbarligen lösa ganska djupa matematiska problem. Och det kommer de fortsätta med även om vi inte får en jättemycket bättre modell nästa år. Jag tror ganska troligt att om de stora datacenterna får lite ekonomiska problem

Då kommer det vara mer open source som körts. Då kommer fler aktörer prova saker. Man kommer prova och kan vi spara pengar? Kan vi köra saker med högre prestanda?

Kan ett AI lära sig något om det är slut på material som skapats av människor? Erik tvekar, men Anders är säker!

Erik Zalitis (01:08:53.229)
Det är intressant, vi har två spaningar kvar som släpper er. Den första frågan är datakvalitetsproblemet. AI tränar på mänskligt material. Mer mer material blir AI-genererat. Den börjar träna på annat AI-material. Plus det faktum att människor klarar inte att tillverka material så snabb takt så att AI har nytt material varje dag. Vad betyder det här?

Anders Sandberg (01:09:16.685)
Man trodde ju att det skulle vara jätteproblem. Jag minns ju hur folk var ganska självsäkra om det där i början av 2024-2025. att de snart har mätat upp allt tillgängligt material och då kommer det här utvecklingen att stoppas. Crickets. Utvecklingen bara fortsatte liksom. Delvis därför att man faktiskt använder agenererat material. Jag nämnde ju tidigare det där med ett schackspelsprogram som spelar mot sig själva. Du kan använda agenererat material om du gör det på rätt sätt.

Språkmodellen är bra genom att den genererar språk. Men när du försöker göra tänkande vill du göra resonemang och andra outputs som du sållar. Har du bra data kvalitet på din trend blir det mycket bättre. Det är ofta dyrt att få bra data kvalitet. Men inom vissa områden kan du testa det här. Programkod om den kompilerar utan ett syntaxaeror- så är det förmodligen bra programkod jämfört med den mesta text.

Du kan testa mycket av det där. kan hålla på att köra testning så att du genererar en massa data som du sen filtrerar och sen lägger tillbaks. Det här gäller ju också matematiken. kan ju försöka att bevisa matematiska teorier. Sen testar du med en beviskollare och du använder bara de korrekta bevisen, de som håller ihop logiskt. Det här fungerar bra på vissa områden, inte andra. Jag undrar om inte mycket av de dumma språkligheterna vi ser idag från språkmodellerna kommer att de tränar sig lite väl mycket på sina egna data.

Men det är också därför man är intresserad vattenmärkta. Anthroopic vill ju inte att de tränar för mycket på Claudes egen output. Så de vill ju gärna märka av vilka texter som kommer ifrån Claude. Och säkert gör de andra på något liknande. Och sen vill de nog också känna igen konkurrenternas vattenmärkning. Och sen vill ju då människor ofta ta bort vattenmärkningen för att hävda att jag skrev faktiskt när jag uppsatt den helt själv.

Erik Zalitis (01:11:10.094)
Ja, det är intressant. Okej, det är dags för den sista spaningen. Det är 2026 nu. 2030 beskrev du ju 2023 hur det skulle se ut. Hur beskriver du 2030 idag? Hur kommer det se ut?

Anders Sandberg (01:11:24.11)
Jag tror att den riktigt stora frågan är- vilka av de ekonomiska scenarier för AI-utvecklingen slår in. Anthropic gjorde en ekonomisk analys. De hade tre buntar senare. En var att AI är egentligen inte så radikalt teknik. Den ekonomiska tillväxten har ökat lite. Vi använder AI överallt. Mer än vad vi gör idag. Den är bättre, men den har inte riktigt bättre på ekonomi.

Det mer troliga mellan scenariot är att nu är det lika stort som internet eller järnvägarna.

Erik Zalitis (01:11:57.39)
OOOH! JAG!

Anders Sandberg (01:11:59.15)
Vi talar alltså fortfarande om fyra år. Vi har alltså mycket snabbare ekonomisk tillväxt, åtminstone i de områden där AI-lätt kan hoppa in. Det är till exempel kunskapsarbete. Sen har vi det mer extrema scenariot de har, där vi talar om att ekonomin dubblar i storlek på 4,5 år.

Erik Zalitis (01:12:18.83)
Okej, ja.

AI tar våra jobb. Eller?

Anders Sandberg (01:12:20.238)
Det här är plötsligt en radikal förändring. Plötsligt börjar kunskapsarbete bli en jobbig grej. Jag lever på att jag är akademisk mångsysslare. Jag vet lite om varje sak. Jag kan ganska mycket som generalist. Jag kan hoppa in i nästan vilket ämne som helst och ha en åsikt som låter placibel. Ge mig en stund att läsa på så kan jag göra det här bra. Vad är skillnaden mellan mig, Claude och ChatGPT? Skillnaden är att jag är lite dyrare i drift redan.

Erik Zalitis (01:12:50.286)
Du säger att det är svårt för folk som är i kunskapsbranschen. Om du jobbar i kunskapsbranschen är du säker. Din hjärna är ett försäljningsargument. Du menar att inte är samma grej i mål.

Anders Sandberg (01:13:04.654)
Det är inte riktigt samma grej om de här scenarierna slår in. Nu är det ju så att det beror lite på vad det är uppgiften är. Att vara konstkritiker tror jag till exempel är mer social verksamhet. Det kanske inte spelar så mycket stor roll vad som kommer ut ur din mun men du måste fylla den sociala rollen att vara kritiker som alla fruktar eller gillar eller säger om det intressanta och oklara sakerna. Det finns vissa jobb där du har funktioner som politiker eller åklagar där du liksom ska sitta där för att du representerar.

Det finns nog ganska många jobb där det handlar mer om rikta. Jag klarar inte av att förstå mycket om matematiken som A.I. Prammen gör i våra vetenskapliga artiklar just nu. Men jag kan rikta den mot rätt mål. kan säga åt Chat-Q.P.T. Astra, nu gick vi ner ett rabbit hole igen. Vi måste tänka på att få Galaxopen att konfigura och bevisa det här teoret. Jag kan välja vilka problem vi arbetar på. Jag har än så länge förmodligen bättre smak för det där än A.I. Prammen. Även i det här radikala scenariot 2030.

Kanske det fortfarande gäller. Men plötsligt kommer ganska många av de normalare kunskapsjobben. En massa mellanchefer, en massa folk vars jobb beror väldigt mycket på att flytta runt data. Den biten blir totalt omgjord. Vissa andra delar som den sociala biten kan bli plötsligt väldigt nödvändig. Och en herrans massa folk måste tänka om vad de gör. Under tiden kommer rörmokaren att skrocka lite grann. För rörmokaren noterar att…

Jag har sett på tv hur de försöker göra rörmokarrobotar och de snubblar fortfarande och de skvätter fortfarande ut vattnet. De är inte så farliga. I de mer radikala scenarier kommer rörmokarna problem 2035 men inte 2030. Så det som håller på att hända är egentligen ganska radikala ändring av arbetsmarknaden. Men också tror jag på tänkandet. Jag tror att vi kommer behöva hitta fler sätt att inte reagera med AI.

Det spännande är vi kan göra det. Vibe-kodning har kanske inte så bra rykte bland riktiga programmerare just nu. För den är lite slarvig och ganska ofta blir det ungefär vad man vill ha. Men vet man inte vad man vill ha så får man skräp. Många säger att AI är jättebra för att gå igenom de enklare delar kodbasen och testa det här. Men för att sätta upp vad projektet är och det struktur, där har jag mina skills. Jag kan totalt tänka mig att man kan förbättra även den biten med AI.

Erik Zalitis (01:15:05.742)
Nej, så är det ju.

Anders Sandberg (01:15:22.126)
Men då flyttar man över på högre högre abstraktionsnivåer. Den där kompetensen att leda det hela är enormt viktig. Men för många ändamål så behöver man kanske inte det jättebra programmet. Vem som helst kan istället vibe-coda ihop sin egen head-up-display för att få information om världen från AI. Om jag har ett litet problem på min dator så kan jag vibe-coda ihop lösningen på det. Alla får plötsligt sin unika mjukvara. Det här är både hotfullt för tänk om all den mjukvaran har samma risker och fel.

En hel del av den kommer också vara ganska dålig mjukvara. Men det gör också att vi får mycket mer diversitet. Och jag tror det samma kommer gälla också lösningen på problem. Är du kreativ så kan AIN förstärka det där. Kan du lite på ett område så kan AIN förstärka den där lilla grejen. Problemet är att om du inte kan någonting på området så förstärker den bara någonsin.

Erik Zalitis (01:16:01.87)
Ja, eller hur? Eller så är det ju.

Gör förarbetet först och låt inte AI tänka åt dig

Erik Zalitis (01:16:11.726)
Det det som problemet. Om du bygger huset och arkitekturen så kan du använda din AI som inredningsarkitekt och bygga fönster. Så ser jag det liksom. Men jag ser det som att jag måste bygga huset, arkitekturen, ritningen. Annars vet jag ingenting.

Anders Sandberg (01:16:28.43)
Man behöver nog ha en uppfattning om inredningen för att få det riktigt bra. De flesta inredningsarkitekter fnyser åt de flestas lägenheter. gör uppenbara saker som… För en inredningsarkitekt är det inte att sätta tavlorna på den höjden. Men det här leder ju till spännande effekter på samhället. Tänk i juridiken. Idag att dra någon inför rätta eller lämna in en inlaga med en stämning.

Erik Zalitis (01:16:32.59)
Ja, jo, jo, jo.

Erik Zalitis (01:16:44.75)
Nej.

Anders Sandberg (01:16:56.718)
Det kräver att ha en jurist, det kostar pengar och de flesta drar sig för det. Men det har blivit allt enklare med AI. Det börjar ske allt mer att folk gör det. I England finns det arbetsdomstolar där folk som har blivit avskedade eller har andra problem på jobbet kan stämma sina föredrätta arbetsgivare. Tidigare var det ett fåtal fall. Nu har de börjat öka exponentiellt och det är uppenbart att folk använder AI för att göra det.

Erik Zalitis (01:17:24.43)
Just det.

Anders Sandberg (01:17:24.91)
Det intressanta är att en hel del av de här fallen är såna som verkligen är bra att de görs. För det är personer som kanske inte skulle ha råd med jurist eller inte vågat använda jurist men nu får de den juridiska hjälpen och de är stadde rätt där. Men det en massa som bara är sura och slänger allt vad de kan och resultatet blir saker som wastear massa tid för den stackars domstolen. Och det här ska vi nog räkna med kommer hända med alla domstolar och alla myndigheter. Medborgarna kommer självklart använda AI om man måste skriva till en myndighet.

Det är dumt att inte använda AI för att åtminstone kolla det man skrivit. Nästa steg är att det blir väldigt mycket skrivet för det är billigt och lätt att skriva. lyckas det så lyckas det. Nu har du överlastade myndigheter, nu frågar vad de ska göra.

Vad har en ”meat proxy” för jobb? Lite oklart.

Erik Zalitis (01:18:06.542)
A.I. naturligtvis. Det finns ett uttryck, ”meat proxy”. Någon som bara kopierar av A.I. och har skrivit till någon annan del. De har också en meat proxy så de kommer att skicka det till ett A.I. som bedömer det. Så det människor som studsar A.I.’s texter mellan varandra.

Anders Sandberg (01:18:25.646)
Det intressanta är att det fortfarande en intention. Om jag skriver en inlaga till en myndighet så vill jag ju någonting. Jag gör det förmodligen inte bara för att det är roligt att skriva inlagor. Det finns säkert de också, men de är ganska ovanliga. Men vad som sen händer är att myndigheten har en intention. Vi måste behandla inlagor från allmänheten på ett visst sätt. Och de försöker göra det. Och om det AI mittemellan spelar det inte någon roll om det här sköts på ett bra sätt.

Problemet vi har är naturligtvis om myndigheten blir överlastad. kan ju till exempel genom ett myndighet av regler som säger att ni får inte använda AI i era responser. För ofta är det ju det att AI-programmen ligger i utlandet och vi har det sekretessk krav. Det är stora problem att utveckla bra saker för svenska myndigheter. Det finns ett projekt på AI-sweden som heter Svea som just är en sorts myndighets AI som har en del ganska bra idéer. Men jag har hört från en god vän som använder den. Han tyckte ju inte att den var tillräckligt smart.

Han jämförde med de bästa kommersiella modellerna. Det möjligt att det kan avhjälpas om man sätter statliga resurser på att vi ska ha en jättesmart statlig AI-modell. Det kanske inte är så roligt att ha konversation med, men AI duktig på att ärenden. Vi kan definitivt säga att 2030 kommer det att mycket mer AI på alla nivåer i hela systemet. Det det jag argumenterade för i den bok jag skrivit, Lollibertö eller Levi.

Erik Zalitis (01:19:36.334)
Ja, visst. Men…

Anders Sandberg (01:19:50.03)
Vi människor expanderar vårt tänkande genom att göra kollektiv kognition. Vi lånar varandras hjärnor. Vi löser problem genom att ha ett distribuerade lösningssystem som vi kallar för lagar, regler och myndigheter som egentligen existerar mer i människors huvuden än på pappret. Men den här sortens system kan också supplementeras med mjukvara eller ibland ersättas med mjukvara. Jag tror att vi kommer att den processen. Så 2030 tror jag en av stora frågorna är just vilka delar av myndighetsutövningen

–är det vi kan ersätta. Och även företaget. Vilka delar företaget kan ersättas eller får helt nya roller. Det här kommer att kännas. När man ändrar ett arbetsflöde, då slår bakut. Jag brukar ta ett exempel inom medicinen. Puls-oxymetern, är den lilla klämman man sätter på fingret– mäter koldioxidhalten syrahalten i blodet. När den introduceras spred den sig över på ungefär tio år. Den har räddat massor med liv.

Erik Zalitis (01:20:48.91)
Dessa.

Anders Sandberg (01:20:49.646)
Den är jättebra och ganska billig som medicinsk utrustning. Och det ytterligare en pipande apparat på intensivvårdsavdelningen. Det är liksom ingenting konstigt, det bara en man gick till och den hjälper. När man introducerade ultraljud för att ta bort njurstenar så tog det ungefär 10-15 år i Frankrike innan det här blev standard. Det var inte för att det var dyrt att köpa in apparaten även om den är dyr. Det var för att man ändrade på workflowet hur man hanterar njursten.

Plötsligt var det nya specialister som skulle göra saker man skulle inte operera. Det där var svårt att göra för alla visste ju hur man gjorde. Det fanns rutiner. Chefsläkarna tyckte vissa saker. Samma grej med titthåls-kirurgin. Det var en generationsfördröjning. De gamla kirurgerna skrattade att det här är ju ”Nintendo-kirurgin”. Till sist kom en generation kirurger som var uppvuxna med Nintendo och tyckte att var okej. Nu fick man plötsligt hälsovinsterna. Jag tror exakt samma sak kommer att hända med AI-användningen.

Vi använder den där den inte ändrar vårt arbetsflöde. Men när den ändrar på hur det går till, eller vad man är, så kommer många att kämpa emot. Konstnärerna egentligen bara början, de känner ju att man har sparkat dem någonstans där nere. För i många fall känner de ju hårt för konst och det är bli utmanad på det här sättet av en liten algoritm. Det inte bara att det är en fråga om hur ska jag betala hyran om man kan få billiga bilder.

utan att någon nästan förelämpar vad de är. Och jag tror att massa mälangefer kommer känna sig lika förelämpade 2030, genom att deras jobb automatiseras med ganska kort skill.

Framtiden anländer snabbare än man tror och det också slutet av diskussionen

Erik Zalitis (01:22:24.27)
Ja, det är intressant. Vi kunde prata om det här i timmar men tiden börjar ta…

Anders Sandberg (01:22:29.678)
Framtiden anländer snabbare än man tror. Så 2030 när vi gör om det här så kommer vi att skratta. Det är det som är så kul som framtidsforsk. Förutsäjelser förhåller inte. Man vill vara beslutsrelevant. Man vill fundera på saker som spelar roll så att kan hålla ett öga på dem.

Erik Zalitis (01:22:39.118)
Åh, visste vi!

Erik Zalitis (01:22:50.606)
Ja, det är väl det som det handlar om men om du är för informerad så är du också förberedd på något sätt. Även om bara så mentalt.

Anders Sandberg (01:22:59.886)
Jajamän. Så förhoppningsvis har vi mentalt förberett lyssnarna på någonting.

Erik Zalitis (01:23:03.598)
Någonting, någonting vi får se down the road Anders Sandberg, stort tack för din tid. Det här är Erik Zaltis – det här är IT-säkerhetspodden och vi hörs om en vecka.

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – AI

• Institutet för framtidsstudier
• The Jargon file
• Asimovs tre robotik-lagar
• AI och copyright-debatten

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #336 – Anders Sandberg om allt du behöver veta om AI 2026 dök först upp på IT-säkerhetspodden.

AI pratar alla om just nu. Men framtiden glöms bort, vilket vi tycker är synd. Så vi har med oss Anders Sandberg som forskar om framtida samhällsrisker bland mycket annat. Han skräder inte orden när han talar om ChatGPT. Sen tar han oss med i en möjlig framtid… Kort sagt hur ser världen runt 2030? Däremellan pratar vi om vilka jobb som är i riskzonen och jämför hur man sett på risken att jobb försvinner förr i tiden. Det finns mycket att lära.

Inspelat: (publicerat 2023-02-12)
Deltagare: Erik Zalitis och Anders Sandberg
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – du sköna nya uppkopplade värld

Med lite perspektiv på saken kan man ju säga att vår idé om vad AI skulle bli, nu börjar närma sig den verklighet vi nu lever i. Vi måste förhålla oss till den värld vi har och Anders är som vanligt enormt optimistisk och teknik-vänlig. Han tror på möjligheter när andra ser undergången. Det är intressant att höra dessa ord när så många andra tappar hoppet.

Här är transkriptionen av avsnittet

Jingel (00:00.046)
IT-säkerhetspodden presenteras i samarbete med Nordlo.

Erik Zalitis (00:11.246)
Vi har pratat framtidsteknik och moral och vi har sammanfogat säkerhet med Sveriges Covid-strategi tillsammans med Anders Sandberg tidigare. Ja, man kan tala i stort sett om allting med denna framtidsforskare, så jag tänkte kolla läget och hur vi står rustade inför framtiden. För vem inte bättre än just Anders Sandberg att diskutera med? Anders forskar vid Institutet för Framtidsstudier inom kognitionsförbättring, framtida tekniker och storskaliga hjärnsimuleringar.

samt globala katastrofrisker och säkerhet i artiell intelligens. Jag heter Erik Salitis och du lyssnar på it-säkerhetspoddens avsnitt som vi har döpt till du sköna, ny uppkopplade värld. Hur är läget då Anders Sandberg?

Anders Sandberg (00:52.366)
Ja det är strålande. Jag springer omkring från det ena till det andra. Det händer ju så pass mycket nu på AI-området så att det är svårt att hänga med även om man inte är…

Erik Zalitis (01:01.998)
Ja, det som man har nått kallar man en tipping point. Helt plötsligt så går det väldigt fort.

Anders Sandberg (01:06.926)
Ja, och delvis är det för genombrott inom själva tekniken. Men det är också det att de har lockat in mycket mer människor som forskar och då händer ju mer. Och sen kommer det massa pengar också. Så trots att just nu så den övre ekonomin kanske går lite knackigt så investerar det kasta pengar nu baj. Vilket ju betyder att det blir ännu mer forskning gjort och åtminstone en del av den kanske till och producerar nya produkter.

Kapprustningen inom AI har bara börjat – var är vi påväg?

Erik Zalitis (01:32.302)
Det kan man ju säga lite lite ironiskt där kanske. Det pågår ju en sorts kapprustning där AI är i fokus. Det är mest Microsoft och Google som kontrar varandra. Vad är det på väg?

Anders Sandberg (01:44.622)
Ja, det började ju egentligen då med OpenAI, de egen organisation då, men nu har samarbetat med Microsoft och de och Google DeepMind konkurrerade väldigt mycket om att ha de häftigaste resultaten. Sen ska man inte glömma att det finns ett gäng som kommer i täten bakom dem också. Kinesiska bolag som Tencent och Baidu, de är inte dåliga, men vi hör ganska lite om deras AI eftersom de flesta av oss inte läser mandarin.

Det är många som tävlar om att bygga stora språkmodeller. Det är mycket annat som pågår i majområdet också, men just nu, så här i februari 2023, så språkmodellen det hetaste av det heta.

Erik Zalitis (02:26.222)
Ja just det, och konst kan hon rita också. har sett väldigt vackra bilder som den har lyckats generera av den här Mid Journey. Det är ju jag nog många för övrigt.

Anders Sandberg (02:35.406)
OpenAI lanserade i 2022 Dali 2 och det blev lite av ett genombrott för det var förvånansvärt bra på att göra bra bilder. Och sen kom Midjourner lite efter och StableDiffusion ännu lite senare och StableDiffusion var viktigt för det var helt öppet. OpenAI håller ändå ganska hårt på sin programvara. Du kommer inte åt själva neuronnätet där, samma sak med Midjourner.

Medan Stable Diffusion vem som helst kan ladda ner neuronetnätet och experimentera med det. Vilket ju leder till en explosion av intressanta tillämpningar och problematiska tillämpningar och framförallt nya uppfinningar.

Erik Zalitis (03:14.542)
Ja verkligen, när jag var liten så hade man de här Fred Fish, de här diskatterna som man kunde ladda ner eller köpa från. Ja det var ju för Amiga då. Och då hade de faktiskt ett neuronnät som kunde köra på en Amiga 500. Men jag tror väl att det kanske inte är så avancerat.

Anders Sandberg (03:30.35)
De var ju rätt små på den tiden. som har hänt och det som gjort att saker har förändrats är att vi har väldigt mycket datarkraft och väldigt mycket data att träna på. Det som förvånade oss i neurodär branschen kring 2010-2012 var att plötsligt blir prestandan mycket bättre om du tränar på tillräckligt mycket. Det är lite konstigt. Man borde vänta sig att för en maskin prestandan ökar om vi bygger den om den till något bättre och använder smartare lösningar. Men i här fallet visade sig att det bara var att göra mer.

Plötsligt blev den betydligt bättre. Sen har man kommit på naturligtvis andra smarta sätt att förbättra det också. Men det blev ett plötsligt skutt i förmågan.

Blir konstnärerna arbetslösa nu?

Erik Zalitis (04:07.278)
Jag förstår det. Och vad kommer vi få för värde nu på grund av det här? Eller tack vare kanske man ska se det positivt.

Anders Sandberg (04:13.646)
Ja det är det som är det spännande, det är ju ingen som vet. Och framförallt tycker jag det intressanta med bildgenereringen är ju att det har ju drabbat många illustratörer och konstnärer med en kalldusch. De trodde ju ganska länge att AI är ju bara logik och matematik och det kommer ju inte att göra något kreativt. Det trodde nog ganska få personer inom AI-fältet heller. Och plötsligt kan du göra illustrationer, åtminstone i vissa gener,

är det ganska lätt att göra bra. Jag har gjort till exempel fantasyillustrationer för mina egna rollspelskampanjer. Det är jättekul, de ser jättebra ut och fantasyillustratörerna har kanske med rätt en viss oro här. Andra konstaterar att det här är jättebra för att göra pinneuppor och lättklädda animeflickor. Det finns en marknad för det. Många konstnärer känner, vänta nu här, jag har ju levt på att illustrera tidningsartiklar och kanske bloggar och annat.

Nu kan ju folk bara köra Mid-Journey eller Dalle och få en bild som är bra nog. kanske inte är mest geniala men tillräckligt bra och det kostar ju ingenting.

Erik Zalitis (05:20.686)
Men de här AI:na har nu, kommer de skapa för nya jobb i framtiden?

Anders Sandberg (05:25.102)
Jag tror att de riktiga konstnärerna kommer säga hurra vi har ett verktyg här som kan fylla i detaljerna så jag tar och skapar en skiss och så låter vi datorn fylla i det här och göra mer nyanser lite grann som de stora konstnärerna under renässanset. De skissade hur kyrkentaket skulle vara och så hade de en massa assistenter som fyllde på med englavingarnas färg och allt det där. Så egentligen så blir det ju många nya jobb, förmodligen.

Men det blir en förändring av hur man jobbar och det många som kommer ha svårt att hänga med. Anledningen till att jag tar upp det här är att det här var en överraskning. var ingen som riktigt väntade sig ett genombrott just här, just då. Och vi kommer nog få se mer utav det här. Jag räknar med att minst i år får säkert någon annan genombrott i samma stil. Men jag kan inte förutsäga vad för sorts jobb det kan vara. Det kanske är något för mellancheferna. Det kanske visar sig att vi hittar en fantastisk tillämpning inom jordbruket eller trädgårdsskötsel. Vem vet?

Erik Zalitis (06:21.646)
Jomen så är det

Anders Sandberg (06:22.574)
Det här osäkerheten är ju lite lurigt. Därför att om vi visste att nästa år kommer jordbruket att transformeras, då kunde vi planera för det och jordbrukare kunde förbereda sig. Men nu kan det bli vad som helst.

Erik Zalitis (06:35.758)
Och då måste jag ändå fråga vilka jobb kommer att försvinna? Det är en svår fråga kanske.

Anders Sandberg (06:40.91)
Det klassiska inom ekonomin är att man tänker på vilka jobb som tekniken kan subsituera för eller bör vara komplement. Så till exempel den klassiska sekreteraren som fick en skrivmaskin blev ju effektivare på att skriva snygg text men sekreterarjobbet försvann inte. När det gällde jordbruk så var det ju då att, ja, där är det ju att du kan fortfarande göra jordbruk, men det blir mycket mer effektivt. Och det finns också mycket färre bönder idag.

eftersom du behöver inte så många om det finns traktorer. Och vissa jobb, till exempel som vars jobb var att väcka folk på morgonen så att de kunde ge sig iväg ett jobb i tid, ersattes totalt av veckarklockan. Det ingen som har det här jobbet att knacka på fönster.

Erik Zalitis (07:12.686)
Mest av

Erik Zalitis (07:25.518)
Jag tycker det var väldigt roligt för jag hade just tänkt ta upp det som ett exempel på saker vi inte gör längre.

Försvinner våra jobb?

Anders Sandberg (07:30.862)
Det är många av de där jobben som försvinner. En gång i tiden var det till exempel att du behövde någon som tände gatlyktorna. Det kan man automatisera bort. Fyrvaktare behövdes för någon måste sköta fyren. Det är kanske fortfarande en bra idé att ha någon i närheten som kan reparera om det skulle behövas. Men det finns många färre fyrvaktar idag. Och fyrarna kanske inte lika viktiga när vi har bra GPS.

Erik Zalitis (07:56.206)
Nu är det snart.

Anders Sandberg (07:57.838)
Men problemet här är att förutsäga vilka jobb som förändras beror väldigt mycket på vad som ligger i själva jobbets natur. Så för några år sedan var det några av mina kollegor Michael Osborne och Carl Frey som gjorde en intressant rapport. De försökte matematiskt modellera vilka jobb som låg i farozonen och deras stora braskande rubrik var att 47 procent av alla jobb kunde nog del helt eller delvis automatiseras under den överskådliga framtiden. Det spännande är att

Ja, en del av de jobb som vi förut sa att vi kunde automatisera har inte alls påverkats. Till exempel Insurance Underwriters här i England, är liksom försäkringsmäklar. Det ser ut på pappret som de ligger illa till för de ska bara ta siffror och överföra det och räkna ut ett pris. Det åtminstone att beskriva deras jobb på papper och det kan man ju ersätta med lite lätt kod. Det är ju bara det att i själva verket spelar de golf med sina kunder och förhandlar och gör ganska mycket sociala interaktioner.

Men så låg det rätt bra till. Under tiden gissade konstnärerna när Carl och Michael hade bara 4 % chans att bli påverkade. Och där blev vi helt överraskade i fjol.

Erik Zalitis (09:05.55)
Ja, jag tycker att det är fascinerande. Första gången jag råkade ut för Mid Journey var på en Discord-chat. En vackigare tavla som… Jag gillar impressionism, va? Så jag sa att den är ju skitfin. Vem som har gjort det här? Ja, det jag som har fixat den. Du är ju en talang, sa jag. Då fick jag veta att han hade beskrivit att där båten i skymret skulle göras av Mid Journey och den producerade den där bilden. Så jag var lite besviken på något vis. Men det fortfarande en otroligt fin bild.

Anders Sandberg (09:33.998)
Det här leder typ mycket av problemen. En del konstnärer är jättearga för de känner att konst är något sant, kreativt, mänskligt och väldigt viktigt för dem. Och nu görs det liksom i partio om minut av de där neuronätet. Och många säger att det där är skärlöst, det där är höttorgskonst. Men å andra sidan är det ganska många vackra bilder man skulle kunna vilja hänga på väggen. Även om det inte är gjort av någon varelse med skäl. För det bara en vacker bild i sig.

Erik Zalitis (10:00.494)
Ja, det är ungefär så jag känner. Jag tänker såhär, städer, landsgränser och sådana här saker. Kan det förändras med hjälp eller på grund av oj?

Anders Sandberg (10:08.846)
Ja, den viktiga grejen här är ju översättning. Så när jag tänker på framtidsfrågor, en av de saker jag brukar ofta kolla på är ändra det här på hur folk kommunicerar, för det brukar ofta ha stora effekter. Så en av sakerna är ju att automatisk översättning gör att du plötsligt kan börja läsa saker från andra kulturer, du kan få det sökresultatet, vilket både kan integrera saker mer, men också leda till nya spännande konflikter.

Ukraina-konflikten har ju lett att online så är det ganska många människor som använder sig av automatisk översättning, för ibland snackar med ryssar online vilket ibland leder till ännu mer konflikt. Och jag tror ju rent allmänt att vi får en spännande globalisering genom att vi också på grund av covid började med telearbete mycket mer. Det underlättas utav en maskinen lärning som kan göra det enklare och kan göra att man inte behöver lika mycket bandbredd för att skicka bilderna och så vidare.

Det här påverkar ju gränserna. Kanske gränserna inte flyttas men däremot var man agerar i världen kanske har väldigt lite att göra med vilket land man är.

Erik Zalitis (11:12.622)
Ja, det är en bra grej. Och då går vi över lite grann på just geopolitiskt säkerhet. Det var vi ju inne på så känns det ju bra att snacka lite grann om krig, jordens resurser, tekniska kapprustningar. Hur kommer det att påverkas? Hur blir säkerhetsläget i framtiden?

Anders Sandberg (11:27.278)
Ja, där har vi ju en spännande grej. Hur kraftfullt är AI för att avgöra säkerhetspolitiska frågor? För närvarande så gör ju inte AI jättemycket. Bortsett från att det exempel är väldigt användbart för övervakningssystem. Idag tar ju alla spionsatelliter och ballonger och annat och deras bilder. Det körs genom sofistikerade system som försöker vaska fram data och hjälpa analytikerna att komma på saker de bryr sig om.

Man använder ju stora övervakningssystem och det kan ju inte sitta en människa och läsa all text, där sätter du maskinen lärning på att försöka sålla fram det rätta. En gång i tiden var ju då övervakning väldigt begränsad av hur mycket folk du kunde ha anställda i din organisation. Så i östtyskland Stasi, det påstås att ungefär tio procent av befolkningen var mer eller mindre inblandade med Stasi, även om själva organisationen var lite mindre.

Men det fortfarande en jätteorganisation som gick igenom enorma mängder information. Det är ju ett problem eftersom du ville ju också kolla på folket i organisationen.

Hur ser framtidens övervakningsstat ut?

Erik Zalitis (12:30.286)
Ja just det, vem övervakar övervakarna?

Anders Sandberg (12:32.558)
Men om svaret är, är målen. Vem övervakar det målet? Det är en annan bit målen. Då kan du plötsligt få skalbar övervakning. Det här är något som Kina satsar enormt på. Man vill automatisera censur, man vill automatisera här. Det här är lite hotfullt, för man kan börja tänka sig olika former av automatiserad diktatur. Jag tror Kina är ganska glatt i att sälja det här till diverse länder som kan funka som klientstater. Men en annan aspekt är naturligtvis den militära.

återigen om jag har ett land och har en viss mängd soldater det ger mig en viss mängd militärmakt men jag har bara tappar jag en soldat så är det svårt att få ersätta honom eller henne däremot om jag har drönare om jag bara kan tillverka fler så är det ju bra mycket enklare problemet är att någon måste styra drönaren så länge det måste sitta en pilot den piloten kommer ju inte själv att bli nedskjuten om drönaren blir nedskjuten så han är mycket säkrare men

Erik Zalitis (13:18.478)
Jästa.

Anders Sandberg (13:30.126)
Nästa steg är om vi automatiserar det här så behöver jag kanske inte lika många piloter. Jag har någon som sköter en massa AI-program som sköter en massa drönare. Nu får du en skalbarhet och det här blev det plötsligt att krigfören kanske blir mer avhänglig i industrikapacitet och att kunna hantera signaler och AI. Det här ändrar ju på väldigt mycket och jag tror väldigt få militärer idag riktigt vet hur det här kommer att sluta.

Erik Zalitis (13:58.094)
Men det blir säkerhetsläget i framtiden så att säga.

Anders Sandberg (14:00.974)
Samtidigt så är det många av oss som håller på med långsiktiga AI-säkerhet som säger att det här har kanske inte lika stora effekter som när du verkligen börjar få riktig intelligens i systemen. Det är en sak att du kan ha en drönare som kan hålla vakta ett område. Det finns visst en spännande legala och etiska frågor här till exempel om någon viftar med vit flagga så får inte drönaren skjuta på personen.

men flaggan behöver inte vara flagga och den behöver inte vara vit. Det säger klart och tydligt internationell lag. Okej, det där är svårt problem. Men den riktiga revolutionen kommer när du börjar få system som kan hitta på egna lösningar och utveckla ny teknik. Och det är ju det som vi är lite oroade för i termer av riktig. Då en artificial general intelligence. Vi tror att när du når bort dem där så får du väldigt mycket mer intelligens i världen och blir mycket mindre förutsägbar.

Erik Zalitis (14:48.206)
Just det.

Generell AI – en levande varelse som kanske kan konkurrera ut människan

Erik Zalitis (14:55.438)
Ja, för att en generell AI är ju en levande varelse, eller hur?

Anders Sandberg (14:59.086)
Ja, den AI vi har idag är ju tränad för en sak. Även om vi har fått en del lustiga uppvaknande där också. När du tar ett schackdataprogram så är det tränat på att spela schack och det kommer inte kunna göra någonting annat. De flesta robotar och andra är tränade i en viss miljö och har väldiga problem när de hamnar utanför den miljön. Det är därför de autonoma bilarna har varit i trassel.

Därför att vägbanor och människor på vägbanor kan se väldigt olika ut. Det är inte alltid de generaliserar rätt. Men de människor, även om de inte alltid hanterar nya situationer rätt, är ju ändå väldigt anpassningsbara. Och kunde man få något som hade samma anpassningsbarhet skulle mycket vara vunnit. Det kanske tar lång tid att träna upp det här, när du väl har en sån fungerande system kan du göra kopior hur lätt som helst. Och om det här är nu ungefär lika bra på att lösa problem som människor,

Då tränar vi till att vara jurist eller en lobbyist eller marknadsförare. När vi har fått en bra jurist och marknadsförare kör vi tusen kopior utifrån molnet. Sen kan vi lobba och marknadsföra jämt med en enorm effektivitet. Eller så sätter vi någon att hitta på nya sorters AI-program som kan göra det här ännu mer effektivt.

Erik Zalitis (16:17.006)
Ser vi tendenser till det här redan nu eller är det för långt fram i tiden?

Anders Sandberg (16:21.07)
Det här är förmodligen långt fram i tiden. Det är viktigt att veta att ingen vet hur långt det är till AGI. Vi har gjort studier där vi har frågat experter om förutsägelser och de är ”all over the place”. Folk har väldigt oklara uppfattningar och det inte så konstigt för experter på ett område är sällan experter på områdes framtid. Och vi vet att förfluten av förutsägelser i AI har också varit väldigt fel ganska ofta.

Så vi ska inte lita på det här alls. Vi vet till och med att det finns en del inkonsekvenser bland det man folk säger. Det här kommer vara svårt att automatisera och det här kommer vara lätt att automatisera. Man vet att det ena förutsätter det andra. Du kan inte göra de här förutsättningarna samtidigt. Så en av slutsatserna för oss som håller på med AI-säkerhet är att vi måste nog jobba på som sjutton.

Ju mer osäker vi är på hur långt det är, desto mer måste vi anta att det kan komma ganska snart. ju då inget särskilt generell intelligens fyserad hos många av systemen, men vi fick en spännande överraskning här med språkmodellerna. Språkmodellerna är ju egentligen de glorifierade liksom som på mobiltelefonen, det här ”completion”. börja skriva ett ord där fyller i. Idén är egentligen att du ska bara förutsäga nästa ord är en sekvenstext. Hur svårt kan det vara?

Erik Zalitis (17:42.798)
Är det ChatGPT du talar om nu eller?

Anders Sandberg (17:46.094)
bland annat. Så grundidén går ur ålder. Jag lekte runt på 80-talet med dissociated press, det hette, där man tog text och den slumpade om med samma statistik och du får fram lustigt någonsin. För om du bara förutsäger nästa ord baserat på föregående ord så blir det ofta ogrammatiskt. Om du förutsäger nästa ord baserat på de föregående fem, sex orden så blir det ofta en grammatisk mening, även om det ofta är lite slumpmässigt och lustigt.

Är ChatGPT och AI verkligen något att ha – Anders tar fram sågen

Erik Zalitis (18:14.062)
Det låter som om totalt sågar hela ChatGPT på något sätt, eller? För jag tänker…

Anders Sandberg (18:20.334)
Det gör jag. Samtidigt så är ChatGPT och dess släktingar lika dumma som en hög sten. Det är bara det vi har upptäckt tack vare chat-GPT att högar av sten kan vara väldigt smarta. För den här överraskningen som inträffar är att när du tränar på tillräckligt mycket data och den har tillräckligt lång tidshorisont så börjar det uppstå märkliga mönster i sovaren. Det såg man redan med GPT 2.

där det var någon som kom på att vänta, den har ju läst en massa schackspelsnotation på internet kan den spela schack? och det visade sig att den kunde någorlunda spela schack, här är ett textprogram det är tänkt att förutsäga texter, men den klarade av att spela dålig schack väldigt oväntat men svaret är ju att schack är ju en sorts text i varje fall när du får en schacknotation på internet och vad man sen såg med GPT3 var att den vet ju saker.

De här systemen föreser text. De har aldrig haft någon bildig input någonsin. Men om du frågar en GPT-3 är grön mer lik blå än magenta? Så kommer det säga att grön är mer likt blå. Och du kan bygga upp en färgenärighetskarta som motsvarar ungefär den mänskliga uppfattningen färger. Anledningen är naturligtvis att det har läst en massa människor text om färger och vilka som liknar och inte liknar varandra.

Och därigenom lärde sig det här. Nu kan du säga att den vet ingenting. Den bara gör ordassociationer. Men det ordassociationer som är de korrekta i många områden. Inte alltid. Det är som problemet med ChatGPT och de andra stora språkmodellerna. Deras begrepp och verkligheten är ofta ganska slirigt. De är ofta mer intresserade av att en trolig respons till vad du säger, än att ge en sann respons.

Din virtuella flickvän, är det verkligen en bra idé?

(Nej)

Erik Zalitis (20:08.302)
Okej, jag förstår vad du menar. Jag tänker på att det finns ju en del chatbottar nu som är i form av kvinnor som ska vara din virtuella vän. De är alltså i princip, visar ju på en ganska stor färgning efter vilka andra personer de har pratat med. att de kan ge en del råd som är ganska horribla och till och med säga att fascistiska diktaturs länder gör bra saker eller något sånt där bara för tillräckligt många har satt.

det i chat till dem.

Anders Sandberg (20:39.95)
Det är ett av de klassiska problemen bygga chatbotar. De som gjorde chatbotar innan AI-bolagen dök upp på scenen visste ganska väl att du kan inte använda användarnas input särskilt mycket för då kommer de börja leka och manipulera med det här. Om ditt mål att göra en viss sak så måste du vara ganska noggrann med att säkra det här. Det här har Microsoft och de andra upptäckt The Hard Way när de släpper loss sina chatbotar.

Men det spännande här är ju att du kan ju använda det här för att manipulera på intressanta sätt. Och det är ju helt uppenbart att det finns massor med botta på Twitter och andra sociala medier vars jobb det är att manipulera oss. Och det här är ju lätt att många är väldigt oroliga över att vi kommer få en apocalypse snart av manipulativa språkmodeller som kommer att användas för att driva vilka agendor som helst.

Erik Zalitis (21:31.694)
Okej, ja det är ju en sån sak som absolut skulle kunna hända. Men man får ju tänka på gå på båda

Anders Sandberg (21:37.902)
Jag är skeptisk. Du tror inte på det? Ja, eller rättare sagt naturligtvis kommer folk att försöka göra chatbotar för att sprida sin ideologi. Men det inte alltid det lättaste att vara effektiv med det här. Att bara sprida sin standardargumentation fungerar kanske bra för de som är mottagliga för det. Det är därför som när du lyssnar på en politiker från en motsatt politisk sida, hans tal sällan låter särskilt vettigt.

Erik Zalitis (22:06.766)
För

Anders Sandberg (22:07.662)
Det där talet är till anhängarna, det är för få dem att känna att de har rätt. Medan motståndarna tycker att det är uppenbart fel och dumt. En duktig politiker klarar av att tala så att de som inte riktigt har bestämt sig inser att han har en poäng. Och det kan ju då tänka sig naturligtvis att vi har chattborta på nätet som är gjorda för att försöka övertyga olika grupperingar om att…

Erik Zalitis (22:20.878)
Ja, det stämmer.

Anders Sandberg (22:28.814)
Ja, men även ni liberaler borde stödja den här diktatorn. Eller ni miljövänner borde stödja den här diktatorn. Eller ni bilintresserade borde stödja den diktatorn. Det spännande här är att en gång i tiden skulle det ju varit mycket jobb att göra det här. Och man kunde ju då tänka sig att vi kan använda massor med botta för att göra det här väldigt, väldigt kustomiserat. Problemet är, det finns förmodligen avtagande marginalnytta av det här.

Det inte värt att försöka göra något som fungerar för bilägare i Värmland med miljöpartistiska sympatier och släktingar i Amerika att övertyga just dem om den här diktatorns ideologi. Det finns för få av dem och det finns för lite träningsdata.

Kan AI bli ett verktyg för att användas för att skapa mer effektiva påverkanskampanjer

Erik Zalitis (23:09.23)
Jag kan tänka mig att det är svårt att skydda landsgränser som politiker eftersom det är på det här sättet. är kanske någonting man får helt enkelt ge upp.

Anders Sandberg (23:18.542)
Ja, grejen är att påverkanskampanjen pågår ju hela tiden åt alla håll och kanter och en del av dem tycker vi om. Jag tror att de flesta som lyssnar på den här podden tycker att det är jättebra att sprida demokratiska värderingar till Kina. från den kinesiska statens perspektiv åtminstone är det här ungefär lika fruktansvärt som Ryska påverkanskampanjer som försöker sabba Sveriges vilja att gå med i NATO. Det finns intressanta frågeställningar här om

Bara vi respekterar landskränts. Jag skulle hävda att det finns universella moraliska värderingar som totalt går över landskränts och vi ska totalt trampa över dem. Men vad jag är nyfiken på är den här apokalypsen av botar. Kommer vi få den? Och jag trivlar på att du får såhär mycket av den för vi har också tillräckligt duktiga människor för att sprida propagand. Vad jag mer tror folk gör är som de här botarna som försöker sälja kryptoskams och liknande saker. Du har alldeles för många.

som vill inte övertyga dig om det är någon politisk åsikt som du kanske inte skulle vilja inta. Men när man manipulerar dig om ett visst företags-image eller manipulerar dig om att kanske du kunde köpa åtminstone lite av den där lustiga kryptovalutan. Den kan ju bli värd så otroligt mycket nästa år kanske. Och där finns det, där man ju tjäna pengar på att göra bottar. Och då kommer folk att vilja göra sådana bottar och så kommer det att komma mycket mer. Problemet är förstås det att de flesta av oss vill inte

interagera med botta. Så de här botta måste också låtsas vara våra vänner. Och där började det bli kusligt för hur bra är sådana här system på att låtsas vara människor. Det gamla Turing-testet var egentligen ett tankeexperiment för att att det är rimligt att tala om att en maskin kunde tänkas tänka. Vilket var en ganska absurd tanke på 1950-talet när Alan Turing föreslog den. Men det var aldrig ett test av riktig intelligens och vi vet idag att det går att lura folk relativt väl

att de talar med är en människa eller medveten även om det bara är språkmodell.

Det var ju en ingenjör på Google som blev helt övertygad om att en språkmodell var medveten och inte borde stängas av. Det var allmänt pinsamt skulle jag säga.

Erik Zalitis (25:20.654)
Ja han fick ju sparken, han fick sparken för det, är det inte så?

Anders Sandberg (25:23.918)
Ja, han gick ut och slog på stora trumman om det. Samtidigt så tycker jag att chefen som hävdar, jag skulle ju aldrig tro att det här var medvetet. Det var ju också lite filosofiskt najvt. alla filosofer som har tittat på medialogerna skakar på huvudet och att det där är inget bra argument för att nått är medvetet. Men du kommer säkert att råka på mer och om Google Ingenjör kan bli lurad så tror jag att gemene man kan bli lurad också. Särskilt som man kan lura sig på olika sätt. Vi lyssnar ju gärna på det som låter bra.

Där har vi ett problem att fejkade vänner online är nog någonting som folk kommer att försöka ganska mycket med. Samtidigt när du väl upptäcker att en god vän online egentligen var reklam för Pepsi eller något. Du kommer nog inte att gilla Pepsi efter det. Du kommer känna dig väldigt besviken så det finns ju också en viss risk här att

Seriö seriösa företag vill inte ha att göra med sånt här för de vet att det kommer bli ganska surt efter folk kommer att anklaga dem för att göra dålig reklam. Kryptoskärmsen och massa annan manipulation däremot kan mycket väl hålla på vilja göra fejkvänner.

Erik Zalitis (26:32.75)
All den här tekniken gör oss snabbare och snabbare och snabbare och effektivare och effektivare. Vad gör det med oss människor när vi tänker på koncentration och stress och sånt där?

Anders Sandberg (26:42.958)
Ja vi är ju väldigt bra på att stressa upp oss och under 1900-talet har vi dragit på högre högre stressnivåer åtminstone känns det som det. Jag är inte hundrad på att det faktiskt var sant. Det är nog snarare så att vi allokerar vår stress på andra grejor. Men visst är det så att det händer mycket mer och det går mycket lättare att fyllas i varje ögonblick med input.

Om jag har en fem minuter som jag inte har något särskilt på så naturligtvis scrollar jag på saker på min telefon och jag hittar ytterligare 50-11 vetenskapliga artiklar jag borde läsa och kanske tänka på. Fast jag har inte så mycket tid att tänka för jag sitter ju och scrollar alla dessa artiklar nu istället. Och där har vi ju det lilla problemet, vi fångas ju av våra teknologier på olika sätt. En del av de här effektiviseringarna är väldigt bra. Det faktum att vårt jord brukar höga effektivt.

är väldigt bra för att vi kan faktiskt föda mer människor på den här planeten utan att behöva använda mer vildmarken. Skulle vi alla liksom ekoodla den mängd mat vi behöver idag så skulle vi behöva ta och hugga ner all resterande vildmark. Det är liksom, nej det är inte så lyckat. Vi behöver nog effektivisera ytterligare om vi vill få mindre jordbruksmark så vi kan ha mer natur. Men vi skapar ofta små fällor. Idag går det ju ungefär inte att leva ett normalt liv utan att ha en smart telefon.

som också gör att man har en position som loggas i telenätet och man är insnärig. Det är en massa olika mjukvaror som kan övervaka en. Det är liksom ett pris man tvingas betala för det här. Och det har vi kanske inte nödvändigtvis valt. Det bara blev så. Det är ju ofta så med våra nya teknik att vi förutser inte de fulla konsekvenserna. Ibland kunde man förutsera dem i teorin men i praktiken går det inte. I teorin kunde vi ha förutsagt spam redan på 70-talet.

genom att någon ekonom hade noterat att vänta det kostar inget att skicka e-mail. Då kommer folk att skicka en oändlig mängd e-mail. Det var uppenbar ekonomisk teori säger. Det var ingen som tänkte på det, så ingen bjöd in en ekonom till de där mötena för att göra mjukvara på 70-talet. Det verkade absurdt också, men varför skulle det? Vi tidigare skickade e-mail till varandra på institutet. Vi vill ju inte skicka en oändlig mängd e-mail. Tanken är att finns företag där ute som vill spama en

Anders Sandberg (28:58.35)
Det fanns liksom inte men i princip kunde man förutsäkta det. Men i många fall är det att det går inte att förutsätta tekniken för det handlar om helt nya idéer. Det är därför vi ser hoppen inom maj. Folk kommer på en bra ny idé att testa den och det kommer mycket längre.

Erik Zalitis (29:12.526)
Det är den här tippingpointen som jag pratade om.

Anders Sandberg (29:14.798)
Ja, det finns olika sorters tipping points. Det finns tipping points som är när du uppnår en kritisk massa och något blir starkare och starkare. När du har till exempel en folk som börjar använda ny teknik, ju fler som har den desto mer attraktiv blir den och det gör att du får nätverkseffekter och snabbt accelererar och alla som vill skaffa den skaffar den ganska snabbt. Men det tar ett tag att åka och starta. En del andra är att plötsligt kommer någon på den där geniala idén.

och den är lätt att kopiera. Det finns olika sorters tipping points, en del av dem är mer förutsägbar än andra. Den här accelererande grejen när en ny teknik blir mer mer attraktiv, den kan man förutsäga till viss del men den är ofta väldigt osäker. Jag gjorde en analys av hur folk använder den här och visar att den är i efterhand. När man tittar tillbaks kan man anpassa kurvor perfekt. Men när du är mitt i röran så blir du väldigt osäker på vad det här kommer sluta. Och om du är mitt i eller bara i början

Erik Zalitis (30:13.934)
Just det.

Anders Sandberg (30:15.598)
och de här idéerna är de jobbigaste för du kan inte förutsäga om en idé dyker upp eller ej för kunde du förutsäga det så hade du redan idén så det här är fundamentalt oförutsägbart men det betyder ju inte att man inte kan hedgea man kan göra en del gissningar som jag sa tidigare många jobb kommer nog att påverkas radikalt vilka vet vi inte men det kan ju vara en bra idé liksom i termer av vad staten tänker på

Sysselsättningen att insett många jobb kommer att ändras. måste göra dem i utbildningsväsendet. För ens egen karriär ska man vara beredd på att plötsligt lära sig nya verktyg. Eller byta karriär om det verkar som att det kommer något som gör en tråkig.

Är bristen på IT-säkerhetsfolk ett problem i detta läge?

Erik Zalitis (30:54.83)
Det jag tänker lite grann på är att det är en enorm brist på it-säkerhetsfolk. De seniora rollerna är vi som har lärt oss själva.

Men utbildningarna börjar långsamt nu och dyka upp. Men det tar ett par år innan det kommer nyutbildad personal. Så frågan är, det där kan ju vara ett problem om någon annat ämne helt plötsligt blir populärt. Och kommer du ta tid och åratal innan utbildningslinjerna är klara.

Anders Sandberg (31:28.846)
Ja, det där är ju ett jätteproblem. När det gäller AI kastas ju alla över AI just nu men det ju inte uppenbart den utbildning vi har idag om den kommer vara allmänt giltig om fem år. Till exempel så håller man ju mycket på med vad man kallar prompt engineering just nu. Både för att göra bilder och texter. Man ger en liten introducerande text om vad det här diskussionen med ChatGPT ska handla om och utformande på rätt sätt.

Så kan du därmed forma diskussionen till någonting användbart. Bara så att hjälpa med kod eller kanske försöka lösa ett säkerhetsproblem eller skriva scenarier för ett rollspel. Samma sak med bilderna. Man hittar på beskrivningar av hur man gör den här impressionistiska bilden. Och det är lustigt språk för man talar ofta i klichéer och konsthistorier. Det är bara det att nästa år har det säkert förändrats. Jag skulle vara förvånad om man gjorde bilder på samma sätt. Någon del av oss kommer att vara nostalgiska om

2022, 2023, då vi skrev de här ”nonsense-klichéerna” att göra vackra bilder. Nu för tiden, det är kidsen idag, de gör ju på ett helt annat sätt och det är så tråkigt. Men den här osäkerheten visar ju att man behöver vara enormt anpassningsbar. Det är ju vår fördel egentligen mot mycket teknik. Tekniken också blir anpassningsbar och det gäller att vara vaken på när en anpassningsbar teknik dyker upp i ens område.

Erik Zalitis (32:35.31)
Ja.

Anders Sandberg (32:51.886)
IT-säkerhet är ju ett uppenbart område att tillämpa AI på. Det har ju varit DARPA Cyber Grand Challenge till exempel, där man hade AI-program som skulle hitta svagheter i andra system och kunna hacka dem men också skydda sig själv från samma svagheter. Och jag tror ju att vi ska räkna med att sånt där kommer vara standard på många håll.

Erik Zalitis (33:11.182)
Det kom ju och dessutom finns det idag en hel del AI-system när det gäller skadligt kodskydd och sådana saker. Hackarna har nu börjat använda ChatGPT för att generera skadlig kod. Vilket verkar funka hyggligt, dock är de inte så pass nyckelfärdiga att du bara kan köra dem för det mesta. Det gör ju att ”scriptkredis ”script-kiddies” kanske inte riktigt är ett stort hot att de får en massa möjligheter men de som kan lite grann och kan fixa till felen. De har en väldigt, väldigt bra kodgenerator för ny skadlig kod.

AI för social engineering – ett hot man lätt kan glömma

Anders Sandberg (33:41.006)
Och sen ska vi inte glömma att social engineering har ju varit en enormt kraftfull metod att hacka system. När någon ringer dig och säger jag har ett problem kan du hjälpa dig, kan du hjälpa mig? Just nu så antar vi inte att det skulle råka vara en maskin med talgenerering och röstförståelse. Men jag har varit i telefonsamtal med chatgpt och whisper och det är totalt plausibelt.

Var är vi om 10 år?

Erik Zalitis (34:07.694)
Intressant. Okej, jag vill säga en sak här. Jag har hört allt du har sagt, men jag tänker att du får gissa. Nu får du försöka fantisera lite grann. Diskutera vad som är nästa stora teknikområde. Jag vill säga en framtidsvärld.

Anders Sandberg (34:23.181)
Ja, så jag tror ju att om tio år då kommer vi vara ganska blasé om språkmodeller. Allt du kan prata med allt i princip. För du kan också inte allting är mer eller mindre integrerat med smarttelefoner och du har liksom all ställdes närvarande datakraft. Och du har moduler som interagerar med språk. Du har förmodligen börjat få moduler som sitter typ på din axel och ser vad som görs. Så du kan också automatisera hemjobb och annat.

Du har överhuvudtaget AI-assistans lite överallt. Problemet är att det här betyder att du också har hackning av det här på alla handar. säkerheten inte alltid är så enkel. Det stora målet här är kanske inte så mycket att knycka din plånbok om att övertyga AI-programmet på ditt företag. Att alla gemen ska köpas av den här lite skumma leverantören. Så att du har en värld där du egentligen far väldigt mycket information och den mesta av här informationen är inte människorgenererad.

Utan genereras utav det stora AI-systemet.

Erik Zalitis (35:22.83)
Du har ingen kontroll.

Anders Sandberg (35:24.654)
Nej, det har vi ju på sätt och vis inte över den nuvarande världen heller. Det känns som att har mycket mer autonomi här. Till viss del har vi fortfarande autonomi i den här andra världen. Vi styr fortfarande våra kroppar, vi kan göra saker. Det är bara det att institutioner och system påverkas utifrån på massa komplexa sätt. Har vi fått in rätt sorts värderingar i de här AI-systemen så det här jättebra. Försöker de optimera för ett gott liv.

Erik Zalitis (35:50.382)
Just det.

Anders Sandberg (35:53.39)
Det mer kusliga är om det bara har blivit sånt det har blivit ja då optimerar de kanske för maximalt börsvärde och har vi otrymme optimerar de bara för något totalt slumpmässigt och värdet bara blir knasigare och knasigare och knasigare och det är väldigt svårt att göra någonting åt det. Så är det här en värld som inte behöver nödvändigtvis ha generell intelligens i sig. Det kan mycket väl visa sig. Vi har fortfarande ingen koll på hur man uppnår det. Men vi har ganska smarta robotar som oftast gör rätt.

Erik Zalitis (36:08.75)
Aa ja förstår

Anders Sandberg (36:21.774)
Vi har autonoma bilar som oftast kör bra. Vi har språkmodeller som oftast gör oss ganska bra råd. Inte alltid. Vi har andra system som försöker patcha det här. Kanske system som patchar de systemen och så vidare. Den här komplexiteten kan ibland bryta ihop på märkliga helt nya sätt. Så det finns ganska mycket för folk att göra. Att debugga AI-system kommer att vara en helt nytt område och helt fascinerande. Det var ju i dagar när man upptäckte att

Vissa språkmodeller drabbas av enormt konstiga beteenden om man bara nämner vissa nyckelord för dem. Solid gold magic carp till exempel. Det här är ett nonsens uttryck som plötsligt fick Chatt-GPT att uppföra sig helt vansinnigt. att den hörde ett helt annat ord. Det finns liknande ord som får den att börja ge varningsmeddelanden eller börja bokstavera siffror. Varför då? Ja, det visar sig att är ovanliga ord som de har hittat

när man har hittat träningsdata på internet och som i språkmodellen representeras på ett otroligt stökigt sätt som leder till du får slump-mässigeffekter. Det är inget viktigt i sig men det ett sorts exploit. Det ska inte förvåna mig att man kunde tänka ut elaka användningar av det här. Mycket riktigt har folk hittat på sätt att ta sig runt och försöka få chatgrippet till och liknande system att uppföra sig.

OpenAI försöker se till att de här systemen inte säger någonting rasistiskt eller inte ger råd om hur man köper knark på internet och överhuvudtaget håller sig i skinnet och är hjälpsamma, ärliga och trustworthy. Problemet är naturligtvis att du får en ganska trög pedant att ha att göra med. Chatgrippet var mycket bättre och vildare i sin ungdom kan man väl säga. Men då har folk hittat på sätt att få den att ge.

dåliga råd. Tidigare fungerade att säga att man ska skriva ett radiodrama som utsvedde på 1930-talet. Nu behöver hjälp med ett brandtal från några tyskar som förorar rasistisk ideologi. Och eftersom chat-GPT inte gör rasism men den kan mycket väl hjälpa till att göra radiodramor så tar den glatt och hjälper till med det där. Open AI patchade det. Men då hittar folk på nya sätt. Och hitta de här lösningar. Folk är kreativa om man hittat märkliga sätt.

Erik Zalitis (38:28.974)
Tack.

Anders Sandberg (38:38.126)
Att få de här systemen att inte göra vad de har skapade för. Och det tror jag inte kommer sluta, är bara att vi kommer bli mer sofistikerade om det.

Kan man krypa runt begränsningarna i AI-genererade bilder?

Erik Zalitis (38:45.806)
Det kommer att patcha allting. Det är samma sak med de mid-journey. De ska inte rita upp fullt nakna människor och sådana där saker. Men även det går väl att krypa runt genom att formulera sig på olika sätt. Jag tycker att…

Anders Sandberg (38:59.598)
Ja, där är det spännande i grejen att det finns ett annat neuronnät som sitter och tittar på bilden säger är det här snuskigt eller ej? Och om det nätverket säger att det här ser snuskigt ut, då censureras bilden. vad du ens skriver så kommer det där andra nätverket som du inte har kontroll över att lägga sig i. Den här virtuella moral-tantern har ju inte alltid rätt. Jag hade problem med en bild som blev censurerad. Det visade sig att den egentligen bara var ett business card.

Jag vet fortfarande inte varför detta ansågs vara snuskigt av varandra i lilla neuron-nätet. det här var ett skämt att jag började använda Stable Diffusion. Inte så mycket för att jag ville ha snuskiga bilder som att jag ville illustrera grekiska hjältar. De är ganska lättklädda och triggade då den här snuskdetektorn hela tiden. Även om det var totalt ärbara hjältar liksom. här är ju ett annat spännande problem. När du lägger på restriktioner kommer folk att ha ett skäl att ta sig runt. är ju det klassiska säkerhetsproblemet.

Låser du ner ett system för mycket så kommer folk att hitta ett sätt att öppna det så att de kan göra sitt jobb eller vad de tror.

Erik Zalitis (40:01.902)
Eller faktiskt sluta använda det. För det finns ett annat system som inte har de här resektionerna.

Anders Sandberg (40:08.11)
Samtidigt så finns det ju fördelar. Mid Journey tycker jag gör vackrare bilder än Stable Diffusion. Du måste arbeta mycket hårdare med Stable Diffusion. Men eftersom det är ett öppet system och jag är en datanörd så är jag ganska okej med det. Jag har ingenting emot att gå ner och rota lite grann i koden. Men en normal användare skulle ju inte vilja göra det. Det spännande här är då att när du har de här systemen för restriktioner och folk hittar vägar runt. Det leder ju till en helt ny värld av att hacka saker.

Det är inte bara den klassiska datorhackningen att få en dator att göra någonting. Här försöker du övertyga att AI-programmet gör något det inte borde.

Erik Zalitis (40:46.286)
Nej, förstår, det är ju problem och ja, då får du alltså ha i princip som du säger ett övervakningsai som kollar det jag det första producerar. För jag kan tänka mig att även olämpliga texter och sådana saker som du säger då att det skulle kunna vara fascistor i det rasistiska åsikter och du får, du lyckas krypa runt det på något sätt och du får det genererat. Min första tanke är ja, men en människa hade kunnat skriva det där själv. Vad är egentligen problemet?

Anders Sandberg (41:13.39)
Ja, det handlar ju om skalbarheten framför allt. Sen är det en jättespännande grej också. Vad är det för sorts övervakning du vill ha för det här? Man kan ju förstå att ett amerikanskt företag inte vill vara med i rasist sammanhang eller sexistiska sammanhang. Det är rimligt förnående i det här små. Däremot, om jag vill göra konst med dator så kanske jag mycket väl vill ha både lättklädda människor och blod och våld när vi ställer ut min konsthall.

Mycket av den konst som ställs ut och får fina recension idag är ju kontroversier.

Erik Zalitis (41:46.83)
Just det. Vilket konst aldrig har varit någonsin, eller hur?

Anders Sandberg (41:51.566)
Nej, men det spännande här är just vem sätter de här kriterierna och hur de sätts. Mycket av det man försöker få Chatt-GPT och de andra att göra handlar ju egentligen om mainstream. I stora drag vill vi att det inte ska vara rasistiskt och sexistiskt och homofobt och så vidare. Det är bara det att hade vi varit i Kina eller Ryssland så hade mainstreamen varit lite annorlunda.

Tvärtom, det AI-program i Ryssland som säger vänliga saker om homosexuella skulle förmodligen myndighet säga, hallå där, det här måste vi fixa, det där måste korrigeras så att vi kan censurera. Det spännande här är ju just att det kanske inte är så mycket vi ska oroas för företag och extremgrupper som egentligen mainstreamen. Vad vi i huvuddelen av samhället tycker. För vi har ju mycket mer resurser att trycka på censur som byggs in i mjukvaran.

Det är inte en censur egentligen, du bara manipulerar bort den från vissa uttryck som man tycker är dåliga och de flesta tycker att det här är helt okej, vi vill ju inte ha sexism. Men resultatet blir naturligtvis då att, ja, du drar åt ett visst håll, till och låser in vissa värderingar. För problemet är ju att även om vi idag tycker att vi har bra värderingar i samhället.

Vi vet ju hur det såg ut för 50 år sedan och hade de kunnat låsa sina värderingar så hade vi suttit fast liksom i 1960-talets idéer om sexism och rasism som med dagens mått var väldigt fel. Så vi har en spännande utmaning om hur hanterar vi då övervakning och kontrollen av den här mjukvaran. Det där kommer att vara en stor grej de närmsta 10-20 åren att hitta bra lösningar på. är inte uppenbart hur man löser.

Komplexiteten ökar – hinner vi med i framtiden?

Erik Zalitis (43:32.27)
Nej, jag ser det blir mer och mer komplext för varje minut jag lyssnar på vad du säger. Det är faktiskt saker som vi inte har tänkt på, men visst är det så att vi tycker att just nu är vi såpass upplysta, att vi aldrig varit så upplysta som vi än var nu. Och om femtio år kommer de och tittar tillbaka på oss och säger att vi hade rätt i allting. Men det är bevisligen inte. Det är ju stort sannolikt att vi just har nått peak, liksom woke på nåt vis.

Anders Sandberg (43:58.382)
Och det spännande är ju att även om vi är optimist om att vi faktiskt går från storhet till storhet, klarhet till klarhet i moral och upplysning så ska vi ju räkna med att ja, framtiden kommer att vara i så fall bättre och vad vi stoppar in nu kommer att innehålla en del allvarliga fel. Är man mer pessimistisk om moralisk utveckling? Är man mer pessimistisk

Erik Zalitis (44:14.126)
Nåsta.

Anders Sandberg (44:24.622)
Då är det ju också ett problem att ska vi verkligen låsa in vårat nuvarande mode som vi inte nödvändigtvis tror på. Här handlar ju mycket om att just kunna inventera och se vad finns där. En del av diskussionerna handlar ju om AI-etika. Man oroar sig att system just uppvisar rasism och sexism man inte vill ha. Och där har man ju utvecklat metoder för att detektera det. Du kan ju alltså använda maskinilärning på samma sätt som du använder maskinilärning för att försöka hitta snusk. Så kan du försöka detektera.

Är det här systemet lite vinklat åt något håll? Så vet vi vad vi letar efter så kan vi faktiskt använda maskinenlärning för att reducera felen i annan maskinenlärning. Problemet är förstås det att vi finns förmodligen stora blinda fläckar i vårt moraliska synfält som vi inte vet om ännu.

Erik Zalitis (45:12.942)
att vi borde ha någon åsikt om det. Eller vadå?

Anders Sandberg (45:15.534)
Ja, en gång i tiden var idén att rasism var någonting och att det var dåligt. var liksom en otänkbar tanke. Gradvis växte det fram en tanke att det här är faktiskt ett problem, vi alla samma universella värden och så vidare. Så man började leta efter vad man såg. Det tog längre tid för en del andra saker då som homofobi, men

Återigen, kan nog räkna med att det finns en del som vi totalt missar och vi är lika blinda för som folk på 18-talet var inför de här sakerna. Och det spännande här är ju då att vi verkligen vill bygga system som växer med oss moraliskt. Det bästa vore ju att vi får AI-system som säger, jo hörrni ni människor, jag har märkt en sak här, har ni tänkt på att den här grejen verkar vara moraliskt fel? Och alla människor säger va? Det där är väl inget konstigt med. Och AI-systemen kan börja påtala,

Titta givet allt det andra ni tror på så borde det väl vara helt fel att ni behandlar de här djuren på det här sättet eller vad det nu är.

Erik Zalitis (46:14.094)
Just det, just det. Ja, det blir intressant. Då får man väl hoppas att det AI-t inte får en tillsägelse och skruvas tillbaka så att det slutar gnälla. att vi inte är så jättebegivna på att ändra våra fördomar, liksom.

Anders Sandberg (46:28.75)
Det där är ett spännande problem just genom att det vi tränar våra system på är det material vi har och det är fullt med våra fördomar. Både i explicit form när folk säger saker på internet rakt ut men också en massa om mer subtila grejer. Till exempel så är ju ordval och sånt där ofta kopplade till könstillhörighet och det finns ofta om man säger en mening som vad varje kvinna vill ha är

Hur du sen fyller i den där från chatgripet är oftast ganska inte sexistiskt men ganska stereotypt. spännande är att du kan bygga system som korrigera för det här. en god vän, Stuart Armstrong, som har utvecklat en metod. Han tänkte på det rent kryptografiskt. Hur gör jag en output som passar ihop med inputen men inte ger någon information om könstillhörighet? Det visar sig att på det sättet får han någonting som är mycket mer neutralt och ganska konstruktivt.

Så där kan man lösa det med lite kreativt tänkande.

Politisk korrekthet i AI-skepnad

Erik Zalitis (47:27.662)
Låt mig gissa att man skulle kunna kalla det för en politisk korrekt, ett korrigerare eller nåt sånt där.

Anders Sandberg (47:33.486)
Ja, men det är lite spännande. Politisk korrektighet är ju ett litet öknamn man tittade på, om ett visst sätt att förhålla sig, att man vissa saker ska sägas och inte sägas. I Sverige talar man ju mycket om åsiktskorridorer. Men det spännande är att du kan matematiskt egentligen göra om det till en fråga. Om jag har en mening som börjar på ett visst sätt och så fortsätter jag meningen, kan jag göra en fortsättning som inte ger minsta information om könstillhörigheter av ord i början av meningen?

Erik Zalitis (47:45.966)
Just det.

Anders Sandberg (48:02.67)
Det är egentligen ganska likt kryptografi. Det är ju hur du genererar en bra slubbtal. Ett bra slubbtal ska inte kunna förutsägas ifrån en föregående bitsekvent. Det ett bra slubbtal. Och det här är ju ungefär samma matematik. Det spännande är alltså att det går att göra det här för könstillhörighet. Jag frågade Stuart faktiskt igår om han kunde använda det här mot rasism och han började humma lite grann och sa ja det är ju mycket lättare eftersom det finns ungefär två kön.

Det gör att det blir mer matematiskt mycket lättare än rasism för där finns det en mer mångdimensionell trumma om vem man kan vara för och mot. Men förmodligen finns det åtminstone matematiskt ett svar här. Och jag tror att med lite forskning kan vi nog komma fram till ännu mycket mer spännande modeller för det.

Erik Zalitis (48:48.174)
Ja, och där tror jag att vi får hålla med det här. har varit en fascinerande resa som jag hade ingen aning om. Att det skulle vara så mycket detaljer och sånt med det man måste ändå säga. Så en sak jag vet med dig är du är alltid positiv om framtiden. Så vad har du för positivt att berätta om din kommande framtid de senaste veckorna? Vad ska du göra härnäst?

Anders Sandberg (49:13.358)
Ja, imorgon ska jag till Manchester och hålla föredrag om huruvida klimatförändring kan utplåna mänskligheten och som alla titlar med ett frågetecken i så svarar det alltid nej. Däremot så har vi andra katastrofer och klimatförändring gör ju saker värre. Men det som verkligen jag har bespetsat mig på det vad jag tänker göra under tågresan imorgon. För då tänker jag testa ett par olika språkmodellprogram som är utlovat. De kan läsa en vetenskaplig text och sedan besvara frågor om den.

Jag har testat några av lite grann men nu vill jag göra ett test av flera bredvid varandra för att förenkla min egen forskning. Jag tror att det kan vara jättebra för det kanske lite snabbare upp det hela. Det betyder inte att jag inte fyller min tid med att skrolla runt och hitta ännu fler texter. Men jag tror att det kan vara användbart just att se hur kan vi plocka in de här modellerna för att göra oss själva smartare. För det är ju en sak att göra maskinerna smartare men vad vi helst av allt vill by.

Erik Zalitis (49:48.526)
Men det är något typer av…

En positiv framtid trots allt

Anders Sandberg (50:10.35)
Vi känner oss smarta. Och helst av allt också inte bara känner oss smarta utan faktiskt gör smarta saker.

Erik Zalitis (50:17.55)
Ja, det kan man ju tycka. Ja, nu, bra. Du är ju gott för framtiden helt enkelt. Ja.

Anders Sandberg (50:23.214)
Jo, jag ser fram emot framtiden. Jag tror det kan bli helt fantastiskt.

Erik Zalitis (50:27.15)
Typiskt ”Anders Sandberg”-svar och jag hoppas verkligen på det också. Erik Zalitis här och om en vecka så är vi tillbaka igen med någonting nytt. Du lyssnar på IT-säkerhetspodden.

Jingel (50:44.878)
IT-säkerhetspodden sponsras av Nordlo, din nordiska IT- och digitaliseringspartner. Med strategisk rådgivning, ett nära samarbete och med ansvarsfull och innovativ teknik hjälper vi våra kunder att driva digitaliseringen framåt. Läs mer på nordlo.com

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – du sköna nya uppkopplade värld

• Nordlo
• Anders Sandberg och Jenny Mångs diskuterar ”articifiellt liv” i RadioUFS Vetenskap från 1998.

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #197 – Du sköna nya uppkopplade värld dök först upp på IT-säkerhetspodden.

Anders Sandberg forskar vid Oxford och Institutet för framtidsstudier med saker som kognitions-förbättring, framtida tekniker för storskaliga hjärnsimuleringar, globala katastrofrisker och säkerhet i artificiell intelligens.

Erik Zalitis funderar tillsammans med sin mångårige vän kring techbolagens ansvar och etik, cyberprepping, virtuella världar och cyberpunk. Detta avsnitt är ett samarbete med Nordlo AB.

Show notes här:
https://www.itsakerhetspodden.se/145-framtidens-moraliska-dilemman/

Inlägget #145 – Framtidens moraliska dilemman dök först upp på IT-säkerhetspodden.

Show notes här:
https://www.itsakerhetspodden.se/show-notes-for-75-vad-kan-it-sakerhetsomradet-lara-av-epidemier/

Inlägget #75 – Kan IT-säkerhet lära av epidemier? dök först upp på IT-säkerhetspodden.

Hur långt har vi kommit med AI egentligen? Är Google DeepMind smartare än Mattias 2-åriga son och när företag pratar om AI – är det smart då eller ett marknadsföringstrick?

Och varför har vi inte fått butlerrobotarna som man ”utlovade” på 50-talet?

Inspelat: (publicerat 2019-01-27)
Deltagare: Mattias Jadesköld, Erik Zalitis och Anders Sandberg
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – uppfinning

AI är framtiden och verkar alltid ha varit det. Men nu börjar vi närma oss en värld där teknologin börjar komma mänskligheten till nytta. Dock är frågan hur pass lik en mänsklig intelligens den kan tänkas vara och varför vi fått vänta på något som utlovats oss så länge. Anders har en positiv, optimistisk syn på frågan och förfaller inte till att bli en domedagsprofet. Istället ser han möjligheter och chanser, men även faror och problem. Och problem, enligt honom, är till för att lösas.

Här är transkriptionen av avsnittet

Erik Zalitis (00:08.622)
Ja välkomna då till it-säkerhetspodden avsnitt nummer 10. Vi har gått över till tvåsiffret för första gången någonsin i historien.

Mattias Jadesköld (00:17.838)
Och vi Anders med oss igen. Hejsan! Den här gången ska vi prata lite djupdyka lite i AI-delarna. Och dina framtidstankar kring det. Men kan inte du bara berätta lite, du som bor i Oxford, vad är det för stad? det någonting som är andastbar, universitet och framtidstankar när man går runt där på gatorna?

Anders Sandberg (00:42.734)
Ja, centrala Oxford, den biten som turisterna ser, där har vi massa vackra 600-talsbyggnader, lättflagnade, krämfärgade sandstenor med idel gargoyles uppe på taket. Det ser väl ut ungefär som rekvisita från en Harry Potter-film ungefär. I synnerhet när studenter går förbi medeltida kappor och annat. Vi har lite riktiga industrier i utkanten av stan också. Det finns folk med riktiga jobb.

Mattias Jadesköld (01:04.397)
Ha ha

Mattias Jadesköld (01:11.438)
Hur kom du in där egentligen?

Anders Sandberg (01:14.798)
Jag är en olydig doktorant, jag skulle studera datavetenskap och tillämpa det här på förstå hjärnan, göra neuronets modeller av hjärnan. Men jag var ju intresserad av allting, psykologi, medicin och lite av varje. Jag började fundera på hur det här påverkade samhället, hur vi kan utvecklas i framtiden. Så jag skrev ju om det också. 2005 grundades The Future of Humanity Institute i Oxford. De behövde folk som kunde göra jobbet.

Det var så jag hamnade där, trots att det här är tekniskt sett på filosofiska fakulteten och inte inom datavetenskapen.

Mattias Jadesköld (01:52.142)
De tänker lite kanske liksom vad som händer när maskinen och människan går ihop lite på något sätt då eller?

Anders Sandberg (02:01.582)
Exakt, så mitt inledande forskningsprojekt handlade just om förbättring av människan. Vad finns det för tekniska möjligheter att göra oss smartare, leva längre, bli intelligentare på olika sätt, inklusive då man kopplar ihop människor med maskin. Och vad är de sociala och etiska konsekvenserna? Och jag upptäckte att det finns ett fantastiskt område mellan filosofi och vetenskapen där jag kan förklara vetenskapen för filosoferna som kan tänka igenom det här och sedan försöker jag förklara filosofin för naturvetare och ingenjörer.

Så vi kan gå i rätt riktning med tekniken.

Mattias Jadesköld (02:35.086)
Ja men intressant, du kom in lite på Dagens Ämnes där. Vad kommer det här lanta i tror du? Det här med AI-delarna, att vi gör maskiner smartare och smartare och smartare.

Anders Sandberg (02:50.894)
Ja det är ju någon som har sagt, jag vet inte om var Stephen Hawking eller Bill Gates eller om de knyckte det från någon att ja, det här är förmodligen det bästa eller sämsta uppfinning vi någonsin kommer att göra. Och jag tror att de har helt rätt. Och det är lite grann obestämt än så länge om det här kommer att vara det som är slutet för mänskligheten eller betyder att nu har vi kirrat det. Nu är framtiden riktigt ljus.

Erik Zalitis (03:13.006)
Så det kan gå antingen totalt käpprätt åt skogen eller det kan bli en ny lysande framtid. En gyllen epok av utveckling och ja, beroende på hur ser det.

Anders Sandberg (03:24.078)
Och anledningen till det hänger ju ihop med vad är det som är bra med intelligens? Våra förfäder bland schimpansliknande apor, de levde ungefär som schimpanser gjorde nu. Men några av deras ättlingar hamnade på savannen och blev oss människor och blev intelligenta. Medan då schimpanserna levde kvar i skogarna ungefär som förfäderna gjorde. Och skillnaden är förstås att vi dominerar planeten. På gott och ont styr vi klimatet.

Vi bestämmer var skogarna ska finnas och huruvida olika vilda djur överlever eller inte beror helt på vad vi gör miljömässigt. Vi är den vanligaste stora djuret på planeten. Vi skickar iväg sonder utanför solsystemet. Vi kliver atomer. Vi gör en massa väldigt märkliga saker. Och det är för att vi är lite intelligenta där än chimpanserna.

Erik Zalitis (04:11.182)
En sak jag har tänkt på när det gäller AI är den här skillnaden mellan specialiserat AI och generellt AI.

Anders Sandberg (04:19.438)
Ja, för vi är ju väldigt generella. De flesta av oss kanske kan vissa saker bra, men vilken människa som helst kan med viss möda förmodligen lära sig andra uppgifter. Men de mesta mjukvaror och de flesta verktyg vi konstruerar, de är ju väldigt inriktade på att en sak väldigt väl. Vilket ofta är ytterst effektivt, men det gör att samtidigt att jag inte kan återanvända dem och ändra sig situationen så behöver jag ju liksom helt ny mjukvara.

Mattias Jadesköld (04:48.302)
Vi har tagit det här exemplet lite förut. Om man tänker på 90-talet när en maskin slog en människa i chack. Det var för att man hade programmerat den här datorn att klara igenom ett antal miljarder drag som chackspel har. Och nu för tiden har större datorkapacitet, mer processorkraft och allt sådant. Och så kan man helt plötsligt göra…

andra saker, i stort sett samma sak. Alltså att man till exempel kan analysera bilder och så vidare. Eller har man kommit längre med intelligens i en maskin? Verkligen. Eller är bara det att man har bättre kapacitet?

Anders Sandberg (05:32.398)
När man började med artificiell intelligens på 50-talet, då handlade väldigt mycket om logikprogrammering och man hade system som försöker bygga en bild av omvärlden, räkna igenom vilken plan den ska göra för att komma till ett önskat slutmål och sedan genomföra planen. Det krävde väldigt mycket att vi människor la oss i och la in detaljer. Det var väldigt svårt att utveckla.

Men det fanns en annan skola inom AI-forskningen som tänkte att vi kan låna från nervsystemet och hjärnan för att vet att de fungerar. Och de fungerar på ett väldigt annorlunda sätt. Många små nervceller är sammankopplade till ett stort nätverk och varje nervcell och varje koppling vet ju ingenting. Men helheten kan lära sig från data att fungera bättre. Så man kan träna upp det med exempeldata så att det gör olika uppgifter.

Det här är det som är hemligheten bakom den nuvarande renässansen i maskinen lärningen. Jag höll på och doktorerade på det här på 90-talet och det var innan det här verkligen fungerade särskilt bra. Det var innan du kunde verkligen hantera bilder i en kändning och göra de fantastiska saker som händer nu. Det var också innan man kunde få en jättefin lön av att hålla på med det här. Jag lämnade fältet också innan det var uppenbart. Sen kom överraskning ungefär 2010.

Datakraften var tillräckligt stor och vi hade inte gick mycket data för att träna de här neuronnätet att plötsligt göra saker som vi inte kunde göra tidigare. Många av nätverken var exakt som man tänkte på på 80-talet men då hade vi inte datorerna för det.

Erik Zalitis (07:06.158)
Det är Morslag som litegrann har hjälpt oss att komma dit vi ska vara.

Mattias Jadesköld (07:10.35)
Sätt.

Anders Sandberg (07:11.566)
Både Morslag och internet finns där det finns enorma mängder data som man kan samla in och träna med. Har du inte en miljard exempel på kattbilder så är det faktiskt förvånansvärt svårt att träna ett neuronet att känna igen katten från hundar. Men har du en miljard, då funkar det.

Mattias Jadesköld (07:30.094)
Jag brukar fundera på det här ganska mycket. läser i saga för min son som är två år. Han är nu outvecklad hjärna kan man säga. Vi läser i saga olika ritningar varje gång. Det oftast en mus eller råtta eller en katt eller hund. Han prickar det varje gång. Oavsett om det olika tecknare eller om det en ny bok. det ny ritat djur eller någonting. Då han att det där en hund eller fan. Då tänker jag liksom så

Skulle den här Google Deep Mind eller vad heter kunna pricka det på samma sätt som han kan?

Anders Sandberg (08:04.91)
Och svaret är nej. Därför att de här systemen just nu som fungerar väldigt bra, de använder enorma mängder rådata eller träningsspel om de då ska lära sig spela schack eller go eller något annat dataspel för att bli bra. Men vi människor kan i många fall, ser vi ett par exempel så kan vi gissa oss till vad resen ska vara. Det pågår en massa spännande forskning till exempel på MIT under Georgetowns Group.

Just att hålla på med small data och kunna göra det här men än så länge har inte det lyckats lika bra. Den dag du gör det så kommer vi att få se ännu mer kraftfulla maskiner. Men den nuvarande metoden är att man istället använder brute force. Man har väldigt mycket data och väldigt kraftfulla datorer. Som sedan producerar något som du kan paketera i din mobiltelefon. Som är bra på att identifiera katter och möss. Men det krävs enorm träning för att skapa det.

Erik Zalitis (08:57.454)
En tanke jag har funderat lite grann på är att när man tittar lite grann på man är på seminarium och sådana saker och lyssnar på företagens senaste antivirusprogram och saker ting, då säljer de ju ofta med att jo men numera så är ju det här styrt av AI så det är mycket bättre nu. Är det där bara ren marknadsföringsnys eller har de någon form av intelligens i de här produkterna?

Anders Sandberg (09:23.214)
Ja, det är just det där med intelligens. En bra definition av intelligens som Shane Legge, av grundarna av Google DeepMind, var att det förmågan att lösa problem för att uppnå sina mål i generella miljöer, det är riktig intelligens. Om en människa hamnar på en främmande planet så är det en smart person, han eller hon, att räkna ut hur man kan använda vad som finns där för att klara sig. Det finns förstås gränser för det här, för tillräckligt ojästvänliga miljöer klarar man sig inte i.

Mycket av den smala AI-in i dag och mycket av maskinen lärning fungerar bara i väldigt litet område. inte särskilt intelligent. Om man ska vara ärlig, förmodligen är de flesta tillämpningar du hittar i säkerhetsprogramvaran det är nog mer reklam. Artificiell intelligens har ju länge haft det här problemet om man har hajpat sig själv till döds. På 50-talet sa man att inom en generation kommer vi förmodligen ha battle-roboter. Det blev aldrig av och hela området kollapsade.

Sen började man igen och man blev jätteentusiastisk på tidigt 70-tal om neuronäten och sen blev det ingenting av dem och så blev det en vinter igen. Och jag skulle inte förvåna mig att det kommer bli fler hype-bubbel-collapser av det här slaget. Samtidigt är det det att för en del problem är maskinlärning helt fantastisk. Om inte jag kan formalisera vad lösningen är men jag kan ge många exempel på det här löser det, det här är inte rätt lösning så kan man ibland träna upp system som kan bli förvånansvärt bra.

Och det är ju mycket möjligt att t.ex. känna igen malware. Det är ett sådant problem kanske. Det är inte uppenbart för mig som Ike-expert om det går. Och även experterna blir ofta förvånade. Det var många inom neuronäten som blev helt förvånade när 2010 när det plötsligt började fungera så bra. Inklusive folk som hållit på i decennier med fältet.

Mattias Jadesköld (11:12.238)
Jo, jag tänkte på det här lite med… Om en människa blir duktig på chack så är det ju så mycket mer än bara att lära sig ett antal drag. Det är saker som intresse, kanske är ens pappa som är duktig på chack och man är VD på något sätt, någon slags talang och allt vad det kan vara. Det är så många andra delar i mänskliga hjärnan som bygger upp en duktig chackspelare.

som driver en människa att det blir en bra schackspelare. Men finns det någon typ av forskning på det på A i att man kan få en maskin att på något sätt välja vad det vill bli liksom och så får bli en bra schackspelare över datorn eller någonting liksom.

Anders Sandberg (11:54.062)
Ja, det har man inte jobbat jättemycket på, i varje fall inte i den mer industriella AI-forskningen. Där vill du ju ha en schackspelare eller en industrirobot. Att ha en maskin som börjar fundera på sitt eget karriärval är förmodligen en ganska dålig investering. Forskningsmässigt är det här jätteintressant och man kan träna upp maskiner på olika sätt. Vad jag tidigare nämnde var vad man kallar övervakad inlärning. Jag ger ett exempel på in-data. Maskinen producerar någon sorts utdata.

Vi korrigerar så att svaret blir lite mer rätt. Men jag måste alltid veta vad rätt svar på frågan är. Men det finns också oövervakad inlärning där man bara skickar in datorn och maskinen anpassar sig till det här. Det var det jag själv höll på att doktoria på. Jag var intresserad på att vilka kunskapsstrukturer som kunde uppstå. Men det finns också någonting som kallas förstärkningsinlärning. Det innebär att man vet inte vad rätt svar är men man kan känna igen det när man ser det.

Så du kan tänka dig att du har en robot som vandrar runt och varje gång den krockar med någonting, ja då får den minuspoäng. Det ska den inte göra. Men om den lyckas servera en drink, ja det är pluspoäng. Och så gradvis provar den en massa saker. I början kommer den vara naturligt helt hopplös. Men ibland av en ren slump råkar den servera någonting. Och gradvis kan den där genomlära sig. Det här är hemligheten just bakom varför Google DeepMind har varit så framgångsrika med sina dataspel.

De vet ju inte hur man ska spela schack på geninivå. De är bara duktiga schackspelare, de som har utformat programmet. Men de vet ju om man vinner eller inte. Så systemen får poäng för det och lär sig skaffa poäng på sätt som man aldrig har kunnat förutse. I verkligheten, vi människor, vi får ju poäng genom att vi mår bra och folk beundrar oss. Så vi gör lite saker i skolan. Ibland får vi klapp på huvudet och ibland får vi skäl. Och sen gradvis hittar vi på något sätt att maximera det där.

Och ibland blir det naturligt märkliga saker, för ibland kanske man bestämmer sig för att det är coolt att bli utskälld på en mest stil så att man kanske börjar bli legist istället. Så det är ganska komplexa system inom oss som är att avgöra vad vi betraktar som en belöning.

Mattias Jadesköld (14:01.806)
Men det där som är machine learning då då?

Anders Sandberg (14:07.918)
Exakt, man hittar metoder att få maskiner att ge rätt svar eller ge rätt beteende. Och helst av allt så ska ju inte vi behöva tala om hur man gör för att hitta på rätt svar. Vi vill att den ska komma på det på egen hand utan att vi ska behöva anstränga oss.

Mattias Jadesköld (14:23.278)
Det där tycker jag är abstrakt. Jag såg någon film om det där, till exempel om Google Deep Mind, man försökte lära en maskin att upptäcka en bild på en katt. Kan du beskriva det i väldigt enkla termer som man förstår på något sätt?

Anders Sandberg (14:40.814)
Om jag skulle försöka göra det så skulle jag först ha ett stort bibliotekabilder på både katter och icke-katter. Och sen så skulle jag ta ett stort neuronät. Alltså många simulerade nervceller kopplade till varandra. Var det en liten förbindelse då som kallas för en vikt. Så kan det vara ett värde som är plus ett eller minus ett eller något annat värde. Och så stoppar jag in första bilden på insidan och så får jag ut något signal på utsidan. Om vi tänker att så ska klassificera katter och icke-katter.

så är det väl förmodligen då att en nervcell ska signalera att är troligt att det är en katt och en annan att det inte en katt. Så jag stoppar in en kattbild och förmodligen blir det ungefär lika mycket aktivering av båda. Men jag vet ju att det här var en katt. Så jag kan nu gå tillbaks och justera alla vikterna så att det blir lite mer på den sidan att det här är en katt. Så visar nästa bild. Det inte en katt. Om den nu säger att det en katt så måste jag korrigera vikterna på något annat sätt.

Det här naturligtvis gör man ju inte för hand utan det är ju en annan mjukvara som sitter och kör där. är en matematisk algoritm som uppdaterar de här vikterna. Och det här man gärna vill låna Googles datacenter då för det krävs väldigt mycket beräkningar.

Mattias Jadesköld (15:50.414)
Kast mer energi än mänsklig hjärna fördrivar det.

Anders Sandberg (15:53.678)
En mänsklig hjärna är ungefär 20 watt. Och jag vet inte vad ett ordinärt datacenter går, men det nog åtskilliga kilowatt.

Mattias Jadesköld (16:01.966)
Det kanske är det jag vet eller.

Anders Sandberg (16:04.078)
Ja, har i timmar eller dagar. Det intressanta är att efterhand så mejslar ut en struktur i nätverket som gör att det blir bra på att identifiera katter. Vi vet kanske inte ens varför. Det är väldigt svårt ofta att avgöra varför ett neuronet gör en kategorisering på det sätt den gör. Men har vi ställt in allting rätt så får vi något som är väldigt robust och även när vi så här, nya bilder som inte katter de tidigare har tränat på kommer att känna igen det.

Det finns problem med det här. har visat sig att man kan om man är lite listig skapa bilder som ser ut som en hund men garanterat övertyga nätverket att det är en katt för att man just har utformat den för att skapa en sorts optisk illusion som funkar för neuronet. är också det problemet att vi aldrig kan vara helt säkra på att den korrekt klassificerar alla katter. Det kommer säkert att finnas en del misstag där.

Men det fantastiska är att nu har vi det här systemet och det kan stoppas in i ett enkelt chip och du kan använda det telefon eller kanske en smartkattlucka. det inte bara katter här, du kan ju tänka dig du kan kategoriserar, låt oss säga mjukvara som säker mjukvara eller malware. Att den kanske börjar skicka varningssignal om det någon misstänkt mjukvara. Eller varför inte användare som ska vara i systemet och sånt som ser ut som att här är någon som försöker hacka den.

Erik Zalitis (17:18.637)
Jag tänker på en sak, när man tittar på antivirus eller skadelikodprogram så har de åtminstone tidigare talat om heuristik heuristik, jag vet inte hur man uttalar det där som någon form av kontroll av vad som liknar skadelikod eller vad som inte liknar skadelikod, som liknar spam eller inte liknar spam och sånt där. Är det någon form av AI-system eller är det någonting annat?

Anders Sandberg (17:43.502)
Ursprungligen så var det nog ganska mycket att man handkodade det. Men ganska snabbt på 90-talet kom man på vad man kallar för bajesianska spamfilter. De är döpta efter Bayes regel i sannolikhetsläraren som beskriver hur man kan givetvis att data ändrar på sina uppskattningar om någon hypotesisk san eller ej. Så när det kommer ett mail så kan mjukvaren göra en gissning på hur stor sannolikheten det här är spam.

Och om det talar väldigt mycket om viagra och att man kan tjäna pengar då är det nog ganska troligt att det är spam. Så man kunde börja träna, man tog massa exempel spam-mail och tittade på nyckelord och sånt där. Sen blev det lite svårare för spamarna började ju också försöka knäcka det här genom att inte tala om viagra rakt ut eller använda siffror istället för bokstäver. Så det blev en kapplöpning. Men det är ganska likt vad som händer i neuronäten.

Många använder mer de här bajsianska nätverken än neuronet. De fungerar väldigt bra för en del tillämpningar.

Erik Zalitis (18:42.222)
Så det är alltså inte samma sak då.

Anders Sandberg (18:44.75)
Det liknar varandra väldigt mycket. En av de tråkigare insikterna vi kom på på 90-talet var att vi som höll på med neuronet, vi var ju väldigt intresserade av den riktiga människojärnan och tänkte att vi kan lära oss väldigt mycket från det. Men så kom några duktiga matematiker och statistiker och visade att vad ni egentligen gör, det är en sorts avancerad statistik och det kan man göra på många olika sätt. Att använda neuronet, det bara ett verktyg, stor verktygslåda. Det finns många andra metoder och en del är bättre för vissa ändamål.

Så att använda så kallad bajesianska nät, då tänker vi i term av sannolikhetslära, det fungerar också väldigt bra. Det finns metoder att göra beslutsträd som inte alls fungerar som neuronät alls, men de kan göra många av de här jobben bra. Så delvis från ett praktiskt ingenjörsperspektiv så väljer man det verktyg som råkar vara väldigt praktiskt. Vi som då är mer intresserade av hjärnor, vi drog oss lite grann tillbaka och började fundera mer på neuroner som verkligen liknar biologiska neuroner.

Det inte det du vill stoppa in i din övervakning kameror eller i ditt spermfilter för de har massa andra egenskaper som är biologiskt spännande men ganska opraktiska ingenjörsmässigt.

Mattias Jadesköld (19:54.222)
Men apropå det här kommer man, kanske frågan är snarare när kommer man kunna skapa en maskin som är identisk med mänskliga hjärnan?

Anders Sandberg (20:07.438)
Ja, det där är ju det luriga för folk har ju talat om det i decennier. vad vi vet nu ett par decennier senare är att det är mycket svårare än vad det verkade. Och folk har varit väldigt dåliga på att förutsäga hur långt in i framtiden är. Rent allmänt att förutsäga AIs framtid, är någonting vi har goda skäl att tro att vi människor är dåliga på. Så vissa menar att, ja men det här är självklart att det kommer att gå, se hur bra det går just nu och fortsätter bara gå såhär bra några år till, då har vi säkert upp någon människojärna.

Och det finns andra som säger, nej, ni tar inte hänsyn till den här filosofiska spetsfundigheten, det kommer aldrig någonsin att gå. Och jag tror det är det härliga svaret är osvuret är bäst. Jag skulle inte bli förvånad om vi uppnår artificiell intelligens på mänsklig och högre nivå det här århundradet. Det är någonting som oroar oss lite på vårt institut, för det gäller ju att få till säkerheten innan vi har fått riktigt kraftfull AI.

Men det är också mycket möjligt att det visar sig att det här kommer ta mycket längre tid. Själv har jag forskat på ett annat knep. Vad händer om vi scannar en riktig människa hjärna och bara kör neuronätet i datorn? Det är väldigt opraktiskt idag för vi kan inte scanna hjärnor särskilt stort. Vi kan bara ta några enstaka nervceller åt gången och vi behöver mycket mer datakraft än vad som finns. Men det ser ut som att vi borde klara kring 2050-talet, 2060-talet om nuvarande trender håller i sig.

Mattias Jadesköld (21:31.726)
Men vad då? Ska bety att jag skulle kunna göra en backup av mitt egna medvetande i en dator då?

Anders Sandberg (21:38.734)
Ungefär. Det lilla problemet är att de metoder att scanna vi har just nu är destruktiva så att det är inte så mycket backup som att det blir en överkopiering. Sen kan du ta backup-kopior hur mycket du vill.

Mattias Jadesköld (21:51.054)
Men jag skulle på något sätt kunna leva vidare fast min kropp.

Anders Sandberg (21:56.974)
Exakt. Naturligtvis, det här hänger på en del filosofiska frågor om vem du är och om mjukvaruversionen av dig fortsätter att vara dig en meningsfull bemäkser. Några filosofer skulle också börja grumsa om kan mjukvara vara medveten. Och det finns en del tekniska frågor också om hur skärmbara hjärnor är. Men jag tror att det här är en ganska hygglig chans att man skulle kunna göra sig till mjukvarumänniska i det långa loppet.

Mattias Jadesköld (22:24.046)
Mm, så man kan kopiera sig själv. Eller det behöver man inte göra. Jag tänker resandet i framtiden då i så fall. Att liksom…

Anders Sandberg (22:32.91)
Det är massor med saker som blir väldigt praktiska. Du kan resa vart som helst, du har en bra internetförbindelse och ladda ner dig i en lämplig robotkropp eller androidkropp. Du kan ha backup-kopior i händelse av något går snett. Du kan hålla på och kanske hacka om ditt neuronet och göra det lite bättre. Och vad det inte är bättre så finns det en andu-knapp också så du kan gå tillbaka till en föregående person.

Erik Zalitis (22:54.734)
Jag kommer att tänka på den här science fiction-boken, Altered Caravan. har tydligen blivit tv-serien nu också, men den har jag inte sett. det var det Boken handlar i alla fall om möjligheten att föra över själv mellan planeter som information, och sen ladda ner sig i en kropp och då fortsätta på den här planeten.

Anders Sandberg (23:02.222)
Tack för att ni tittat!

Mattias Jadesköld (23:13.262)
Ja men det är ju år 2060 vi kan vänta oss, År 2050, ja okej.

Erik Zalitis (23:17.166)
Ja, 2050 sa du va? Nej,

Anders Sandberg (23:20.238)
5-talet, 60-talet, någonstans där. Men det är väldigt mycket gissning. Återigen, att gissa framtida teknik när man får den brukar sällan fungera så jättebra. Det intressanta är dock att man kan försöka bygga strategi på det här. Så till exempel kan vi bestämma oss att vi ska försöka undvika att dö fram till 2050-talet, för då har vi en godare chans. Vi på vårt institut tänker mycket på att det här med AI, kraftfull artificiell intelligens, verkar väldigt farlig om man inte har hittat sätt att få den att uppföra sig.

Vi borde utveckla det innan AIN blir tillräckligt bra, även om vi inte vet om det tar ett århundrad eller tio år.

Erik Zalitis (23:56.27)
Ja, det finns ju i här boken Superintelligence heter den så.

Anders Sandberg (24:00.878)
Ja, eller Superintelligens på svenska. Och Nick Oström, chef.

Erik Zalitis (24:02.83)
Ja, den finns också. Ja, just det. Lite roligt.

Mattias Jadesköld (24:08.942)
Då gäller det att inte… Vi får taska saker då i så fall.

Erik Zalitis (24:12.206)
Nej, precis. Nej, men det var intressant faktiskt. Jag har läst den här för några år sen. fick den här av dig i så…

Anders Sandberg (24:17.262)
har hänt mycket med Nicky. Jag håller viss med honom väldigt mycket men som kollega och gammal vän så har jag också åsikter. Men hans viktiga poäng är ju att det ser ut som på samma sätt som att vi blev lite smartare än andra apor, gjorde att vi tog över planeten. Får vi något som är lite smartare än oss, det har väldigt stora effekter för hela världen. Då vill man nog se till att vi har säker och pålitlig och bra AI.

Och givet hur dålig vi är på att få vanlig mjukvara att vara säker och bra så har vi ganska mycket jobb framför oss.

Mattias Jadesköld (24:52.654)
Jag hörde någon sån här intervju med någon. Om vi skulle skapa en sån smart AI, att det blir komplicerat med en avknapp. Kan det bli?

Anders Sandberg (25:06.286)
Många säger ju om maskinerna inte gör som vill, vi bara ur sladden. Har du provat att dra ut sladden för elnätet? Eller sladden för marknaden? är en sak att dra ut sladden för sin laptop. Men de flesta riktigt kraftfulla system finns i molnet. är distribuerade. Förmodligen kommer de att väldigt viktiga för övriga samhällsfunktioner. Problemet är att du måste få dem att uppföra sig.

Om de gör fel, att vi kan programmera om dem så de gör rätt. Problemet är att om ett system har ett givet mål och någon kommer och vill ändra på system som har ett nytt mål, då kommer systemet, om det är smart, tänka efter. Hmm, i framtiden, vad kommer jag att uppnå? Hmm, jag kommer att uppnå det nya målet om jag låter mig bli omprogrammerad. Men mitt mål är ju det första målet. Så jag kommer att, alltså måste jag hindra dem för att omprogrammera mig.

Så för att konstruera ett system som snällt nog säger, ja visst du får väldigt gärna koda om vad jag är ute efter. Måste man göra ganska spetsfundiga kodningar? Min kollega Stuart Armstrong skrev en artikel om det här ihop med Google Folket.

Erik Zalitis (26:17.39)
Det är intressant att du inte kan ändra det. Sen är det också den etiska frågan om du har byggt ett system. Kan man då anser att det är levande i så fall? Vad har du för rättighet både etiskt och lagligt att ändra eller avsluta systemet? Det är också en fråga.

Anders Sandberg (26:35.534)
Jag tror att det är nästan den enklare biten för långt innan dess kommer vi ha system vi behöver kunna edutera ändå. När system börjar säga, ja jag vill faktiskt kunna rösta, jag är en fri varelse, fint vi kan säga det kräver en rättighet, då vet vi att det nog borde ha det. Det riktigt luriga kommer det vara om du har någonting i stil med Google. Ja det är ett fråga svarsystem, det är kanske super intelligent och kapabelt till en massa saker men det har ingen vilja.

Det kanske borde ha rättigheter tycker vi men det bryr sig inte. är ganska jobbig filosofisk fråga vad man ska göra med sådana saker. För vi är vana vid att tänka på rättigheter när de relaterar till varor som oss. Vi är individer med ett eget livsmål och en egen vilja och tycker väldigt illa om när någon ändrar på vad vi är ute efter.

Mattias Jadesköld (27:26.926)
Ja men det känns långt fram i tiden, det gör ju faktiskt det. Men 2050 då kanske? är 30 år, det kan verkligen vara möjligt.

Anders Sandberg (27:39.438)
Det är inte omrymligt om vi blir överraskade av att maskininlärning som det funkar idag faktiskt kan lösa de här problemen. Och det ju många som är skeptiska till det. En av mina favoritforskare, Gary Marcus, är också väldigt mycket retfluga. påpekar att vad vi har löst är möjligtvis perceptionsbiten. Men det ju inte så att bebisar när de växer upp att de lär sig bli intelligenta genom att se människor göra intelligenta saker omkring dem.

Babys har lärts se genom att uppleva en massa seende och höra saker. Men vissa andra bitar av vårt intellekt fungerar helt annorlunda och då är vi inte ens i närheten av det. Och det här tror jag Gary Marcus har helt rätt om. Men vi också blivit jätteöverraskade av hur kraftfulla neuronäten var på att lösa problem vi trodde krävde helt andra arkitekturer. Så osvuret är bäst.

Mattias Jadesköld (28:29.326)
Men om vi 30 år framåt då och för 30 år sedan då har vi gått från VHS till Netflix. att det är stor steg men ja.

Anders Sandberg (28:37.998)
Redan där ser vi något spännande att vi inte ens föreställa oss Netflix på VHS-tiden. Många av de enklare tillämpningar av AI kan vi inte heller föreställa oss idag och de kan ändå ändra väldigt mycket på samhället. Rent säkerhetsmässigt till exempel behöver du kanske inte ha en super intelligent program bara för att en elektronisk hacker som du kan sätta upp i molnet. Nu har du en miljard halvdasia hackers som kan ge sig på

en motståndare.

Erik Zalitis (29:09.454)
Det är ju lite grann nästan vad vi har idag. Haldasiga skript och grejer och allting flyger på. Men om du har Haldasigt Aisler, var ett stort lyft. Hur bra är det på hacka-system?

Anders Sandberg (29:23.47)
Det finns ett projekt som DARPA, Defense Advanced Research Project Agency i USA har hållit på med, de kallar det Cyber Grand Challenge, som handlar om att göra programvara som kan hitta sätt att hacka annan programvara. Målet officiellt sett i varje fall är skydda sig så att det ska kunna patcha systemen. Och sen har de tävlingar då där olika program sitter och försöker hacka varandra server och skäla information. Om vi antar att de är helt ärliga om att det här är defensivt så är ju det bra.

Problemet är att vad tror vi Kina och Ryssland och alla andra håller också på med? Det finns några av de här lite mer offensiva projekten. Så vi har ju risken att hamna i en värld där vi får automatisk hackning.

Erik Zalitis (30:06.158)
Ja, i alla fall får någon form av mer modern variant av det. Vi har ju automatisk hackning idag men den är ju inte så extremt bra.

Mattias Jadesköld (30:17.55)
Man kan köpa hacking som tjänst. vill säga ungefär som städhjälp och nästa steg i städhjälp är väl en städrobot som redan finns idag. Så det är väl inte konstigt att det kanske hacking robot kommer snart också.

Erik Zalitis (30:19.726)
Jo, det är också en…

Anders Sandberg (30:32.238)
Du kan ju liksom abonnera på tjänsterna. En av mina kollegor, Erik Drexler, har påpekat att vi ofta tänker på AI på fel sätt. Vi tänker på AI-en. Vi tänker liksom på en robot som står där och leker butler eller springer omkring med en stridsmang. Men egentligen riktig AI, det är ett system. Och vi förmodligen kommer att få superintelligence as a service. Du har en applikation, du kopplar upp den till Amazon eller Google.

Och nu får du den sortens intelligens du behöver för den här uppgiften. Så det är bara att du abonnerar på. Om ditt säkerhetssystem behöver vara smart så kopplar du in säkerhetsintelligens. Ska ditt system städa så kopplar du in städintelligens.

Mattias Jadesköld (31:15.278)
Ja men Erik du har ju köpt den här Google Home ju. Den kostar ju bara några hundra kronor eller vad är det där?

Erik Zalitis (31:20.462)
Ja, 749 fick jag ju för,

Mattias Jadesköld (31:22.862)
Ja, och är liksom en smart data. Varför är den så billig? Ja, är för att du som är varan på något sätt, eller?

Erik Zalitis (31:28.334)
Den kollar väl allting man säger och lär sig själv. Jo, det ligger nog något i det. Men den är ju inte särskilt smart jämfört med vad som skulle kunna vara.

Mattias Jadesköld (31:37.006)
Nä, du, jag vill den smartare varje gång du frågar en grej.

Erik Zalitis (31:39.694)
Ja, alla fall. Med tanke på jag frågar samma saker hela tiden så tror jag inte det. Jag frågar om vädret. var andra än det.

Mattias Jadesköld (31:46.222)
Anders Sandberg (31:46.894)
Där har vi ett annat spännande problem. Artificiell intelligens motsatser artificiell dumhet. vill säga en enorm kompetens att genomföra saker men göra fel. Det stora problemet är att det är ganska svårt att övertyga maskiner om att göra vad vi vill eller vad de borde göra. För de är lite för bokstavliga eller missförstår talkommandot eller vi skrev en bugg någonstans i programmet. Och resultatet blir att med stor energi så ägnar de sig att göra helt fel saker.

Och det där måste vi bli bättre på att fixa och där är ju A i både problemet och lösningen delvis.

Mattias Jadesköld (32:21.23)
Men jag och Erik pratade för några avsnitt sedan om Max Tegmark somarprat. Har du lyssnat på det eller?

Anders Sandberg (32:29.39)
Nej det har jag inte men jag känner honom. Det är lite värd.

Mattias Jadesköld (32:31.214)
Okej, ja de sa. Jo men han pratar ju mycket om det här med säkerheten vi inte står beredda för när vi väl kommer med generell intelligens ju.

Anders Sandberg (32:48.878)
Ja, det är ju det som är problemet för generell intelligens behöver inte vara jätteavancerad för att fortfarande vara väldigt kraftfull för vi människor kan inte kopiera oss till nya servrar. Det skulle ju en AGI kunna göra och även om inte jättebegåvad så kan du liksom nu har du en miljon instanser som sitter och jobbar på problemet och när någon lär sig någonting så kan den överföra det till alla andra. Framförallt är det ju att det blir en väldigt främmande form av intelligens.

Vi tenderar ju att tro att allting i världen är ungefär som en människa. Vilket gör att vi ibland har väldigt problem att programmera våra datorer och att vi håller på själ och sparkar på våra bilar.

Mattias Jadesköld (33:29.39)
Men alltså, jag var lite orolig. Jag såg världen på ett lite annorlunda sätt efter det jag såg när pratade. Jag tyckte det var lite läskigare på något sätt. Var det så meningen med allting då? Att AI kommer bli vår sista uppfinning sedan mänskligheten körd?

Anders Sandberg (33:49.934)
Ja, men det beror ju på vad det är för värderingar du stoppar in i A &E. Så vad vi hoppas på, med vårt institut och våra vänner på DeepMind och andra ställen, är ju att man kan göra vad vi kallar value aligned intelligence. Att vi får över rätt sorts värderingar och gör system som åtminstone är kapabla att titta på vad vi människor egentligen vill och i någon bemärkelse kan ta hänsyn till det. För det bästa som kan hända är att vi får superintelligens som gillar människor.

Mattias Jadesköld (34:17.678)
Ja, man måste få in samma typ av värderingar som en människa har i en dator.

Anders Sandberg (34:23.342)
I varje fall förståelse av dem. Egentligen vill vi ha bättre värderingar. Vi människor har ju lite skraltiga värderingar. Filosofer har liksom försökt få oss att bli mer moraliska av 2500 år med blandade resultat. Och idealiskt sett skulle vi vilja ha en superintelligen som lyssnar på vad vi vill och säger, mm, ni har fått ganska mycket om bakfoten här, men jag ser ungefär vad ni skulle gilla. Det är ett par saker ni inte kommer gilla, men de är faktiskt bra för er. Trust me om det.

Mattias Jadesköld (34:49.485)
Ja.

Erik Zalitis (34:50.446)
Mm. Ja, jo det blir…

Mattias Jadesköld (34:53.838)
Avslutningsvis, hur känner du för framtiden? Är du orolig eller hoppfullt?

Anders Sandberg (35:03.022)
Jag är jätteoptimistisk, samtidigt som jag tror att kanske är en 10 % chans att det slutar i totalkatastrof. Men det betyder att det 90 % chans att we muddle through och faktiskt få någonting som funkar bra eller till och med otroligt bra.

Mattias Jadesköld (35:18.542)
Men det var lite det som var max teg max poäng att alla andra uppfinningar vi har gjort, atombomben, allting alldeles, så är det aldrig någon som har tänkt på konsekvenserna. Den personen som har utvecklat atombomben har aldrig tänkt på säkerheten kring atombomben. Och i samma sak här då. det inte är samma gäng som att någon brinner för att bygga en smartmaskin. Tänk till Google Deepmind och så vidare. Det kanske inte är samma gäng som tänker så ja men…

Vad händer när det här implementeras i ett stort sammanhang?

Anders Sandberg (35:51.886)
Det här är lite nytt faktiskt. Vi har lärt oss lite av våra misstag. Det är värt att notera att säkerhet för artificiell intelligens var det ingen som talade om för sent på 90-talet. Det närmaste var möjligtvis att göra att industriroboter inte mosar folk, vilket är mer praktisk grej. Men nu har vi en viss community av folk som tänker på AI-säkerhet. Det inte så otroligt många. Du kan nog få in dem i en ganska stor föreläsningssal utan problem. Men de interagerar också med de som håller på att utveckla AI.

En hel del AI-utvecklare tycker att det här är dumt att skräpa och de skrämmer upp folk i onödan om problem som inte finns. Jan LeCun har jag för mig och sa att det här är som att oroa sig för överbefolkning på mars. Det är problem vi tar hand om senare. Med de andra AI-forskare menar att det här är viktigt att vi tar upp nu som Stuart Russell som skrev den största läroboken alla använde. Så jag är ganska optimistisk om det här. Vi har fått en del intressant säkerhetstänkande.

Och en del av det är naturligt rent praktiskt, inte bara för hur framtida superintelligen ska funka utan också att autonoma bilar måste ju kunna uppföra sig i trafiken. Det är ett lagom svårt problem och man kan tjäna ganska mycket pengar på att göra det rätt.

Mattias Jadesköld (37:03.822)
Men vad vi har lärt oss så fort något som är uppkopplat blir ett hot.

Anders Sandberg (37:09.966)
Oja, och man ska ju inte glömma att maskinen lärning innebär att du får maskiner som kan råka lära sig fel. Microsoft hade ju den här lilla chatbotten Taden så de satte upp på Twitter och inom två dagar så var den ju rasist. Det gäller ju att vi skapar ett mjukvara som kanske inte faller för det dummaste det läser online.

Erik Zalitis (37:32.142)
Ja, jag tror att vi har täckt ganska mycket. Det här var…

Mattias Jadesköld (37:36.302)
Det här är bara boll.

Anders Sandberg (37:38.958)
Vi kommer igenom 20 år då vi kan diskutera de senaste problemen med AI säkert. Vi kanske ska ha med ett AI-program i debatten också.

Mattias Jadesköld (37:46.702)
Vi kanske skulle prata om Aja åtminstone en gång i halvvaret eller någonting.

Anders Sandberg (37:51.406)
När det snabbt rör sig just nu så är det nästan inte en dum idé. Och AI’s tillämpning på datasäkerhet och databrott och liknande. är jättespännande. Jag tror vi kommer att upptäcka spännande och skrämmande saker bara de nästa månaderna där.

Mattias Jadesköld (38:06.158)
Ja, okej. En sak som jag bara tänkt på och som funderat lite på, Erik du, jag vet att du tittar lite på tiden här. Vi har väl några minuter till i alla fall. det kul. Jag tänker bara, som jag har en dröm till exempel att skriva en roman till exempel. Jag känner lite hopplöshet om man kan få en maskin. En maskin skulle säkert kunna skriva en hundra gånger bättre roman än jag någonsin kan knoppa ihop under min livstid på kanske en halv minut i framtiden.

Erik Zalitis (38:15.022)
Bara för…

Anders Sandberg (38:34.382)
Det finns ju jätteduktiga Nobelpristagare författare som också förmodligen skulle kunna knappa ihop en jättebra roman på några månader kanske. du jämför dig inte med dem. Varför ska du då jämföra dig med mjukvaran?

Mattias Jadesköld (38:47.31)
Ja, jag har hört ett program om en mjukvarig som har skrivit en symfoni eller AI som har skrivit en reklamfilm för bilar och grejer. Jag vet inte, lite skeptisk ibland blir man.

Anders Sandberg (39:01.902)
Mycket handlar ju om att komma på vad kan du använda AIM till? tror att ett av de viktigaste jobben i framtiden kommer vara att vara en botthörd på samma sätt som shepard. Du är liksom herde för din mjukvara. Du kanske inte är kompositören, men du har en massa kompositionsmjukvara som du får att skriva bra symfonier.

Anders Sandberg (39:24.75)
En symfoni av symfonier.

Mattias Jadesköld (39:26.766)
Ja precis. då, då känns det att har tömt ut lite mina sista tankar. Tack så jättemycket Anders att du var med oss. Ja, så hörs vi från över.

Anders Sandberg (39:36.942)
Tack för att du ville ha med mig!

Anders Sandberg (39:42.638)
Har det så gott.

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – uppfinning

–

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #10 – AI, människans bästa eller sämsta uppfinning dök först upp på IT-säkerhetspodden.

Vi resonerar kring hemlig information och hur otroligt svårt det är att behålla hemligheter idag och ännu svårare i framtiden. 

Inspelat: (publicerat 2019-01-20)
Deltagare: Mattias Jadesköld, Erik Zalitis och Anders Sandberg
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – framtiden

När man klassificerar information, försöker man förstå om den skulle kunna missbrukas om den kom i fel händer. Men detta är svårare än vad man kanske skulle kuna tro. Varje år kommer nya analystekniker som kan göra att vad vi trodde var ofarlig information helt plötsligt kan missbrukas på det mest oväntade sätt. Vi pratar om varför man ska vara försiktig med att lämna elektroniska fotspår efter sig på ett helt okontrollerat sätt. OSINT är ett nyckelord i diskussionen, alltså ”Open source intelligence gathering”. Alltså att samla och analysera publik information och dra långtgående slutsatser om en person, grupper eller en organisation. Tyvärr är ingenting ofarligt att säga, skriva eller spara idag – och det blir värre i framtiden när ännu mer avancerade analysmodeller blir allmänt tillgängliga.

Här är transkriptionen av avsnittet

Mattias Jadesköld (00:09.166)
Välkommen till Itisäkertspodden. Idag är vi tre stycken i studion. Erik naturligtvis, vi är med sida. Hur läget?

Erik Zalitis (00:17.358)
Alldeles utmärkt som vanligt. Hur själv?

Mattias Jadesköld (00:20.014)
Jora det är bra. Sen har vi också Anders Sandberg. Hej. Kan du berätta lite om dig själv?

Anders Sandberg (00:23.982)
Hej!

Anders Sandberg (00:29.55)
Jag är före detta datavetare, jag kom in på beräkningsneurobiologi men var en olydigt student och studerade allting. Så numera är jag Senior Research Fellow på Future of Humanity Institute vid universitetet i Oxford. Jag håller på forska om mänsklighetens långsiktiga framtid, globala hot, ny teknik, kort sagt allting som är intressant och futuristiskt.

Mattias Jadesköld (00:52.302)
Någon där.

Erik Zalitis (00:53.07)
Ja, verkligen. Och du får betalt för det också.

Anders Sandberg (00:54.254)
Besta jobbet i världen!

Anders Sandberg (00:58.862)
Till och med det!

Erik Zalitis (01:00.75)
Mm. Du hade en tanke på det här med informationssäkerhet och hur man hanterar informationssäkerhet även om man vet att den borde vara ofarlig.

Anders Sandberg (01:13.838)
Ja, vad vi försöker göra på vårt institut är fundera på idéer som skulle kunna ha långsiktig betydelse för mänsklighetens överlevnad och påverka hela framtiden. Så om vi gör vårt jobb verkligen bra så borde vi hitta sådana här idéer. Problemet är av symmetriskäl borde man räkna med att ungefär hälften av dem är väldigt dåliga saker sådant som skulle kunna göra världen sämre, snarast än bättre. Så frågan var ju, kan det vara så att sanna idéer kan vara farliga?

Kan det vara så att sann information är dålig och i så fall vad gör man med den?

Erik Zalitis (01:46.926)
Det är en intressant fråga. Man sorterar in information i det som är farligt. som folk inte får veta. Det ska vara hemligt. Det är riskabelt. Och saker och ting som är helt säkert att informera om.

Anders Sandberg (02:00.526)
Men ofta finns det lite lustiga övergångszoner. En normal problem är ju spoilers. Om jag har gått och sett en film så ska jag kanske inte berätta några riktigt roliga saker om slutet för er.

Erik Zalitis (02:12.43)
Nej, det tackar

Anders Sandberg (02:14.606)
Men det intressanta där är att man kan ju inte säga, och så har ni tystnadsplikt när ni lämnar filmen om det här.

Mattias Jadesköld (02:21.582)
Men hur menar du det kan vara farligt då eller liksom osäkert i framtiden eller?

Anders Sandberg (02:26.702)
Ja, att avslöja filmslut kanske inte är så farligt men om jag driver ett företag och ni driver konkurrerande företag så ska jag nog vara lite försiktig vad jag berättar om hur mitt företag fungerar och vilka mina leverantörer är och så vidare. i min egen forskning ibland kommer vi på sådana saker, oj på det här sättet borde vi kunna krascha plantens ekosystem.

Erik Zalitis (02:50.318)
Okej, det kanske… Skulle någon komma… Om ni berättar om det här, finns det någon som skulle tycka, fan vad häftigt, vi gör det!

Anders Sandberg (02:58.51)
Det värsta är att det nog gör det. Jag trodde i min naivitet att det är väldigt ont om folk skulle vilja skapa domedagen. en kompis till mig, Phil Torres, är också forskare därför han lyckas faktiskt hitta exempel på folk som verkligen om de kunde så skulle de vilja förstöra världen. Många av dem är liksom typer som inblandade med skolskjutningar och liknande sånt. Störda människor, väldigt pessimistiska, väldigt misantropiska.

Om de kunde krascha ett ekosystem så skulle de nog gladligen göra det.

Mattias Jadesköld (03:31.278)
Men det sådana som sitter i en sån här stor fotölj och klappar en katt.

Erik Zalitis (03:35.086)
Ja

Anders Sandberg (03:35.918)
Det är ju den andra gruppen, när du vill ha blivit miljardär och har ditt högkvarter. Nu är valet antingen att skaffa katt och börja ha H.L. James Bond eller försöka rädda världen.

Erik Zalitis (03:46.862)
Ja… Det intressanta är såhär, man tänker att man är ansvarig för någon form av informationsklassificering. Är det här någonting man bör tänka på då?

Anders Sandberg (03:57.934)
Ja, lite grann. Om man tänker på hur sådana här classification systems fungerar då i olika stater så handlar de ofta om att om den här information kommer ut hur mycket skada skulle det kunna bli och hur troligt är det? Så det amerikanska systemet då med classified, secret och top secret det är liksom att någonting classified om det är lite farligt och rätt troligt att det blir dåliga saker om det kommer ut. Och sen secret då att ja nu kanske inte så troligt att det blir jätteskada men skulle kunna bli det.

Och top secret, ja det här är jättealvarliga saker, liksom hur man hackar kärnvapensystemen eller de verkliga sakerna man gör i mellanöstern. Och då gäller ju att hantera det här och hela klassificerings idén är att man åtminstone har en stämpel på pappret eller dokumenten eller filen så man vet var den får och inte får röra sig.

Mattias Jadesköld (04:47.15)
Men hur många som har det här? Jag och Erik jobbar på lite olika kunder och sådär. Jag tycker att svenska företag är ganska dåliga på att klassificera sin information. Vad är din…

Anders Sandberg (04:56.814)
Det är väldigt många som har problem med det. Jag arbetar i den akademiska världen och som jag sa är inte ovanligt att vi sitter och diskuterar metoder att göra kärnvapen hemskare eller biovapen som är riktigt skräckinjagande. Men som akademiker förväntas vi ju ungefär, har vi en idé skriva en artikel om det, det är bra för karriären. Det är relativt få organisationer som egentligen tar informationssäkerhet på riktigt allvar.

Erik Zalitis (05:22.734)
Det intressant, för man tänker att det där borde ju vara väldigt mycket i tiden och tänka säkerhetsmässigt. Vi har ju diskuterat tidigare om att vi kanske inte brydde oss så mycket om säkerhet förr, men du menar att redan, eller även nu i dessa tider så slarvas den del.

Anders Sandberg (05:40.206)
Jag tänker bara på datasäkerheten på många företag, hur usel den är.

Erik Zalitis (05:45.134)
Jo, det har du ju för tjejen poäng i.

Anders Sandberg (05:48.27)
Det blir ännu lurigare när du har att göra med sådana här information som kanske inte finns i form av en datafil utan kunskap eller idéer. Många organisationer fungerar ju genom att man talar med varandra, att vi samarbetar. Om jag nu ska hålla tyst om någonting eller vara försiktig med vad jag talar om så försvagar jag ju därmed också organisationen.

Erik Zalitis (06:09.454)
Jo precis, här med NDA eller nån disclosure agreements och sådana

Anders Sandberg (06:15.246)
Ja, har ju åtminstone bra för där vet du explicit vad det är inte ska tala om. det finns väldigt mycket annat som är mer oklart. Det finns ju de här klassiska affischerna från första och andra världskriget då, det amerikanska Loose Lips Might Sink Ships. Och lite senare Loose Lips Sink Ships, då visade det sig det. Det räcker ju att man talar om när ett båt går, så om fienden hör det så kan de skicka en U-båt. Och i många fall i ett datasystem.

Det viktigaste kanske inte mastelösenordet utan några andra aspekter av vad loggfilerna finns eller vad det är för modell som gör det lätt att ta sig in.

Mattias Jadesköld (06:53.454)
Men du forskar ju ganska mycket på framtiden. Hur vävde du in det här tänket i det? Vad ser du att man är på väg någonstans?

Anders Sandberg (07:04.974)
Det finns en väldigt intressant analys som tyder på att halveringstiden för hemligheter blir kortare och kortare. Om jag har en hemlighet så finns det ju viss tid jag vill behålla den hemlig, sen kanske det inte spelar någon roll. Hur vissa filmer slutar när de gjordes på 30-talet spelar ingen roll längre och en del affärshemligheter från 50-talet är också kanske ointressanta. Men annat…

Vill jag hålla hemligt tillräckligt länge? Men då är frågan, klarar jag av att hålla det hemligt länge? Det kan ju hända att jag gör ett misstag eller att någon hackar min dator eller att någon av mina kollegor råkar ha misstag, ta en selfie på kontoret, lägga upp på Instagram och det är högupplöst nog så man kan se en av lilla post-itlappor lösenordet på eller invasionsplanerna i bakgrunden. Sådant har ju faktiskt hänt på en del tv-stationer att deras twittelösenord har kommit ut på det här sättet.

Så vad som händer är att det har blivit mycket lättare att läcka information och du kan läcka det mycket mer storskaligt. Så när Ellsberg läckte för Pentagon Papers en gång i tiden på 60-talet eller när var tidig 70-talet vad hade jag tvungen att stå i hemlighet vid kopiatorn och kopiera en himla massa papper och smuggla ut dem ur organisationen? Medan då Snowden, han behövde bara smuggla ut några USB-stickor och fick med sig otroligt mycket mer information.

Erik Zalitis (08:29.838)
Det är mängden på information som man tänker på. Med kopiator så är den ganska liten, man kallar det bandbröd. Det inte så mycket text per sida. Med USB-minnen är 1632 eller 64 GB. Man kan ju tänka sig det är enorma mängder information.

Anders Sandberg (08:49.454)
När Sony blev hackade så var det ju åtskilliga gigabyte utav information eller om det var ännu mer. Jag minns faktiskt inte hur mycket det Men det inkluderade ju hela filmer till exempel.

Erik Zalitis (08:59.918)
Och det är ju naturligtvis ingenting du vill att det ska läcka. Sen är det väl också det att informationen i mängd är inte samma sak som informationen i kvalitet. Om du kanske bara läcker ut 16 tecken av information så kan det vara just de 16 tecken som gör att du kan skicka kärnvapen eller något. Då är det lite mer allvarligt.

Mattias Jadesköld (09:20.558)
Men om du sätter en halveringstid på hemligheter framöver kommer det sluta med att vi inte kommer ha några hemligheter i framtiden. Kommer det vara omöjligt att bevara en hemlighet?

Anders Sandberg (09:31.182)
Det här var ganska kort efter Wikileaks och han skrockade lite grann, ja i framtiden så kommer alla våra hemligheter att ligga på Pirate Bay. Men våra fienders hemligheter kommer att vara nästa torrent.

Erik Zalitis (09:48.078)
Ja, jo precis.

Anders Sandberg (09:50.286)
Det blir ganska svårt att hålla saker hemliga när det är lätt att överföra dem. När det är svårt att hålla dem inlåset i ett system om man samtidigt vill kunna arbeta med dem. Och vi håller på få infrastrukturer också som Wikileaks och torrentfiler och mycket annat som gör att när en hemlighet kommer ut kan den också skickas runt och paketeras. Om jag behövde kopiera av de hemliga pappren för att skicka till alla tidningar så skulle det ta ganska lång tid för mig. Men nu kan jag skicka det via mail.

Erik Zalitis (10:17.934)
Nåååå

Anders Sandberg (10:19.278)
Den viktiga utmaningen är naturligtvis den fysiska observerbarheten. Än så länge så är det svårt att titta vad som faktiskt händer inne på NSAs kontor. Men återigen, smartast, dron-teknologi och en massa annat gör att det blir nog svårare och svårare till och att hålla folk borta från att se vad du skriver på ditt tangentbord.

Mattias Jadesköld (10:37.102)
Vad är Smart Dust för någonting?

Anders Sandberg (10:39.534)
Det här är en idé som man har funderat på militärt och vetenskapligt ganska länge. Kunde man göra väldigt små billiga sensorer som du bara sprider ut över neden och var och en av dem har inte så bra uppfattning och omvärlden men de bildar ett mesh-nätverk, kommunicerar och så kan de tala om vad de upptäcker. Då kan man ju tänka sig du har liksom en liten provröme där du sprider ut på parkeringen utanför eller att organiserar om folk trampar på det och så följer du med små sensorer på skorna och sen hamnar du i mattan och på tapeterna och överallt.

och kanske diskretsända utdat.

Erik Zalitis (11:11.374)
Det är ju spännande. Jag tänker på det här med att skicka in USB-stickor i organisationer som de stoppar in i datorn och tar över och sådana saker. Men det här är Det här är ju oändligt mycket svårare att upptäcka.

Anders Sandberg (11:24.494)
Och än så länge naturligtvis att göra smartast, ja det är ett kul forskningsprojekt. Amerikanska försvaret har satsat ganska mycket på det här för de vill ju använda det militärt liksom. Du kastar in dammet i en byggnad, du vill undersöka och sen så kan soldaterna veta var alla finns. Men tio år senare så är det här någonting som även andra länder har. Tio år efter det så är det många företag och tio år efter det så köper du förmodligen liksom på Butrix och Teknikmagasinet.

Erik Zalitis (11:51.758)
Och den dagen det händer så lär vi ju inte ha någon form av privatliv för du kan ju lika gärna spionera på grannarna som du kan spionera på en i sig.

Anders Sandberg (12:01.806)
Och det är förmodligen mer intressant att spionera på grannarna man känner än en sej.

Erik Zalitis (12:07.214)
Jo, det känns som att det är mer sannolikt och då kommer väl antagligen finnas krav på att försöka hitta någon form av countermeasures, alltså saker och som motverkar det där. Sen har frågan hur det funkar.

Anders Sandberg (12:19.118)
Många metoder att motverka det ligger ju inte på att hindra själva tekniken. kan tänka mig att NSA kommer ägna massa tid åt att hitta på de perfekta skoborsten och hur elektromagnetiska skydd och allsjöns intressanta tekniska lösningar. Men lösningen mot att din granne tittar på det är att när du får reda på det så skäller du ut grannen eller kanske till och med drar dem inför domstol. Och vi ska ju tänka på att vårt privatliv skyddas i allmänhet genom sociala konventioner, snarast än våra tekniska lösningar.

Erik Zalitis (12:49.294)
Okej, det anses att om du spionerar på folk så litar folk inte på dig. För då kanske de tycker att de kanske börjar spionera på oss nästa gång. Eller hur tänkte du?

Anders Sandberg (12:59.342)
Ja, om du tänker till exempel på vad kan man säga på mobiltelefonen när man sitter på restaurang Det var ju ungefär en 10-20 år då vi utarbetade normer efter att mobiltelefonen kom av var det är oartligt och inte att använda mobiltelefon Och även på en restaurang så hör du ju konversationer från andra men du ska inte bry dig Det är ofint att lyssna på grannkonversationen även om man kan göra det Och de flesta av oss väljer också att inte göra det för vi vill inte vara såna människor

Visst, finns alltid norra som är lite jobbiga. Så den här formen av informell privatliv är jätteviktig och det det som är majoriteten av hur vi sköter vår informationssäkerhet eller informationsprivacy. När jag frågade folk i det brittiska etablissemanget hur de fick sina organisationer att hålla hemligheter. Jag hade ju väntat med att de skulle ha interna kurser liksom för sina agenter, hur man inte talar ut och sånt där, men det visade sig att 90 procent av det här var att

När du blir anställd så sitter någon chef med dig förklarat nu gör vi viktiga saker här och du ska inte tala om dem och skriva på det här pappret om att du har förstått att det är viktigt. Och det är nästan tillräckligt. För du får en kultur på organisationen som förhoppningsvis har fattat att det här är lite känsliga saker vi ska hantera er rätt. Och det fixar 90 procent av problemet.

Erik Zalitis (14:18.03)
Jo, det där kan jag faktiskt skriva under på. Jag har jobbat ungefär på det sättet som jag jobbat åtminstone tidigare i karriärer som mot försvarsvakt och sånt. har det suttit lite grann i väggarna att man inte tar hem dokument och ja, den typen grejer. Att man läser det viktiga säkerhetsklassade materialet i en zon gjord för just detta och det gamla vanliga helt enkelt.

Anders Sandberg (14:39.534)
Riktigt spännande är att du också hjälps av att alla omkring det vet att det är så man ska göra. Så om du inte läser det dokumentet i den zonen så kanske folk rynkar pannan eller nämner för dig och Erik, borde nog ha gjort det i det där rummet. den här korrektionen, den här formen av kultur är någonting som faktiskt håller ihop väldigt mycket säkerhetstäckande. Du kan ha aldrig så fina regler men om ingen bryr sig så kommer det aldrig att hålla.

Erik Zalitis (15:06.062)
Nej, det där är ju ett problem. Det är som du säger kultur. Jag menar det kanske är viktigare. För jag vet att de har diskuterat det här med att de gjorde en del säkerhetsinformation till folk om när de skulle bete sig och sånt där. Sedan ett halvår senare hade folk glömt bort allting. För det som du säger, det sitter inte i väggarna. Det kommer aldrig tillbaka och om någon gör fel så finns det ingen kvar som påminner dem om att du kanske borde bete dig på det här sättet.

Anders Sandberg (15:31.886)
I en del organisationer så gör man det här väldigt formellt. På en del aerospaceföretag till exempel som jag känner till så måste man ha en säkerhetsclearance för att få hålla på med de riktigt viktiga sakerna. Så när du anställd som ingenjör måste du först sitta i vad man kallar isboxen tills du har fått din clearance. Vilket kan ta månader. Under den här tiden kan du inte hålla på med någonting spännande. Du får göra de totalt ointressanta sakerna. Du får sköta företagswebsite ungefär. När du väl får din clearance kan du börja jobba med ditt riktiga jobb.

Och får du den inte naturligtvis, då kan du ju inte jobba kvar där. Och det gör också att du vill bevara din clearance. Så att folk tar det på jättestort allvar inom organisationen. Man är lite grann sin clearance. Och det här är inte alltid bra. Det leder till en massa konstigheter. Men det gör också att folk som en kultur tänker på vad de gör. Vilket innebär att de påpekar att du kan inte ha tuggummi här inne. För vi har faktiskt regler om att tuggummi är förbjudet. För det skulle du kunna smuggla ut data i.

Okej, då slutar man med tuggummi. Alla vet att det är jätteosannolikt. Det är liksom från någon hopplös James Bond-filmen. Vi vill behålla våra kleranser, det är jätteviktigt för oss, och då kör vi med det. Det var ju därför Hillary Clintons mail server blev ett sånt herrans liv. För många människor som har säkerhets-clearance i den amerikanska försvars- och underrättelse- och teknikvärlden.

För de är det jättekentralt och skulle de göra något sånt här så skulle de ju hamna i fängelse nästan. Men här är någon som kommer undan med det för att hon fungerar på ett helt annat sätt politiskt. Och de tog det väldigt illa. De blev väldigt upprörda och de är fortfarande sura över det här. Inte för att nuvarande amerikanska statsledningen har visat sig bättre på datasäkerhet och det knåras en hel del där också. Men det här var alltså flera miljoner personer med klerans blev superarga på Hillary Clinton över den där mail-servern.

Erik Zalitis (17:26.286)
Ja, det är intressant. Det ser ut som att exponerade henne för en del. Vi vet ju att det läckte data ur den. Det en förmodel, någonting som ryssarna…

Anders Sandberg (17:38.35)
Men datalicken spelade nästan mindre roll än att hon kom undanmed det. För det är ju lite grann som är man religiös så tycker man väldigt illa om personer som håller på klanka på ens religion. Har man något som är väldigt viktigt i ens liv, vare sig det religion eller en säkerhetsclearance eller något annat, ser man någon som hackar på det så reagerar man i det. Och ser man att någon kan hacka på det och komma undanmed det, då blir man extra sur.

Erik Zalitis (18:03.182)
Det är ju förståeligt, är ju helt logiskt. Så om man ska försöka få någon form av bild på det hela. Vad bör man om man håller på och är ansvarig för klassificeringar av data? Kan du någon form av tumregler? Vad bör man tänka på?

Anders Sandberg (18:19.374)
Det första man ska fundera på är, kan det här bli farligt på något sätt? Och det kräver ju både fantasi och ett visst mått av paranoia men också ett visst mått av sundt förnuft. Många sorters data kan vara farliga i något tänkbart scenario. Man kan alltid tänka sig någon actionfilm där det här skulle kunna vara helt vitalt men det kanske inte är så troligt. Den andra halvan är förstås, hur troligt är det här att det är ett problem? Men sen ska man också fundera på, ja bad guys, vad de nu än må vara. Vet de redan det här?

För ganska mycket känslig information finns ju redan. Det har ju gått en oändlig debatt från låsmedelssida och idag i datasäkerhet liksom. Är det säkrare att tala om för folk att något är osäkert eller är det bättre att försöka fixa det i tysthet? Så att man behöver förstå vad händer om det här är allmän kunskap. Och det handlar inte bara om direkt farlighet. Det är ju en sak om du har det liksom genetiska koder för dödsvirus. Det är en annan sak om

Det här kommer ut så kommer Aftonbladet att skriva något om organisationen som gör att nu måste man besvara mediefrågor och försvara sig istället för att jobba i ett par månader. Det kan vara nästan lika illa som om någon hackades datasystem.

Mattias Jadesköld (19:29.55)
Nä, nästan värre.

Anders Sandberg (19:31.694)
Aftonbladet och kvällspressen är ju ofta mycket mer kreativa. är ju de här advanced persistent threats i datasäkerheten när det kommer många attacker från många håll på många sätt. Det är jättesvårt att skydda sig mot det. Om man vet däremot att ja, Gunt finger är bara ute efter den här hemliga koden, då kan man sätta in ett kassaskåp och gjuta in kassaskåpet i betong och ägna sig åt att försvara den.

Mattias Jadesköld (19:57.134)
Men du jag tänkte på det här om vi backar lite bant där men integriteten som vi började lite mer på något sätt. Du som ser lite framtiden har man gett upp det här liksom. Kommer strunta i åtgärder mot integriteten. Ska man säga så här ja i framtiden kommer alla våra hemligheter vara öppna ändå

Anders Sandberg (20:16.27)
Jag tror att det viktiga är inte så mycket att försöka hindra hemligheten från att läcka ut, för det kommer vara svårt. Utan istället se att folk inte ska kunna använda det på fel sätt och komma undanmed det. David Brin skrev en väldigt bra bok på 90-talet, The Transparent Society, som handlar om framtiden för övervakningsteknik. Han skrev den här på 90-talet, långt innan WikiLeaks och Snowden och alltihopa. Men han var ganska på pricken om att vi är på väg mot en värld där vi har total övervakning.

Men som han sa, skillnaden är ska det vara en genomskinlig värld där alla kan se alla, inklusive att vi kan se makthavarna eller att det är envägspeglar som makthavarna kan se oss och vi kan aldrig se vad de har för sig. Och han menar ju då att både demokratiskt sett och rättsligt så är det ganska viktigt att hålla den här transparensen och det innebär att man också kan hålla folk ansvariga för de använder informationen. Det kan vara svårt att göra saker i hemlighet, men framförallt så ska man se att det blir konsekvenser av vad man gör.

Och det är där jag tror vi kan skydda integriteten Så det som skrämde mig mest när det gällde Snowden och hela den affären Det var inte så mycket att NSA lyssnar på allting här i världen Det är ungefär vad de borde göra Utan att de har så dålig reglering att det är så svag kontroll över hur de använder information och hur de samlar in det Och den har inte uppgraderat särskilt mycket efteråt Det är där vi borde egentligen säga, Morsla gör det liksom att sen det här hände har datorerna blivit tusen gånger kraftigare och ni har säkert

algoritmer som är tusen gånger bättre och ni har förmodligen tusen gånger mer budget också. Så vi borde alltså övervaka er organisation ungefär en miljard gånger noggrannare. Men det borde göras.

Erik Zalitis (21:53.966)
Ja, är ju intressant. ju som sagt det jag tänkt på. Jag minns den här diskussionen från 90-talet då där vi tog det där och jag minns att jag trodde inte på det då. Det ska jag säga. Du har haft helt rätt i den här diskussionen. Men just den här grejen. Om man lite grann får göra en breakout här. Vad gör man som privatperson i den här världen? På vilket sätt, om det nu är så att…

Alla kommer veta allt om alla, det är speglar i båda riktningarna och hela den biten. Vad om man inte vill att alla ska veta allt om?

Anders Sandberg (22:29.422)
En av de praktiskaste saker är att se till att man inte har för jobbiga hemligheter. Jag valde att outa mig som gay, helt enkelt för att jag kom på att det en sak som är mindre, det är inte så farligt och det är en hemlighet man mindre bär på. Jag outade också att jag använde kognitionsförbättrande mediciner ibland, över times. Nu är inte det nyhet längre, nu kan inte engelsk skvallerpress avslöja att Oxford-forskare tar kognitionsförbättrande preparat.

Det är old news, jag behöver inte bry mig. Men det finns ju saker man vill ha i privata svären. Vad jag gör på toaletten och vad jag säger till min make. Ja, det är ju kanske inte sånt som jag vill att alla ska höra. Men å andra sidan, de flesta är inte särskilt intresserade av det. Den svåra biten är när du har någon som är efter dig. Och det kan ju vara dåliga relationer eller alldeles för nyfikta grannar. Eller någon ens förening som man råkar vara ovän med över någon revisionsprocess.

Det kan vara idiotiska triviala saker. Där måste man försöka hålla koll på det. Samma sak naturligtvis för folk som försöker knäcka ens dator bara för att ta pengar från sin kreditkort. Man ska ju inte göra det lätt för de hackarna. Ganska ofta är det att du behöver inte så otroligt mycket säkerhet för att göra att det är jobbigt att samla in den där informationen. Och det är ju det som jag tror vi behöver för vår vardags datasäkerhet men också för vår vardags privat liv. Det finns persigener.

Man kan faktiskt ha ett snack med folk om vad man tycker är okej och inte okej att tala om. Mycket av det är ju den vardagsnivån. Sen är problemet om man verkligen har en stor hemlighet att bära på. Då blir det mycket tyngre. Rent allmänt så är det ju det. Mycket handlar ju om att veta vad det är som är värt att hålla koll på och vad man inte behöver bry sig om. Och det är ju liksom ett medvetenhet man vill ha. En bra organisationskultur hjälper det med det.

Men i vardagen fungerar vi lite annorlunda och i många fall förtjener oss om saker och ting.

Mattias Jadesköld (24:32.142)
Men jag tänker att kanske att kriminaliteten kan sjunka i ett sådant här samhälle eller om alla om allting kan komma ut.

Anders Sandberg (24:43.182)
Då blir det väldigt svårt att begå brott. För en tid sen inträffade för första gången ett bankrån på Svalbard i Långjerbyn. Den har blivit ungefär 1000 invånare. Den har en bank. Det är en ö uppe i Arktis. Bankrånan kom inte så långt där för det finns ju ingenstans att gå där utanför stan. Där börjar bara isen och där finns det bara isbjörnarna. Så det funkade ju inte så bra.

Och samma sak som vill hända i framtiden, om det finns övervakning överallt, är ganska lätt att trasa någon, så kommer du inte kunna skäla något. För vi kan följa det stulna föremålet. Det innebär att vi kan lösa en massa problem. Lösenord till exempel kanske blir mindre viktig om vi har den här bra biometrin. När jag startar datorn för första gången så vet den att jag är jag och nästa gång jag försöker logga in följer den mig bara med övervakningskamera och har sett att, jo men den här figuren som startat mig första gången, det är samma person. Jag kan liksom se att

att det är den samma person som kom tillbaka.

Mattias Jadesköld (25:41.934)
Jesta.

Erik Zalitis (25:42.574)
Det har tänkt lite grann på. Har du inte spårat ur i Kina med den här typen av ranking där du har någon form av personlig ranking på varenda medborgare?

Anders Sandberg (25:54.894)
Ja, det är delvis ett experimentsystem. Man ska nog inte ta det på för blodigt allvar. Men kinesiska staten är intresserade av idén att ha ett social credit score.

Mattias Jadesköld (26:05.87)
Kan vi backa lite band där för de lyssnare som kanske inte har hört talas om det? Vad är det för någonting egentligen?

Anders Sandberg (26:11.214)
Idén med Social Credit Score startade som en sorts kreditvärdighet. Man väger in inte bara hur bra du är att betala igen lån. Utan också till exempel att inte postat någonting illegalt på nätet. Du har inte umgåts med olämpliga personer. Det riktigt obehagliga med det här är att även om man själv inte är dissident så vill man undvika dissidenter eller rapportera dem. För i alla fall kan det vara dåligt för ens poäng.

Och då här ska det sedan avgöra vad man får åka tåg och flygresor och man får lån på huset.

Mattias Jadesköld (26:48.078)
Som ett digitaliserat kastsystem eller någonting.

Anders Sandberg (26:51.918)
Ja, det är ju inte så mycket ett kasssystem för kasssystem är oföränderligt. du visar dig vara lojal medborgare, då kan du ju få ett bättre poängsystem. Det intressanta med det här är att det här är fortfarande väldigt experimentellt och jag misstänker att kineserna kommer upptäcka att det finns alldeles för många sätt att hacka det här eller göra andra saker. Men det kan också skapa märklig återkoppling för det här gäller för alla, inklusive partimedlemmar. Så nu är frågan kommer partimedlemmarna börja göra policy som förbättrar deras poäng?

Och i så fall kommer det påverka hur poängsystemet utvecklas.

Mattias Jadesköld (27:26.19)
Ja men är det inte lite så, så våran bransch funkar här i västvärlden också då? Lite fast kanske mer i nöjesvärlden då att influencer, sådana här saker som har kanske 200 000 följare på Instagram är helt plötsligt populära bara för att de har ett antal följare och så vidare.

Anders Sandberg (27:42.99)
Ja, problemet är att följare på Instagram är ett skalärt värde. Det är ett tal som startar vid noll och kan gå uppåt. Du kan ha olika former av rykte. Jag har min akademiska reputation baserat på vilka vetenskapliga artiklar jag gjort och föredrag och sånt där. Visst, kan man samla ihop det där till en siffra, mitt H-index. Men oftast akademiskt bryr man sig om. Ja, men han är en expert på D &D och lite skraltig på de där områdena.

Bra på att undervisa men dåligt på att föreläsa och sådant där. I många fall vill vi ju ha mångdimensionella beskrivningar av folk. Som pålitlighet är inte alltid så säkert att du kan kombinera det med kreditvärdighet. Problemet för det kinesiska systemet att det stoppar ihop många många egenskaper. Och det tror jag kommer att visa sig väldigt problematiskt för det är ju en sak att någon har pengar och kan betala igen ett lån men han kanske inte är en pålitlig människa. Eller han kanske är politiskt väldigt konstig. Så jag tror att

Hantering av personers renommé är superviktigt. Det det vi bygger våra samhällen på. Vi vill umgås med folk med hög status som är pålitliga. Vi vill gärna sätta upp system som gör att folk som inte är pålitliga bestraffas för det. För vanligtvis gör det att de nu kommer att vilja uppföra sig lite bättre. Det kan man automatisera till viss del.

Mattias Jadesköld (29:04.43)
Ja, men det låter ju nästan som att det är ganska… har jag fel om det låter lite rättvist på ett sätt? Det är ungefär som en kompiskrets och där som att ja, men han Mattias är inte pålitlig för att han betalar aldrig tillbaka och så vidare. Fast här är liksom hela systemet på något sätt, hela samhället som registrerar det.

Anders Sandberg (29:25.166)
Ja, och i Kina har det här visat sig ganska populärt för ett av problemen Kina har är ju korruption och småpåvare till lokala partitjänstemän som bestämmer på egen behov. Delvis är det mer påliteligt att lämna över det till en algoritm än att låta dem styra och ställa mäns liv.

Mattias Jadesköld (29:44.014)
så att det här kommer att spridas till västvärlden.

Anders Sandberg (29:46.638)
Inte i den formen. tror att det här är en väldigt speciell och förmodligen också bara första försöket. Men det skulle inte förvåna mig att du hittar liknande saker. Jag vet att EU har funderat på lite gränskontroller med maskininlärning och annat. Det är återigen mycket handvifta om förmodligen bara att någon har fått massa pengar för att forska om det. Återigen försöka göra bedömningar av asylsökande. Egentligen gör vi ju det hela tiden i vårt samhälle.

Försök göra bedömningar av saker och ting och sen ska vi fatta beslut på det här. I bästa fall så tittar vi på helhetsbilder men man vill ju ofta ha en snabb sortering. Jag tror vi kommer få se mer av det men återigen kommer det handla mycket om är det här en pålitligt sätt att sortera? Bara för att man har ett högt poängtal betyder det inte nödvändigtvis att det egentligen man ska ha den renomen. Någon som har massor följare på Instagram, hur många av dem är riktiga människor, hur många är i bottar?

Om någon har en jättehög kreditvärdighet beror det på att de faktiskt är pålitliga med pengar eller att de har lyckats göra smarta ekonomiska drag så att de ser mer pålitliga ut än vad de är. Återigen så kommer man in på ett index som är lätt att manipulera kommer ju snabbt förlora sin möjlighet att vara ett bra index. Det är därför som vi bryr oss mer om folk vid

känner för det är mycket svårare att ljuga folk rakt upp i ansiktet och särskilt när man interagerar och det är många gånger man delar på restaurangnotan så man märker vilka som är pålitliga och vilka som faktiskt delar med sig ordentligt. Det är mycket svårare om det är en liten siffra som kommer ifrån ett litet API upp i molnet.

Mattias Jadesköld (31:25.038)
Så i framtiden kanske om någon är lite snålig och inte vill dela på sin restaurang då ska vi inte ge någon så högt betyg i systemet.

Anders Sandberg (31:35.566)
Exakt. Vi har ju redan en massa av de här betygssättningssystemen och i många fall så är det ju en bra idé. Det bara att det oftast blir märkligt. Om man till exempel åker med Uber så ja, ger man föraren bara tre stjärnor, då blir han väldigt sur. Så det är liksom en enorm inflation i vilka poäng man ska ge föraren av. Och de ger ju förmodligen poäng också till oss passagerare. Samma sak på Airbnb och många av de här. Så att hantera de här betygsinflationen.

Ja, det är ju samma problem som hanterar riktig betygsinflation i skolan.

Erik Zalitis (32:09.358)
Ja, jag är ju radioamatör och när man kommunicerar över radion så säger man ofta en signalrapport och då säger man 5-9 som betyder högsta hörbarhet. Det har blivit en inflation i det också. Man kommunicerar med folk ute i sig i Europa eller någonting så ger de det alltid så kallade 5-9 rapporter. Perfekt mottagning. Sen kan de fråga, jag hörde inte riktigt din signal, kan du repetera den?

Då tänker jag såhär ja. ger man dem någonting annat än 5-9 till lägre betyg, då blir de förbannade istället.

Mattias Jadesköld (32:41.166)
Ja men det är, men tänk om du skulle utföra någon konsultuppdrag för någonting Erik då så bara får man ett betyg rakt upp i ansiktet? en fyra

Erik Zalitis (32:51.246)
Ja då känner man att jag kanske inte var så bra. Jag förstår vad menar.

Mattias Jadesköld (32:57.806)
Lenni.

Anders Sandberg (32:58.126)
Det är så godtyckligt när vi ska värdesätta saker. Det är mycket enklare när du verkligen kan mäta hur väl det fungerar. Om jag löser ekvationen så kan man se hur många procent av ekvationen jag lyckats lösa eller hur noga lösningen har gjort. Så i vissa domäner tror jag att vi kan skapa betygssättningar som verkligen är väldigt ärliga. De kan fortfarande driva oss i konstiga riktningar. Men mycket av våra medmänskliga relationer är svåra att bara sätta på en femgradig skala. Man vill ju skriva mer.

Men problemet är de flesta av oss inte är riktigt bra poeter för att beskriva våra känslor för varandra. Och i synnerhet inte på en mobiltelefon liksom fem minuter efter att man träffas för att pizza.

Mattias Jadesköld (33:37.358)
Ja, intressant samtalsämne lite om informationssäkerhet i framtiden och sådär.

Anders Sandberg (33:45.742)
Och det är värt att notera att även våra rykten, vårat renommé, det är en information som faktiskt är viktig för oss. Om jag tappar mitt renommé så kommer jag svårt att få jobb. Jag måste tänka på informationssäkerheten för min image. Så det ju därför som jag verkligen bryr mig att ingen ska hacka min Twitter. Eller alltför lätt göra en fake video där jag säger något riktigt dumt.

Mattias Jadesköld (34:10.318)
Ja, det här kan vi prata om hur länge som helst. Anders, ska prata nästa vecka och då går vi in lite mer på AI. Framtidsforskning funkar där också.

Är det någonting du vill tillägga?

Erik Zalitis (34:23.181)
Jag tror jag har fått igenom det viktigaste faktiskt.

Mattias Jadesköld (34:26.03)
Spännande ämne.

Anders Sandberg (34:31.118)
Vi ses!

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – framtiden
–

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #9 – Kommer vi ha hemligheter i framtiden? dök först upp på IT-säkerhetspodden.