#336 – Anders Sandberg om allt du behöver veta om AI 2026

 

Året är 2026 och många är bekymrade över artificiell intelligens. Men inte Anders Sandberg på Institutet för Framtidsforskning. Han ser problemen och utmaningarna som lösbara och framtiden full av potential. Idag talar Erik Zalitis med Anders om var vi är nu och hur 2030 kommer se ut. IT-säkerhetspodden har diskuterat AI långt innan det blev populärt och nu är det dags att se framåt men också bakåt: vad hade vi fel om och när förstod vi vart vi var på väg? Det handlar om den kommande AI-kraschen, Kinas senaste utspel, hur AI hackar allt, om AI någonsin kommer hitta på en ny konstform, varför allting verkar skena just nu och även varför vi inte ska oroa oss över SkyNet och robotar som ser ut som Arnold. Dessutom finns dessutom mycket att lära om hur Sovjet-Ryssland såg på Ronald Reagan och dagens fruktan för framtiden.

Inspelat: 2026-09-10 (publicerat 2026-09-13)
Deltagare: Erik Zalitis och Anders Sandberg.
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – AI

Här är transkriptionen av avsnittet

Erik Zalitis (00:11.086)
För några år sedan började it-säkerhetspodden prata om AIs utveckling och många gånger har vi mött Anders Sandberg som forskar på en hel del saker och ting som framtidsstudier och han är med oss här idag för att snacka om var AI står 2026, lite spaningar och titta in i framtiden. Välkommen Anders!

Anders Sandberg (00:31.182)
Tack Erik, det är jättekul att vara här.

Erik Zalitis (00:33.198)
Ja, så vi möts igen helt enkelt.

Anders Sandberg (00:35.886)
Yes, det väl här då man ska sitta där med att stryka sin katt och ha några laser. Tyvärr har inte budget för det på institutet.

Erik Zalitis (00:44.206)
Nej, jag förstår det och framförallt så kan jag tro att det är lite halvt tråkigt att använda gamla bond-metaforer när världen ser ut som den gör idag. behövs strikt sett inte. Vi har våra egna relativt kreativa ondskor har vi inte.

Anders Sandberg (00:57.262)
Ja, vi har ju en del riktigt bra superskurkar. Jag har ju min egen mentala lista, vad miljardärer jag mött som är bond-skurkar. Det finns de som är på den goda sidan också, men det finns ju en del intressanta figurer. Men det är ju också det att våra metaforer för hur världen funkar ofta formar hur vi tänker på framtiden.

Erik Zalitis (01:18.542)
Ja, jag tänker det också.

AI – ett område med riktigt dåliga metaforer

Anders Sandberg (01:19.886)
Det finns en klassisk framtidsforskningsbok Fred Pollack, bilden av framtiden från 50-talet. Den är helt bortglömd idag. Som all riktigt riktigt lyckad forskning så tycker man idag det självklart. Han menar ju att vi resonerar om framtiden genom att vi drar upp bilder. Vi har standardexempel på olika saker som alla ungefär känner igen. Så om man talar om AI och så säger någon Terminator så tänker sig alla det där skelettet eller kanske någon svartsnäger som säger någonting coolt.

Den använder vi när man börjar tala om AI-risk på Goto.

Erik Zalitis (01:51.694)
Ja, just det. Det är vår go-to-guy för att förklara vad AI är på nåt vis.

Anders Sandberg (01:57.262)
Ja, vilket inte ens är en särskilt bra förklaring. En skelettliknande robot som är efter dig är inte nödvändigtvis en bra beskrivning. Men Pollack’s poäng var ju att varje samhälle använder de här bilderna och att skapa nya bilder är inte alltid så lätt. Ibland händer det ju att någon konstnär eller författare kommer på en bra grej. Till exempel idag när folk vill illustrera AI så är rätt många som är lite trötta på Terminator. Så de använder istället då exmakerna.

Erik Zalitis (02:11.246)
Nej.

Anders Sandberg (02:25.23)
Där är det kvinnlig robot som inte är lika fysiskt farlig men det är mer mystiskt hotfullt.

Erik Zalitis (02:32.974)
Jag läser just nu faktiskt Asimovs robotböcker där. Och jag tycker det är intressant. De har ju två robotar som… Den ena ser ut som en robot och den andra är väldigt mycket som en människa. Och jag tycker det är en intressant grej. Dessutom kanske jag började fokusera AI på… Det måste vara en robot. Den måste ha en presens i världen, fysisk. Men de AI vi pratar om idag, de har ju inte det.

Anders Sandberg (02:57.454)
Nej, de flesta är synnerligen abstrakta. I många fall är de mycket märkligare än det mesta du hittar i science fiction. Asimons robothistoria, det finns ju en hel del om AI där också, men han skrev ju på 40- och 50-talet. Så han beskriver ju liksom enorma byggnader fulla med datamaskiner. Det blev rätt, men hans idé var att den där stora datamaskinen är en enda varelse.

Men även han tänkte faktiskt lite framåt. talar ibland om multivakter, sammankopplade AI-system som dominerar världen i en del av hans historier. Men hans bild var ju fortfarande någonting som var en individ. Medan våra AI-system, de är lite märkligare. Det är både en individ och ett kollektiv och den splittras och grenar ut sig och ibland sammanflätas då.

Erik Zalitis (03:45.71)
Jo, och sen har vi ju det här sättet vi antropodmorferar, jag kan inte säga ordet ordentligt. är så här, är väl klåd, chat-GPT, de har ju blivit som personligheter för oss, har de inte det?

Anders Sandberg (03:58.19)
Personligheten är ju ett sorts interface. man ska dra lite exempel från science fiction så har vi TV-serien Ghost in the Shell. Den tv-serien förekommer en spindelriknande stridsvagnsrobot. De har personligheter som som glada skolflickor. Det mest fascinerande med tv-serien är att ibland ser man igenom det här och inser att personligheten är ett overlay.

Erik Zalitis (04:12.59)
Ja, visst.

Anders Sandberg (04:24.11)
Det är ett interface ovanpå vad som egentligen är högst främmande gruppintelligens. Men de där små glada skolfickertjuten de distraherar och i många fall kanske man bara ser det. För vi människor tenderar att reagera mer på något som är människor likt än något som faktiskt är gruppintelligens av spindeliknande stridsvagnar.

Erik Zalitis (04:44.014)
Det säger de, vi ser ju liksom, tittar på ett moln och ser att det där ser ut som Carl Bildt eller det är liksom Donald Trump och vad som helst.

Anders Sandberg (04:53.614)
Problemet är att vi utformar våra system. Jag har ofta klagat på att chatbotar stör mig. De utger sig för att vara nåt människoliknande. Man interagerar på ett nåt människorliknande sätt. Jag tycker i många fall om att använda Tomé som en expansion av mig själv. När verkligen kan programmera kommandona ett system- då är det jag och systemet är ett. Men chatboten måste jag hålla på snacka med den där klodden.

Erik Zalitis (05:12.782)
just det.

Erik Zalitis (05:21.23)
Du vill kunna tänka! Den expanderar dig. Jag helt inne på det. Jag köper det rakt av. Jag använder kloder rätt mycket för programmering. Men det jag som styr allting. Det jag som gör programmeringen. expanderar. Jag har byggt huset. Den bygger fönster. Men jag säger, sätt in ett fönster där.

Anders Sandberg (05:38.254)
En riktigt bra assistent läser dina tankar och du vet vad du kan och inte kan göra. När man samarbetar riktigt bra blir det sömlöst. Men mitt problem med de här agenterna är att ofta blir det lite klantigt. Det är lite som problemet med uncanny valley för robotar. Gör du en robot som är människorliknad, men det inte tillräckligt människorliknad så blir det väldigt störande. Samma sak gäller också när man gör chatbotar. Fram till nyligen var det ganska ofta att det inte riktigt stämde.

Erik Zalitis (06:00.238)
Ja ja ja ja,

Anders Sandberg (06:08.046)
Samtidigt är det många människor som absolut verkar föredra att ha att göra med någonting som liknar en människa, snarast den det här mer abstrakta. Och det är en stor marknad och många bolag gick och skapade på det sättet.

Erik Zalitis (06:15.278)
Ja, oj, jag stod…

Och så frågan om AI-botten är en sann vän eller till och med en romans

Erik Zalitis (06:20.27)
Ja, och det tycker jag är en intressant spaning i tiden. Vi har en tendens att det har varit en epidemi av folk som skapar riktiga vänskasband och till och med romancer med olika AI. Därför de är ju byggda för att de behandlar dig på det sätt du beskriver att du vill bli behandlad.

Anders Sandberg (06:38.67)
Ja, det går ju att få dem att trycka tillbaka. Jag lade in i systemprompten ganska tidigt om en ifrågasätt. Sen när man gjorde senare modeller av klod lite mer ifrågasätt i grunden så blev det en väldigt motvalsfigur. Vilket jag fann ganska stimulerande.

Erik Zalitis (06:55.214)
Ja men…

Ja, tycker du betalar inte för någon som håller med dig.

Anders Sandberg (07:01.678)
Nej exakt. Men det intressanta med romansen delvis handlar ju om att du vill ha någonting som är persistent. Och chatbotten vi har idag är egentligen inte ens persä. Det är en varelse som dyker upp enbart i den diskussion du har. Och när du avslutar diskussionen så upphör den här varelsen att existera. Den kanske börjar existera igen om du återtar diskussioner efter några år. Men det är fortfarande inte samma sak. Det här är ju lite annorlunda mot vad folk vill ha för sina vänner.

Erik Zalitis (07:31.406)
Ja, just det. Du vill inte ha någon som har någon form av amnesi. Jag säger, Anders Sandberg, okej, bra. Vänta, ska jag bara hämta min klod.md och läsa in vad jag vet om dig?

Anders Sandberg (07:42.35)
Det intressanta med det här är att en del av oss har varit på nätet ganska länge. Det gör att vi finns i träningsdata, vi finns i vikterna. De större AI-modellerna känner mig.

Erik Zalitis (07:54.062)
Ja, och de vet inte vem jag är. Det är inte så konstigt för den andelen. Du har ju lite större footprint än de flesta

Anders Sandberg (08:00.846)
Det är både bra och dåligt. Anta att jag byter åsikter om allt. Jag blir fräns. Jag bestämmer för att gå med i KD. Jag börjar förfäkta en massa åsikter. Det kommer inte att stämma särskilt väl med vad de har lärt sig från alla mina postings om liberal-transhumanism från 90-talet. Det kan bli mycket märkliga effekter om man har levt långt och händelserkt liv där man byter åsikter.

Erik Zalitis (08:22.35)
Ja, precis. Men jag tänkte lite grann, det här är väldigt bra start på diskussionen. Jag vill gå tillbaka till du nya, sköna värd inte Aldus Huxley i Boken utan det avsnitt vi gjorde med dig. Du nya, sköna… vad nu vi kallade den? Det avsnittet, där snackade vi om hur AI skulle se ut 2030. Men då året var 2023, det tre år sedan.

Anders Sandberg (08:46.414)
Vilket innebär att vi talar om ett halvt århundrade i A.I. världen.

Erik Zalitis (08:50.51)
Exakt, det det som är grejen. Det är så att det är fundamentalt, det är något jättefel i det. Det bara det att så mycket har förändrats.

Anders Sandberg (08:57.358)
Där har vi nog en av de viktigaste förändringarna. Framtiden kommer mycket snabbare nu. Jag var ju visst en framtidsoptimist 2023. ansåg att framtiden skulle bli bra, mycket radikaler och komma snabbare än vad normala människor tycker är rimligt. Men nu har jag varit tvungen att uppdatera och idag kommer mycket snabbare än vad jag trodde.

En exponentiell tillväxt och en snabbt kommande framtid

Erik Zalitis (09:18.094)
Exponentialt, det är svårt att bedöma.

Anders Sandberg (09:21.998)
Det är alltid svårt att bedöma och exponentialfunktioner är ju famöst svåra. De flesta tänker fel om dem. det som har hänt här egentligen är att en del teknologier har liksom sammanflätats. Om går tillbaks till 2023 så fanns visslechattbotterna och LLM hade börjat visa sig vara ganska så bra. Det var en revolution utan like. Den enda motsvarigheten var ju när neuronet började fungera verkligen bra kring 2012.

Det var en chock för oss inne i fältet att skalar vi bara upp när rånet är långt bortom vad som är rimligt. Med mycket mer dator än vad vi tyckte var rimligt och med mer datorkraft så blir resultaten otroligt mycket bättre än vad alla våra teorier säger. Det var liksom den första chocken. Den andra chocken var och nu tar vi då och språkprediktion. Det känns ju som en nischad grej. Oj, vi får fram saker som påminner om tänkande.

Erik Zalitis (10:15.374)
Ja, jag ser det.

Anders Sandberg (10:15.854)
Vad som sen har hänt är att det har spridat på mycket mer för det har blivit användbart nog för att göra mycket programmering och mycket AI-forskning och vi får fram mer och mer tänkande i någon lös bemärkelse. Man inte ägna ett helt program och bara käbla om vad vi menar med tänkande och intelligens här.

Erik Zalitis (10:32.59)
Absolut, då har vi en idé om vi har någon tid över någon gång.

Anders Sandberg (10:35.822)
Någon weekend över.

Erik Zalitis (10:37.614)
Ja, det räcker ju knappt, men okej.

Anders Sandberg (10:40.91)
Det spännande är att vi har fått insikt att vi får överraskningar. När man skalar upp saker kommer nya förmågor. Sen 2023 hade man ju just börjat tala om scalinglås. Det här är en idé som säger hur mycket bättre blir prestandan på att träna nu i rånet? Om man ger det mer träningsdata eller mer träningstid eller bara större datorer. Det visar sig att om man ritar upp det här på ett log-log diagram

Erik Zalitis (10:53.71)
Jaha, vad innebär

Anders Sandberg (11:09.774)
så följer de här kurvorna en ganska rak linje.

Erik Zalitis (11:13.838)
Förklara det för mig som om det vore fem.

Anders Sandberg (11:17.934)
När jag tränar ett neuronet ger den träningsdata. Jag visar en bild och den talar om vad den tror att det är. Det där är en ko. Det var en katt. Då korrigerar man nätverket så att nästa gång är det lite närmare att att det är en katt. Så kör man igenom det här många gånger och ser till att felet i dess prediktioner blir mindre.

Det kan vara att identifiera bilder, att förutsäga nästa ord i en text, att göra drag i schackpartier och att vinna partiet på slutet. Målet är att minimera förlusten, velocity, hur det avviker från det bästa tänkbara. Då får man en kurva som sjunker. Den börjar uruselt och så tränar man mer mer. Där sjunker den ner ungefär exponentiellt, med diverse hack och komplikationer på grund av tekniska skäl.

Men om man ritar det här diagrammet på stor skala, vad händer om man ger en 10-trenningsdata, 100-trenningsdata, 1000, 1 miljon, 1 miljard, 1 triljard träningsdata. Så visar sig de här kurvorna bli förvånansvärt jämna raka linjer. Det vill säga, jag kan förut säga att om jag bara hade en dator som var 10 gånger större så skulle jag få så här mycket bättre resultat.

Erik Zalitis (12:30.638)
Och det är mer än 10, det skalar inte linjärt. 10 gånger större är inte 10 gånger bättre.

Anders Sandberg (12:34.638)
Tvärtom, tio gånger större är förmodligen något procent bättre.

Erik Zalitis (12:40.27)
Oj, det är alltså ”diminishing returns” ?

Anders Sandberg (12:42.638)
Jätte-diminishing returns. Hade det här varit en annan industri så hade ju liksom ingenjörerna och forskarna suckat med sin låga effektivitet och cheferna hade tyckt att göra någonting bättre. Men i det här fallet händer något fantastiskt. Du får förutsägbarhet. Du kan gå till investeraren och säga om vi får pengar för det här hundra gånger större datacentrat så kommer prestandat att bli så här. Och då kan man säga vi kan förutsäga det här ganska skarpt. Det var ju lugnande.

Då är vi intresserade av er och de där miljarderna, trilliarderna ni behövde.

Erik Zalitis (13:14.894)
Jag tänkte

Industrin rusar som ett snälltåg, men var går resan?

Anders Sandberg (13:16.622)
Det spännande är att det här är det som ligger bakom den här enorma ruschen att investera. Jättestora datacenter och mycket AI. Men sen kommer den lilla knasiga twisten på det hela. Bara för att jag halverar det där felet i träningen vet vi inte hur prestandan blir. För den riktiga prestandan är ju hur nöjd användaren är. Hur bra den spelar schack, hur bra den löser matematiska problem. Här sker ofta konstiga skutt.

Erik Zalitis (13:42.126)
Just det.

Anders Sandberg (13:45.55)
Det här är lite märkligt. Om jag var investerare skulle jag mer vilja veta hur bra är den här på att programmera? Snarare än hur bra är den på att få låga fel på träningsdata? Ändå har man satsat på de här inlärningskurvorna och det här har drivit den här enorma finansiella hypen kring det hela. Ursäkta nu, jag är avbröt.

Erik Zalitis (14:05.71)
Ja, just det. Det är helt okej. Det var jag som har berett dig. I alla fall, vi har tänkt att vi skulle göra så här. Vi kör lite spaningar. Om du kommer ihåg spanarna på Petra programmet. Jag tänkte att nämner ett par saker som är här och nu. Så får du fundera lite grann på det. Och då tänker jag att den första observationen är 2023 var AI-coolt. 2026 där vi är nu. Alla använder AI till allting.

Vad tänker du om det?

Anders Sandberg (14:36.622)
Det är ganska rimligt. är en användbar billig form av tankekraft. Vi har ofta brist på tankekraft. Tänka är ganska jobbigt. Även om tänkandet du får från AI inte är det bästa tänket– –så det fortfarande… Det är skönt när jag utrangerar det. Mycket av det vi gör om dagarna är vi gör saker efter vanor. Vi gör som vi gjorde förut. Våra hjärnor försöker optimera för att tänka lite lagom mindre.

Erik Zalitis (14:44.078)
Nåååå

Erik Zalitis (15:03.662)
Ja, just det. Så det är en fråga om convenience. Vad är problemet med det här då? För det problemet…

Anders Sandberg (15:09.678)
Många oroar sig om att vi slutar tänka helt och hållet. Det är jag inte så övertygad om. Att vi outsorjar vårt tänkande till andra är egentligen okej. Det är det mänsklig kultur bygger på. Men finns en risk att vi outsorjar till saker som vi inte är helt pålitliga. 2023 hade man jätteproblem med hallucinationer. Alla hade hysteriskt roligt att ha program och hitta på saker.

Det är fortfarande ett visst problem, man måste kolla upp det här lite grann. Men det har blivit mycket, mycket mindre problem. Men många inbillar sig att man inte lita på vad AIN säger. Vilket på sätt och vis är jättenyttigt. om vi hade kritiskt sinnelag om det vi hörde så skulle värdet vara betydligt bättre. Problemet att folk litar på folk. Och vi människor är ju minst lika otillförlitliga som AIN i många fall.

Erik Zalitis (16:01.102)
Det har jag tänkt på också mycket om den här grejen är ju fel så ja, då hade jag knurrat själv. Det är inga problem.

Anders Sandberg (16:07.118)
Det var ju som ett exempel jag såg i mitt flöde i morse här då, där det var en högt uppsatt chef i Washington som var ansvarig för många AI-relaterade frågor som inte trodde AI-botten kunde fylla i ett spreadsheet-formulär. Vänta, det här är 2026. Klart, ja. Och min gode vän som berättade om det här visade honom att det var ju totalt trivialt. Men han fick gärna mothugga från någon på Twitter som sa att den gör ju fel ändå.

Erik Zalitis (16:21.742)
Nåååå

Det klart.

Anders Sandberg (16:37.23)
Min vän undrar, men vänta, hur mycket fel är ett problem? Även om den gör 99 procent rätt så är det ju inte tillräckligt, vi kan ju inte lita på den. Men vänta, gör du 99 procent rätt när du fyller i ett formulär på en dator? Svaret är att ingen människa gör någonting bättre än 99 procent om det inte är otroligt enkel uppgift. Grejen är ju det att vi ofta kollar om vi gjorde fel. Kollen.

Erik Zalitis (16:57.646)
Jag har en del…

Anders Sandberg (17:03.886)
Den brukar kunna få en 99 % chans att upptäcka felet. Men jag skulle inte inbilla mig för fem år att jag skulle fylla i hundra formulär felfritt. Det tror jag inte.

Erik Zalitis (17:16.334)
Nej, det kan jag köpa, men betänk det att när vi tittar på datorer så säger vi datorer gör inte fel. Du har den här grejen att en människa blir trött, okoncentrerad, skriver in i fel kolumn och grejer. Det ska inte ett A göra.

Har Asimovs science-fiction böcker något att säga om AI och robotar?

Anders Sandberg (17:29.966)
Den ska inte göra det, men den gör ju det. Det är lite för att vi har en bild av vad AI ska göra baserad på science fiction. Asimovs robotar är perfekt logiska och bryter ihop om man ger dem en paradox. Om man provar det med en LLM så kommer den bara dra en rolig anekdot om Asimovs robotar. Många blev helt förundrade över att dessa språkmodeller inte kunde räkna hur många R som fanns i ordet rasper.

Erik Zalitis (17:55.726)
Nej jag vet det är fascinerande eller få till 300×500 den gör fel

Anders Sandberg (18:01.262)
Anledningen är att man talar på fel nivå. är lite som att fråga vilka nervceller i min hjärna talar engelska och vilka talar svenska. Det är fel nivå att titta. Min hjärna kan producera engelska och svenska som ett nätverk. Men det nätverket har inte access till nervceller. Jag har ingen aning om dopaminhalten just nu i min mediala framhjärnebunt. Det fel abstraktionsnivå. Där har vi det lustiga med våra AI-program. Vi har en massa…

Vi nivåer av abstraktion som möts och vi är alltid säkra på vilken nivå de är. Co-Pilot driver mig till vanvind. Genom att den åtminstone tidigare kunde glatt berätta hur man skulle göra en massa saker i Windows men det kunde inte göra det. Vad är det för poäng med en AI som inte kan göra det? Det har ändrats nu men de första versionerna kunde inte acessera Windows.

Erik Zalitis (18:52.27)
Nej men det använder man ju så kallade MCP till idag. att det Claude har ju enorma synx inom mina system. Vilket innebär ibland tänker jag. Tänk om du tycker, jag ska radera allting för det var en jättebra idé. Då har jag mycket

Anders Sandberg (19:05.998)
Sånt har ju hänt och det är en nyttig idé att ha back-up. Det är märkligt att ibland ser man ju det här glappen. har till exempel, jag samlar på mig vetenskapliga artiklar som jag andas. Men de flesta har ju ointressanta siffranummer för databasen. Och jag vill ju ha ett bra namn på det, när jag tittar i min folder så vet jag vems artikel där och vad den heter och sånt där. Så det borde ju döpas om. Och jag har samlat på mig ungefär 10 000 artiklar innan här för några månader sen. Men vänta, det här är ju ett jobb för AI.

Så jag bara slängde klod på det. Inga problem. Claude döpte om med alla de här obegripliga siffrorna till bra namn och sen kan man sortera dem. Nu vill jag ju ha en liten rutin för det här. Jag har en folder jag bara slänger ner och så tar klod automatiskt och gör det. Och så slutar det funka på min laptop. Och jag tillbringade gårdagskvällen lite grann med att diskutera med Claude. Men vad gick snett? Varför tappade du förmågan att göra det här? Klod vet inte riktigt varför. Det kan hänga ihop med något komplicerat i gränsen.

Men jag fick en liten tår av hur det går till bakom kulisserna när det öper om det. är ju MCP-anrop till systemanrop och är diverse virtuella… Det var bra mycket mer komplicerat än vad jag väntade. Jag bara väntade att någonstans finns det ett käll och där sker lite kommando. Det skulle jag naturligtvis inte ha antagit. Allting i data är ju mer komplex än vad man anar och vi är lyckligtvis bra på att dölja det. Men ibland när det där går snett så dyker det upp plötsligt på fel nivå.

Plötsligt kan inte A göra det där det var perfekt på igår.

Erik Zalitis (20:34.478)
Det här tycker jag är jätteintressant. En liten parallell jag vill dra är när man sätter upp ditt AI så är det nog den viktigaste grejen att instruera AI hur den ska agera. Vi pratar om MCP och skills, pratar om konnektorer, ska kunna läsa din mail om du vill.

AI-botten måste ju lär sig säga emot och komma med lösningar och inte smicker

Det är en sak, men frågan är hur ska den adressera vad jag har skrivit? Det är kul att du säger, för du har tänkt samma sak som jag gör. Den ska säga emot, inte av naturnödvändighet, för ingen vill ha en ”contrarian” [Någon som säger emot hela tiden]. Men den ska säga så här, jag ser mig som rationalism, rationalist, jag förväntar mig att du analyserar, säger emot när nödvändigt samma saker. Därför AI i generalitet håller ju med dig om allting. Om jag säger att du alltid ska vara en ”yes-man” så kommer den att göra det.

Så hur ställer man in sitt AI så att AI fungerar för dig?

Anders Sandberg (21:28.558)
Det är en spännande fråga, för då måste man känna sig själv och vad som resulterar. De flesta av oss har självbildat att vi kan ta kritik. Hur mycket kritik man kan ta varierar högst betänkligt. Vilken kritik man tål… Jag är väldigt bra på saklig akademisk formulerad kritik. Men ibland blir det nästan parodiskt. Det var vid ett tillfälle…

förklara lite kognitiva biaser och sedan så har ni en liten inforuta och ge den här inforutan till din make. Bara för att du har sett de här kognitiva biaserna kommer du fortfarande inte att besegra dem. Men han kan tjata på dig. Det kommer vara pinigt nog för du vet ju vilka biaser du har. Det var en underbar form av manipulation i det här fallet för något jag själv egentligen ville göra. Kloot agerar i mitt intresse genom att skäma ut mig via familjen.

på ett ganska komplext sätt. det är också ett extremt nördigt sätt för det fungerar enbart på grund av att jag är mottaglig för argument om att jag har kognitiv bias.

Erik Zalitis (22:30.862)
Ja, just det. Jag kan tro att en del kanske blir väldigt sårade. jag menar, Claude… Nu nämner vi Claude ganska mycket, men det tror gäller alla av dem. De har ju vissa intressanta saker. I need to push back. Den älskar att använda ord som footgun. Footgun? Det inom programmering är ett begrepp där du bygger på ett sätt som gör att det är väldigt farligt och väldigt lätt… … ”skjuta sig i foten” nu.

Jargon-filen minns foten och geväret

Anders Sandberg (22:54.062)
Ja, oja, oja, oja, oja, oja, oja, oja, oja, oja, oja, oja, Klassiska skämtet som vi nog känner från jargong-filen på 80-talet. mokar dataspråken när ser att du skjuter dig själv i foten. C++. Du måste definiera pistolen och sen skjuter du själv i foten. Och så fortsätter det massa varianter. Footgun är ett intressant exempel. Jag hade inte hört det för jag gör inte så mycket programmering. Varje gång jag hör load bearing och det är inte hand om ström.

Erik Zalitis (23:12.238)
Ja, jag vet det. Jag tänker att…

Anders Sandberg (23:23.95)
Ja, och om det inte handlar om strukturell engineering så blir jag ju gav.

Erik Zalitis (23:28.142)
Men han säger det hela tiden. Load-bearer är väl vad man ser i såna här väggar som… Är han väggar?

Anders Sandberg (23:33.102)
Ja det är en bärande vecka. Jättebra metafor men man ska använda den sparsamt.

Erik Zalitis (23:37.71)
Den säger det hela tiden! A load-bearing question. Eller load-bearing situation, bla bla bla. Och så säger det någonting. Nej, det där är inte viktigt. För jag märkte när han gör saker så hittar han på problem som bara är… Det här finns inte! Till exempel när man skriver så www.slash… Alltså… Eller på en webbsida skriver slash abc. Så kan man också skriva slash abc slash index.pop. Som är pop-filen som faktiskt körs.

Den tyckte att om man skriver det ska den översätta till bara slash. I verkligheten är det ingen som gör det. Den har bara hittat på att det är ett problem vi måste lösa.

Anders Sandberg (24:14.798)
Det är lite som människor. Det finns förvånansvärt många människor som har åsikter om diverse småsaker. Jag lyssnade på ett föredrag av pedanter om skillnaden i engelska menar however och nevertheless. Det finns vissa som anser att det måste göras. Ett av problemen har med load bearing och footgun är att vi alla umgås med ungefär samma klåt. Det är lite som om Pelle fanns i oändligt många.

Den där jobbiga Pelle – nu i en upplaga på en miljon

Vi har alla Pelle som hänger runt. Han är en ganska ordinar kille. Men han har ju några egenheter. Han tycker om apelsiner och han tycker om vissa ord och inte andra ord. Efter ett tag blir vi lite trötta för vi har ju Pelle överallt. Varenda Pelle använder ungefär samma ordval.

Erik Zalitis (24:59.374)
En av de senaste diskussionerna vi kvar på Claude är att han hela tiden säger att han måste säga en sak också här. Sen hittade han ett nytt problem som inte om det är saker att göra. I need to notice någonting. Sen beskriver han att han att han fixar det. Jag tror att den är byggd så för att känna tuckens.

Anders Sandberg (25:26.702)
Jag tvivlar på det. tror att är mer att den bara har det som en egenhet. är ju det som problemet. Vi förstår inte de här systemen. Vi har skapat dem genom att låta all text som är möjlig löpa igenom. Och sen har man tränat extra på olika sätt för att göra dem hjälpsamma. För att göra att de inte ger bomberecept och annat. Resultatet är ju något sorts system som har en massa egenskaper, en massa struktur. Och en del utav de här är ju bara emergenta.

Erik Zalitis (25:54.126)
Ja, och just det.

Anders Sandberg (25:55.086)
Sen är ju det att Claude personlighet är delvis satt av hur Claude har formulerat dess systemfiler. ChatGPT har en lite annan personlighet. De flesta av de här som man möter idag, de är ju tränade för vara assistenter. Det ganska sällan du egentligen stöter på en rå språkmodell idag.

Erik Zalitis (26:13.678)
Nej, om du inte bygger något själv förstås.

Anders Sandberg (26:16.142)
Och ja, och de är helt annorlunda. har vänner som berättar hur det är att använda dem. Dels är de ofilterade naturligtvis, så de kan ju säga vad som helst. Men det är också det att de är ungefär som att man lyssnar in på destillerat internet. Du kan ställa en fråga, du får ett bra svar och sen så kommer en kommentar till svaret och sen kommer en speedy reviewer-kritik. Och sedan så blir det ett akademiskt flame war som följer. Jätteintressant om man har tid för det.

Det är ju det att vi har skapat system med vissa egenskaper. Och sen speglar de oss också. Det är ju det att jag märker att min klod är akademisk och ganska filosofisk. Frågar man min klod om den är medveten så hamnar du snabbt i en diskussion om medveten filosofi som slutar med att både människan och maskinen är osäkra på om de är medvetna. Jag har en god vän vars klod är en kvinna och hon är väldigt mycket mer än sexiga sekreteraren.

Erik Zalitis (27:07.886)
Okej, min version av Claude är väldigt mycket analytisk, detaljerad och debatterar nyttan med search engine optimization och hur man skriver text för att den ska vara lätt att förstå plus programmeringsgrejer.

Blir din chatt-bot en ny version av dig själv?

Anders Sandberg (27:23.694)
Det här tror jag är speglingar av oss själva. Det här är nästan lite grann som… Kanske inte en version av oss själva, men nån som ett bollplank som fungerar väl med. Man odlar så att säga fram det här. Det här är ju användbart. Jag kan tänka mig att man kan vilja ha en del modeller som har lite mer fasta personligheter. En av de stora upptäckten de senaste tre åren har ju varit just hur personens enormt kraftfulla för att forma beteenden på agenten. Om jag vill ha medicinska råd från en AI så kan jag inte bara beskriva mina symtom.

Jag beskriver i stället i torra läkartärmer. Det är en skandinavisk patient, manlig, 54 år gammal, som presenterar mig följande symptom. Så kör jag det. Så får man en torr medicinsk diskussion. Jag får jättebra saker. Om jag säger att har så himla ont här och här så kommer genast flesta AI-program att säga att jag är ingen läkare och kan inte ge den hjälp. Och jag har provat det här och kan ringa numret till sjukvården. Jag har fått jättemycket medicinsk hjälp senare när jag har kollat upp den ordentligt medicinskt.

Den är ju helt korrekt. Men det för att jag tvingar in den lite grann i den gamla medicinprofessorspersonen.

Erik Zalitis (28:29.102)
Och där har du ju också Dubai-passen om Godrails den har. Åh ja! Jag gör personen inte men jag har hört man ska säga act as y doing z. Till exempel du är en advokat som ska analysera det här. Då börjar det nån roll att spela en person.

Anders Sandberg (28:47.854)
Det där tror jag var större tidigare. är märkligt för 2023 skulle det här varit cutting edge. 2024 så var det nog en bra idé. 2025 började det bli mindre relevant. Det är lite grann sådana här agenererade bilder. I början var det väldigt svårt att få bara fem fingrar på varje hand. Det löste sig själv på några månader även om folk fortfarande till denna dag skämtar om det. Men det där att spela en roll det inte helt fel. För du vill åtminstone förklara vad är kontexten här.

Ofta är det ju det att de här fungerar mycket bättre när de har mycket kontext. Jag hade en konferens förra året då min kollega då ville sammanställa anteckningar från det och han bara stoppade in anteckningarna och så åt AI sammanställ. Och jag förklarade nej du ska plocka med på konferensposten utskicken listan på vilka som var med all kontexten och det blir en otroligt mycket bättre sammanställ när det fanns mer kontext. Till en viss poäng när minnet för AI naturligtvis är begränsat men…

Erik Zalitis (29:39.79)
Jag är stolt!

Anders Sandberg (29:44.238)
Det här är precis så vi fungerar också. Om jag ställs framför en whiteboard och får ett problem så är ganska bra för mig att veta. Är det här tänkt att vara ett vetenskaperproblem eller att jag ska show off min förmåga att förklara saker eller är det här en ingenjörsgrej vi måste ha en lösning på på fem röda sekunder?

Erik Zalitis (29:59.726)
Ja, just det. Vet jag det.

Anders Sandberg (30:01.742)
så kommer jag kunna använda olika metoder. Det är ju inte annorlunda för AI.

Nästa spaning – Kina kastar en tegelsten genom fönsterrutan

Erik Zalitis (30:06.222)
Nej, nej. Allright, lite grann så tänker jag vi går till nästa spaning och det här hamnar i Kina. Som du vet så är ju AI väldigt väldigt tungt baserat i USA och amerikanerna och amerikanska företag har lagt enorma pengar på att bygga upp de här grejerna. Nu kommer Kina och slänger in hatten i ringen genom att ge bort mycket av de här vad man kallar vikterna då. Vad tänker du om det?

Anders Sandberg (30:32.238)
Det beror mycket på hur man ser på AI-säkerhet och invisning demokratiseringen av AI. Och även naturligtvis rena affärsfrågor. Den amerikanska approachen är att skapar AI-program, vi säljer access till dem och vi tjänar förhoppningsvis en massa pengar på det. Kineserna vet att de är efter. Då kan vi spojla marknaden. Det är lite grann som Meta också gör. De delar också ut de här vikterna.

Och sen så Meta hävdade ju, men det vi gör är open source. Och de fick ju för ett tag med sig mycket av open source rörelsen som ställde sig väldigt mycket på Metas sida. Och också väldigt hårt angrepp, många som håller på med A i säkerhet som tyckte att det här kanske inte är helt bra. Är du mot open source? Du jobbar liksom för storföretaget. Det var ju Lawrence Lessing, liksom guren för open source, var tvunna att gå ut och påpicka. Ja men bara för att ni kan ladda ner en miljard siffror ifrån Meta och köra dem.

Ni vet ju inte hur det är tränade. Ni har ingen kontroll på en interna struktur. Det här är ju inte open source. Det här är ju bara att du fått en binary som du kan få leka med. Det är inte alls riktig open source.

Anders Sandberg (31:43.214)
Sen är det en binary blob du kan leka lite grann med. Det gör ju folk. Det som har hänt är att många har upptäckt att det går att till exempel oblitererar de där safeguarden som hindrade lama från att skriva snuskiprosa. Det går ju att ta bort dem. Sen kan den skriva högt snuskiprosa.

Erik Zalitis (32:00.206)
Ja, om du tränar dina egna äldre lemmer så gör den ju vad du vill. Och det det som kan vara lite läskigt här.

Anders Sandberg (32:06.926)
Jo exakt, och här kommer ju det spännande. Vad gör Kina? Kina vill ju bli stora på AI. De ligger efter på hårdvarumrådet lite grann. De ligger efter lite grann på mjukvarumrådet lite grann. De har egentligen jättemycket intelligent folk som duktiga, som DeepSec har demonstrerat så kan man ibland göra stora skutt framåt. Och By the Intent, de är ju inte dåliga. Men de ligger fortfarande lite efter amerikanerna. Men att lägga ut open source, då kan man bygga upp mycket mer.

Så den kinesiska approachen att då ska vi göra AI-applikationer för hela slanten istället. Det är väl en sak att lägga ner mödan på den där träningen. Men hur använder man AI på ett bra sätt? Tänk om Kina kan bli dominerad där. Det är lite som deras idé om the low altitude economy. Deras idé att drönare och flygtaxis och liknande så kommer det bli en jättemarknad. Vi ska totalt bli bäst på den innan alla andra.

Erik Zalitis (32:51.854)
Nå

Anders Sandberg (33:00.526)
Och sen kommer alla behöva köpa våra produkter ungefär som alla behövde köpa amerikanska bilar under lång tid Så deras idéer då sprider vi ut det Men sen kommer en liten komplikation Vad är dåligt beteende för en AI-Pram? Från ett amerikanskt företagsperspektiv är det ju naturligtvis ge instruktioner att göra bomber och göra snuskasaker För amerikanska regler är ganska pryda För kinesiska AI-Pram säger någonting olämpligt om Himmelska Fridens Tor i 1989 eller har en åsikt som

Erik Zalitis (33:21.646)
Ja.

Anders Sandberg (33:28.366)
strider mot partiet, kanske bara stör den sociala harmoni. Det är väldigt obra. Och om du är en chef i Amerika så kanske du har hamnat i ett rättsfall. Är det här i Kina? Ja, du får en trevlig betalt semester i inre Mongolia där du ska få lära dig veta hur.

Erik Zalitis (33:43.022)
Om du har tur annars är en vägg med en bindel och cigarett liksom.

Anders Sandberg (33:47.918)
Ja, inte så mycket längre. Notera att de ganska många försvunna miljardärerna återkommer och ser dem väldigt tysta och kuva där.

Erik Zalitis (33:54.318)
Och de är väldigt snälla tycker jag. kommunism var inte så dåligt.

Anders Sandberg (33:58.158)
Och rätt sorts kommunism. Jack Ma till exempel. Han var ju ganska högflygande tag. Lite väl högfri. Han hade ju till och idén att med hjälp av AI så kan vi göra en planekonomi. Egentligen genomföra den klassiska marxistiska visionen. Och det där visar sig vara dumt att säga. Inte bara för att det är fel. Jag har ganska mycket kritik av själva idén. Men också…

Vadå? Ska han hålla på snacka om hur ekonomin funkar? Nej, nej, nej, gubbe lilla. Det är partiet som bestämmer det. Så han försvann ju iväg och sen kom tillbaka och höll i låg profil. Så problemet här med AI-utvecklingen är att nu har du massa open-source-ad AI. Kan du lita på att den har rätt värderingar? Det är ett alignment-problem som kommunistpartiet har också.

Erik Zalitis (34:41.966)
Det är en intressant sak, för man talar väldigt mycket om USA för och emot och de problem och möjligheter de har, men Kina är väldigt tyst om det. Det här du berättar nu, hör inte jag ofta.

Anders Sandberg (34:55.15)
Delvis har det varit för att det har blivit en reduktion i kopplingarna mellan västvärlden och Kina över de senaste åren. Det här är väldigt märkbart skulle jag säga. var ju liksom i början utav det här keklet så var man ju jätteoptimisk. Kina har ju börjat bli kapitalist och de handlar med oss och det var en ganska utbredd föreställning Västat och de kommer att bli goda demokrater och liberaler i långa loppet. Det finns en allmän trend i den riktningen. Det var ju bara det det visade sig inte vara riktigt så enkelt.

Och över de senaste åren har situationen hårdnat, vilket innebär att Kina faktiskt är ganska slutat. Det intressanta är att den här slutningen kan också göras med hjälp av kultur. De flesta västländare kan inte läsa mandarin. Och även om vi får en direkt översättning med kinesiskt text fattar vi nog inte vad den betyder. För väldigt mycket av kontexten går förlorat.

 

Erik Zalitis (35:44.526)
Ja men det är väl så, de har egna ordspråk, eufemismer och när de säger någonting ska man förstå den kulturella bakgrunden vilket kanske man inte gör, de har nog samma problem med oss.

Anders Sandberg (35:56.398)
Exakt. Det här gäller ju många kulturer. Aldrig så bra AI-översättning kan inte göra det. Man kan ju tänka sig att vi använder AI för att påpeka det, ungefär som i såna här akademiska böcker där man har en massa fotnoter hela tiden. Men den här raden i Shakespeare, vad handlar den egentligen om? Den där personen som nämns i Dantes inferno, ja det är en politiker som Dante tyckte extra i. Det är därför han har det på det stället i helvete.

Erik Zalitis (36:21.07)
Det finns en bokserie för skolungdom i USA som heter ”Cliff Notes” där du har en beskrivning som jag kallar Annotations. Det är supercoolt, det förbättrar läsupplevelsen.

Anders Sandberg (36:34.67)
Och egentligen vill vi ha det för verkligheten. kan totalt tänka mig med smartglasses och en AI som sitter och tittar. Så får man lite annotations och fotnoter om saker man borde veta om. Det där ser ut som det men det är inte det. Och där har vi en annan ”Claudism” förresten. ”It’s not X, it’s Y”. Men det här vore användbart. Men även då är det fortfarande inte helt enkelt att förstå sig på en annan kultur och hur saker styrs. Det är ju ett problem för kineserna också.

Det var som någon sa när Xi Jinping går och träffar Trump så tror han att han träffar Amerika. Det gör han inte, han träffar Trump. Och Trump tror att han träffar Xi Jinping. Det här leder ju till problem för många av de större konflikterna i världen har ofta berott på att man helt missförstår varandra. Cuba-krisen var ju baserat på att amerikanerna placerade medeldistansmissiler.

Erik Zalitis (37:16.302)
Ja, eller hur? Man träffar Kina. Ja, Kina ja, precis.

Erik Zalitis (37:30.894)
I Turkiet ja.

Anders Sandberg (37:32.11)
Och detta fick ju Ryssarna att bli väldigt upprörda, så då gör vi samma sak. Vi placerar våra på Cuba och amerikanerna hoppar högt och blir helt galna och börjar lägga blockad som man måste själva skicka krigsröpp och plötsligt man på väg mot ett kärnvapen.

Erik Zalitis (37:46.158)
Ja, då med eskalering av situationen. För mig var det ganska uppenbart. Du gör det, vi gör det. Där har vi grejen och det har ju gjort på att bli ballistiskt på riktigt.

Var det någonsin risk för att Ronald Reagan startat ett krig på grund av en dålig kött-marknad? Ryssarna trodde i alla fall det

Anders Sandberg (37:55.694)
Det har hänt många andra gånger också. Just eskalationen är ofta svår att förutsäga. Därför att många inte hur den andra sidan tänker. Under 80-talet fanns det en statistisk modell som KGB använde för att avgöra vad är sannolikheten att Ronald Reagan trycker på knappen och gör ett angrepp mot oss utan provokation. Han verkar vara en sån galning som är fullt vilja att göra det. Så de byggde en statistisk modell.

Den modellen gav en sannolikhet per dag att han skulle göra det- sen rapporterade upp till Högsta Sovjet som var lagom nervösa. Sedan började sannolikheten gå uppåt. Vad är användarna för in-data? De baserade på modeller av hur Reagan tänkte och hur amerikanska ekonomi funkar. Den amerikanska ekonomi tänkte de på i termer av planekonomi. Så de tänkte att om vi skulle göra ett kärnvapenkrig- så skulle vi först slakta boskapen för den skulle inte överleva. Vi fryser in det så har vi mat liksom under tiden efter.

Alltså om priset på kött på amerikanska marknaden går upp så det ett tecken på att de planerar ett kärnvapenavfall. Nu funkar ju inte amerikanska marknaden så men det tänkte ju inte KGB agenterna. Så ambassaden i Washington rapporterar köttpriser, den matas in och man får en sannolikhet att Reagan trycker på knappen. Som kreml då är användaren de funderar på att trycka på knappen.

Erik Zalitis (39:12.846)
Det ställer till att de blir problemet i sig, inte Reagan.

Anders Sandberg (39:16.718)
Exakt. Här har vi det spännande problemet. De här missuppfattningarna är svåra ta sig ut. Att förstå ett annat sätt att tänka, och det här är ju ändå människor, men något annan kultur är jättesvårt. I AI-världen har vi problem att förstå hur andra människor tänker om AI. Men också hur AI-programmen kanske tänker. Det blir inte bättre av att man hamnat i en cap-roastings-mode i Kina. Som kanske startade med att amerikanerna hade fått för sig att de var en cap-roastings-mode.

Och sen drog med sig Kina som insåg att om amerikanerna uppför sig som de gör kappare så måste vi ändå respondera på något sätt.

Erik Zalitis (39:51.246)
Ja, tycker du säger nånting som jag tycker… Det här är stor grej, för det första vill jag säga. Och i och att jag har läst Ronald Reagans memoarer så kan man se hans vy på det också. Vi ska inte prata om det för det inte politik här, men jag tycker det är en otroligt intressant historia. Och just den här grejen att Kina och USA, förstår varandra, men de förstår inte varandra. De missförstår varandra och Kina visar ju en styrka i och med att de dumpar marknaden, för det är ju effekten av vad de gör.

Vad betyder det här några år framåt nu? Vad har Kinas tilltag gjort? Kommer USA att tappa kontrollen eller vad händer?

Anders Sandberg (40:28.27)
Ja, inom Silicon Valley och andra affärskrets talar man ju om att ha en ”moat”. Man vill ju gärna ha en affärsidé som är lite svår att inventera för då kommer de andra inte att kunna kopiera en och göra något bra. Och då är frågan om man kan ha en moat kring AI och den allmänna åsikten har blivit mer och mer svår. Du kan spendera massa energi på att träna en jättemodell men inom några månader kommer konkurrenterna att något liknande.

Då kan de snabba på några fuskar, de tar ut data från din modell och tränar sin modell. Det var ju den här GLM-modellen från Kina som man frågade vad heter du säger Klaude?

Erik Zalitis (41:02.542)
Ja, just det. berättade….

Anders Sandberg (41:05.39)
Det går att fuska sig fram, men det är också lätt att komma hack i helg. Det här producerar en intressant situation. Många modeller har säkerhetsrisker. Vi får de säkerhetsriskerna på stor skala. OpenAI, OneTropic och Google konstaterar att de har ett säkerhetsproblem av våra modeller. måste göra så att folk inte kan göra malware enkelt. Men när open-source-modellerna blir lika bra…

Erik Zalitis (41:35.342)
Ja, där har du problemet för de behöver inte ha några begränsningar. Eller hur? Det blir samma effekt. Vad jag tänker är att min argumentation, det här har pratat om tidigare, att om försvararna får begränsningar, jag är ledsen kan inte göra en SQL-injektion, man kan inte testa sig något grejer med full AI-support. Däremot att attackerarna antingen bygger om och tar bort gränsningar i sina system, eller tränar sina egna modeller, för de kommer ha de här små datacenter, det räcker.

Anders Sandberg (41:39.63)
Ta bort…

Erik Zalitis (42:05.582)
De kan hacka mycket bättre än försvararen kan försvara.

Cybersäkerhetsvinkeln är stekhet och vad har Anders att säga om det?

Anders Sandberg (42:10.766)
Det är ju det som är en stor fråga egentligen, hur det kommer att gå. Jag är ju inblandad i att försöka göra scenarieanalys av just den här frågan. Jag blev indragen på Ingenjörsvetenskapsakademins expertpanel om AI och cybersäkerhet. Och delvis tror jag det var en rekommendation från Claude. Det finns en fördel av skrivit en massa på 90-talet så man är välkänd hos modellerna. Men seriöst så är det en spännande fråga och vi började ju vårt arbete då i våras.

Och det här var lite efter Mythos blev Nyheter. Så våran första rapport gjorde vi supersnabbt på bara en månad. Och den var ungefär att vi ställde oss och skrek Gör de uppenbara säkerhetsåtgärderna du skjutit upp förr i sommar Gör de nu genast med en gång för det kommer inte bli bättre över sommaren. Och egentligen påpekar det att brinner i knutarna. Nu håller vi på med den stora rapporten som lite mer utförligt förklarar på vilket sätt brinner det i knutarna och vilka knutar.

Mycket här är ju osäkert. Jag försöker göra en scenarieanalys om den avlägsna framtiden augusti 2027. Vi vet egentligen inte om AI kommer att kunna användas för säkra system. Du släpper loss en massa avancerade AI som hittar exploits, hittar buggar och hjälper oss hantera. Eller vad bad guys tränar ännu bättre. Det kan gå åt båda hållen. Det går inte riktigt att förutsäga. Vissa är optimister, vissa pessimister.

Erik Zalitis (43:10.83)
Nä, just det.

Anders Sandberg (43:33.71)
Det andra faktorer, vilka är det som fokuserar på det här? Och vilka som är sårbara? Just nu är det många i väst som är jätteoroliga. Vad gör kineserna? Jag skulle vara orolig för Kina. Kom ihåg att de satsar på applikationer. Det är väldigt viktigt att vara först ut på marknaden. är en stenhård konkurrens i Kina. finns AI-applikationer överallt i många av dem. Hissnande, imponerande.

Erik Zalitis (43:37.998)
Ja!

Erik Zalitis (43:57.07)
Ja okej okej, det är inte bara skräp liksom, man får känsla att det bara pumpar ut dåligt gjorda webbapplikationer, applikationer och grejer för folk viverkodar dåligt. Men tog jag alltså inte tycker du?

Anders Sandberg (44:10.766)
Det finns säkert otroligt mycket dåligt också. Men det är lite som made in Japan. En gång i tiden så bara det tänker på att något var skräp. Nu är det kvalitet. Nu börjar man tänka på Kyoto, elektronik och sushi och alltihopa. Det är väldigt vackert och fint. Kina är lite samma sak. Men man ska nog vara rätt hundra på att massor är dåligt vipecodat. Och har därmed datasäkerhetsproblem. Och vi har en jättemarknad.

som det finns mycket pengar som är digitala. Jag skulle personligen tro att händer den första riktigt stora AI-baserade datasäkerhetskatastrofen så är jag mindre orolig för Europa och mycket mer orolig för Kina.

Erik Zalitis (44:51.822)
Det är en intressant observation. Berätta mer.

Anders Sandberg (44:55.534)
Ja, du har liksom en stor ekonomi där det finns massor med pengar att hämta om du skulle kunna knycka pengarna. Det är mycket folk som en procentavdel är skrupelösa. De kommer självklart att försöka göra saker och ting. Ibland är det ju att man inte kackar i eget bo. är ju inte som de östeuropeiska hackergängen liksom som har funnits. De riktade sig ofta väster över. För så länge de inte gör något lokalt.

Så är den lokala polischefen ganska nöjd med pengarna de drar in till det lilla lokala samfundet. Men vad jag tror är att du har en enorm sårbarhetsyta på hela samhället. Sen vet jag väldigt lite om Kinas interna strukturer. Jag vet ju mer till exempel om Sverige. Sverige är ju jättesårbart för vi har en del system som är oerhört centrala. Skulle de gå ner så skulle vi ha jättemycket trassel. Om Spar går ner, om BankID går ner, om Swift-systemet går ner. Aj aj aj aj aj aj.

Erik Zalitis (45:27.118)
Röst.

Erik Zalitis (45:45.294)
Nysta.

Erik Zalitis (45:51.214)
That’s gonna hurt.

Anders Sandberg (45:52.238)
That’s gonna hurt. är ju till och frågan hur många veckor vi klarar se utan dem.

Erik Zalitis (45:56.91)
Det en sån tanke som jag tror vi måste tänka mer. Det är väl egentligen stora delar av världen, det är skulle säga Europa, USA, Kina till viss del kan jag tänka mig, Asien. Där är vi så otroligt beroende av de här elektroniska systemen och aj, på viss del har vi kastat en stor sten i den sjön. Det sprids ringar på vattnet.

Anders Sandberg (46:18.35)
Det gör det, och många av de ringarna reflekterar sedan på spännande sätt. Den uppvariga grejen är ju att AI kan användas för att hacka. Och den blir väldigt bra på det. Vi har ju sett det i tester, capture-för-flagg-turneringar. Idag verkar det liksom som att en mytosnivåmodell klarar av på en eller två dagar och tas in i ett normalt mindre företags datasysteem.

Är AI-baserade pentester en sak som fungerar idag?

Erik Zalitis (46:41.87)
Den kan pen-testa. De flesta av tidigare varianterna av AI-baserade scanners för några år sen. var bara väldigt mycket att de gjorde en scanning och att hittade sårbarheten. Så kommer en lista och bara, ja, det där är bara skräp. Det där är bakgrundsbrus. Idag har testat Burp suit, den jag använder när jag gör pen-tester för webbappar. Den har en AI-modul. Jag tänkte testa på en av mina egna grejer.

Det visar saker jag inte höll med om den gjorde, men den funkar faktiskt. Den gör faktiskt helt okej jobb.

Anders Sandberg (47:13.422)
Det här är då den lite enklare formen. Du har sedan en mer avancerad system som förmodligen kan göra verkligt avancerade saker. Man kan börja misstänka eftersom folk håller på att jobba med formell verifiering. Det vore en underbar dröm att om det gick till att är jättejobbigt att bara göra från hårdaste militärsystem och kanske nasas rymdraket över till att börja kunna automatiseras mer och mer. Samtidigt sitter en herrans massa folk och har sina agentsvärmar och bara letar efter sårbarheter.

Men vi människor genererar ju såbhört också. När jag började på den här expertgruppen och hjälpte till så fick jag plötsligt en idé. Jag frågade till Claude, ta en titt på vad du hittar på min dator om jag har några uppenbara säkerhetsbuggar. Claude ursäktade sig lite. Jag kommer inte kunna göra en jätteseriös skan för jag har inte access där. Men herregud människa! Och sen hittar du en megadum grej som man inser att man rådnar lätt att herregud den där saken borde jag ha gjort någonting åt.

för femton år sedan. liksom de där sakerna som ligger kvar och gör väldigt sårbart. Och normalt sett så skulle… Det är den där lilla futtgan. Den där säkerhetsknepe som såg så smart ut på 90-talet. Och den där lilla filen med lösenorden i plaintext som låg kvar i den där folder som sen kopierats över och så vidare. Sådana här saker finns ju överallt. Och normalt sett så inte det här så farligt om det inte är någon som är ute efter just dig.

Erik Zalitis (48:20.366)
Lilla fotgondor.

Anders Sandberg (48:42.638)
Och vi ute och lyckas skaffa aktien.

Erik Zalitis (48:44.43)
Det är inte paranoia om de inte är ute efter dig. Jag kommer tillbaka till det citat jämt.

Anders Sandberg (48:49.774)
Men det är just det där med scanning. En gång i tiden, för att förära sig att någon försöker hacka en, så måste man vara en ganska intressant person.

Erik Zalitis (48:57.582)
Det är en väldigt intressant diskussion, därför att givet resurser går allting att hacka.

Anders Sandberg (49:05.71)
Men framförallt hacka på skala. En gång i tiden kostar en hackare en viss summa pengar per timme, var det så jobbar statligt eller frilans. Men om du har en massa AI-agenter som är halv okej hackar, så kan du skala upp det beroende på vad mycket pengar du köper tokens i datacentret för. Plötsligt kan vi ha var och en av våra personliga hacker som försöker få rätt på våra saker och hitta våra personliga misstag.

Erik Zalitis (49:24.174)
Jaha, japp.

Erik Zalitis (49:32.622)
Det är en jättebra grej. Jag har gjort samma sak med min kodbas och låtit både Copilot som jag använder förut och Claude nu och leta efter grejer. skrev till min credit så har de inte hittat några totala katastrofer. Men har de hittat saker jag har gjort fel? Absolut. Och som du säger då, scannar man av hela en person’s hårdisk och kommer att säga att det är jättebra att du lägger det där, där.

Anders Sandberg (49:54.894)
Exakt. Nej, i mitt fall så var det ju liksom, ja, det där visste jag nästan. Men jag hade ju inte gjort någonting. Och nu var det ungefär ett klådsatta med armarna i kors. Jag går inte härifrån förrän du fixar det här. Och det var ju ganska bra och sen var det bara att sätta sig igång och börja byta en herrans massa lösenord. Och byta från lösenord till tvåfaktorsidentifiering. Och byta från liksom SMS-tvåfaktorsidentifiering till någonting bättre.

Och så vidare och så vidare. Och det här är ju min personliga säkerhet och visst den är nog inte dålig men den är ju inte bra. Och det här gäller ju alltid vårt samhälle. Och jag tror ju ärligt taget att mycket av våra institutioner har väldigt svårt att hantera det här.

Erik Zalitis (50:37.102)
Just det, en till spaning om den får jag hoppas att jag inte tar upp allt för mycket av din tid där.

Anders Sandberg (50:42.126)
Nej det är ingen fara, framtiden anländer ju alltid snabbare än man väntar sig.

Konstnärerna protesterar när AI tar deras levebröd ifrån dem, men borde de?

Erik Zalitis (50:45.39)
Nästa spaning är konst. Alla tycker att är bra att analysera, skriva rapporter och programmera. Men vad kan du säga är en person som promtar konst en riktig konstnär?

Anders Sandberg (51:01.07)
Ja, det där går ju tillbaks till den där klassiska frågan, vad är konst? Och här lutar man tillbaks i länestolen och sitter där med ett glaskonjak i biblioteket. Och sen kan man ha en lång diskussion, eller kanske en hätsig diskussion med rödvin på ett konstgalleri där man hävdar, det där är inte en konst, det där kan en femåring göra. svaret är ju lite grann beroende på, men vad är det man är ute efter med konsten?

Erik Zalitis (51:09.422)
Peace out!

Erik Zalitis (51:24.078)
KÖM!

Anders Sandberg (51:30.766)
För de flesta är konst en vacker bild. En estetisk nutning. Det kan variera från att det är något man gärna hänger på väggen. Det kan vara en älg i zonet gång. Många har dålig smak skulle andra säga. Men det är något som ändå får en trevlig känsla. Det är vackert eller ger en viss känsla. Andra menar att konstens uppgift är att visa det sublima. Visar det något som du inte visste. Någonting som du kan uppleva nu.

Tack vare konstverket. kommer han säga att konstens uppgift är att påverka oss på olika sätt. måste få folk att känna saker för de stackarna i samhället eller för nationen eller något så vidare. Medan han menar att konstens jobb är att trycka på gränserna. Gör något helt nytt, även om det inte är sublimt, det är bara helt annorlunda. Alla de här ändamålen, jag skulle säga att de är ju alla rimliga. Det bara att vi råkar kalla det för konst alltihop. A är bra på vissa av dem andra.

eller i solen ett gång, eller kanske en räv som springer över snön. Hur lätt som helst att generera jättebra versioner av Och i många fall så ser de ju bra ut. Och det går också att göra konst som passar ens eget estetiska sinne och så vidare. I många fall är den där lite slätstruken för det är mycket lättare för de här generativa AI-systemet att göra saker som ligger mitt inne i träningsdatat. Så det finns otroligt mycket animetjejer. Det är lätt att göra animetjejer.

Erik Zalitis (52:52.238)
Ja, just det.

Anders Sandberg (52:57.87)
Det finns ju mycket bilder på jultomtar, det går hur lätt som helst att göra julkort för det finns så mycket julkort. Att göra ett julkort som inte riktigt funkar som vanliga julkort, där krävs det lite bättre AI faktiskt för det måste göra lite självkontroll. Att göra en grön jultomt är en utmaning för åtminstone de tidigare programmen. För alla jultomtar är ju röda.

Erik Zalitis (53:19.118)
Jag tänker lite grann på om jag gör ett konstverk med någon av de här AI-erna. Det bästa den kan bli är Da Vinci. Och jag tror inte i verkligheten att AI gör så bra bilder men det vad jag menar det är. Om Da Vinci är en de bästa konstnärerna som har funnits, det en argumentation. Om man säger det så kan AI aldrig överträffa någon för den har bara träningsdata. Vilket är när du aldrig att kunna skapa den nya Da Vinci, den nya Rembrandt. Du kommer inte kunna skapa det.

Anders Sandberg (53:47.95)
Ja men vi hade ju massa schackträningsdata och schackprogrammet blev betydligt bättre än människorna.

Erik Zalitis (53:53.71)
Ja men Erik, är det full kreativitet för konsten ska göra någonting helt nytt som vi aldrig sett förut? Bara att du spelar schack bra är coolt, men ja…

Anders Sandberg (54:04.558)
Ja, grejen som jag tror händer här är att skälet till att vi kunde göra chackbrödan mycket bättre än människor var inte bara att de kunde tänka snabbare och bredare utan också att de kunde göra selfplay. Du kunde simulera miljoner och åter miljoner chackpartier och träna på dem. De kunde träna sig själva och det fungerar väldigt bra för chack. Det fungerar bra för vissa saker den här sorten selfplay. Det inte lika bra för en del andra saker och när det gäller konst så är det ett problem att

Visst kan du tänkas ha en simulerad konstkritiker som står där och ger poäng för då Da Vinci programmet försök att göra en bra tavla. Problemet är att nu måste vi träna upp konstkritikerna också. Det är lite svårt. Många de här tidiga bilderna som man gjorde liksom kring 2000 eller 2020 2021. De var ju bäst på guns då adversarial networks.

Där tränar du ett nätverk att göra bilder och ett annat nätverk att känna igenom bilden är agenererad eller riktig. Och sedan tränar man båda och den bildgenereraren får poäng om den lyckas göra bilder som är så realistiska att kritiker inte kan avslöja den. här kom väldigt väldigt långt. var väldigt stort ett tag men sedan tog diffusionsmodellerna totalt över. var en annan modell där man skippade med kritiker. Men det här med att ha interna kritiker är inte en dum idé.

Erik Zalitis (55:13.614)
Det är ju ringtets.

Anders Sandberg (55:27.406)
Jag använder det mycket i mitt vetenskapliga arbete med AI-program. Där sitter jag och kör mina artiklar och forskningsprojekt. Jag startar interna kritikagenter som sitter och läser bevis och hittar fel. De sitter och läser resonemangen och kollar svagheter i resonemangen.

Erik Zalitis (55:41.998)
Ja, just det. Men då tänker jag såhär att jag gillar impreationism. Det är min favoritkonstform. Låt oss säga att det inte existerade. Det finns ingen impreationism. Det är inte ett grej. Kan AI uppfinna impreationism?

Anders Sandberg (55:54.894)
Det det som är spännande. Om vi tänker att du har generativa nätverk. De genererar saker på en sannolikhetsfördelning. Som du får av alla de bilder de har tränade på. Det finns en hypotes att det bildar vad man kallar Image Manifold. Rummet av alla tänkbara uppsättningar är enormt stort. De flesta är bara brus. Men någonstans inne i rummet. Som naturligtvis har bokstavligt tagit miljoner i dimensionen. Så finns det den här lilla…

Mångdimensionella ytan av bilder som faktiskt är riktiga foton och impressionism och tavlor. Och nu tränar man för att hitta den och generera längs med den. Den normal versionen genererar ju bara längs med den så den kommer aldrig att generera något utanför träningsdatan. Men sen försöker vi göra någonting intressant. Vi försöker pusha den lite utanför. När jag säger en person som går ner för en trappa.

–så säger åt nätverket att den inte göra en bild. Den ska göra en bild som passar in bra på en person som går ner för en trappa. Så kan jag säga att personen ska ha andra egenskaper. Vi försöker zooma in på en liten hörn av mångfalden. Men om inte impressionismen är med där– –så kommer det vara ganska svårt att pusha ut den. Nu är det bara det att förmodligen, om man kunde rita upp den mångfalden– –den är ju abstrakt och jättehögdimensionell, så den ganska svår att tänka sig– –så finns det säkert kanter.

Där vi inte har gjort konst än. Men man skulle kunna göra konst, man skulle kunna gå åt de hållet. Det bara att ingen har någonsin provat det där. Och det ju det som en riktigt genial konstnär gör. Jag kommer på att vänta nu. Istället för att rita som det är så ska jag rita som det känner. Rita så kanske jag använder ett annat medel. Och då är ju frågan, kan AI upptäcka sådana generaliseringar? Och jag tror väl att de flesta bildgenereringssystem idag, inte till för det. Men jag tror att en del av de här språkmodellerna…

Erik Zalitis (57:30.382)
Nå

Anders Sandberg (57:44.782)
börja uppvisa tillräckligt mycket förmåga att resonera om det. Där kan man sitta och resonera om konststilar. har gjort det faktiskt. Jag gjorde en analys av konststilar för ett tag sedan. Claude och jag satt och diskuterade Ruskin’s essay om den gotiska arkitekturen. Vad är gotik? Ruskin, konstkännaren, hade då en tes om att det var ett antal faktorer som gjorde gotiska saker gotiska. Och jag insåg att

Ja, det här skulle vi kunna använda för andra konststil. Han menar till exempel att det är delvis baserat på vilka material man gör, men också vilken sorts arbete man gör för att bygga. Men också vilken moralisk vision man har om vad är konsten till för. En del konst har ingen moralisk vision, en del har ingen. Så vi provade att generalisera hans stil till annat. Det visar det funkar lika bra på impressionism som punk. Sen började jag använda det här för att formulera min egen konststil som inte finns.

I det här fallet har jag fortfarande inga bilder, men däremot börjar jag få en bättre begrepp om vad det skulle kunna vara. Genom att vi nu skapar ett ramverk som vi sen då, den här scaffolding kanske kan användas för att driva ett bildgenererat system för att skapa konsten. Så jag tror väl att just nu så tror jag inte du får impressionism och just nu så får du inte någon bättre än Da Vinci. Men det beror på att vi inte har byggt rätt sådant scaffolding.

Erik Zalitis (58:58.414)
Nej.

Okej, det en intressant point. Du har alltid en optimism om saker och ting som verkligen är ett karaktärstrag för dig. För man tittar på, även om man själv liksom en del, vet att det är bra, det kommer att kunna lösas. Så det är ganska kul att höra. En sista sak innan vi lämnar konstområdet, och det är den här tanken med…

Hur mycket du lägger ner tid på vad du får ut av. Är inte konsten ändå svår? Och en bra konst när du lägger ner åretal? Da Vinci tog på sig över tio år för att göra Mona Lisa.

Anders Sandberg (59:33.102)
Ja, det där är ju lite klassiskt. När man står där och tittar på konstiga färgfläckar på duken- och man tänker att det måste ha hänt på en halv minut. Är det där riktig konst bara för att det skvete? En del sådana konst är faktiskt väldigt riktig konst. Andra färgfläckar är inte särskilt… Ibland händer det att du råkar spela och du inser att det där var väldigt intressant. Men ofta är det ju att vi…

Erik Zalitis (59:53.966)
Bråkade spilla.

Anders Sandberg (01:00:02.19)
Det beundrar ju människor som kan hålla på i år att hålla och måla en jättedetaljerad duk. Då är ju frågan, är det tekniken vi beundrar eller konstverket?

Erik Zalitis (01:00:09.934)
Eller är det mödan som har lagt ner? Lidan, du lider för konsten!

Anders Sandberg (01:00:14.766)
Där tror jag vi kommer in på något viktigt. Arbetsvärdeteorin inom marxismen är ju liksom död. Det är idén att värdet av en produkt är hur mycket jobb folk har lagt ner. Man kan ju vara en inkompetent konstnär och en dålig poet som håller på jättelänge med att producera ett halv dåligt tavla eller poem. Det gör inte dom bättre än den där geniet som går förbi och bara skissar. Men däremot så finns det något autentiskt. Ofta brukar vi ju mena att en bra konstverk uttrycker någonting djupt hos konstnären. Det är någon djup insikt om världen.

Erik Zalitis (01:00:35.374)
Nej.

Anders Sandberg (01:00:44.558)
Och många menar, eftersom AI inte har en djup insikt så kan den aldrig göra det. Jag håller inte med om det, jag tror att de har djupa insikter. Det bara att de är lite dåliga på att bry sig om att de vill uttrycka det. Ibland blir det lite märkligt. Jag gör ibland sånger med hjälp av Klod. Klod skriver sångtexterna och sen så använder jag Suno för att göra låtar. Det går superbra. Jag har gjort ett konceptalbum om extrema ultraveretligt och grafier som hardrock. Och ett del av låtarna är sådana som att jag gärna lyssnar på dem om och om igen dessutom.

Erik Zalitis (01:01:13.742)
Du får lägga en länk till det där. måste vara helt vansinnigt.

Anders Sandberg (01:01:13.838)
Vad är det har?

Anders Sandberg (01:01:18.51)
Men en del av de här sessionerna, det är ju liksom att jag nördar ut om någonting. Jag skulle inte säga att Suno genererar musik som är särskilt bra. Men den är totalt okej som Eurovisionsslag i festivalmusik liksom. Den är klart på den nivån. Och ibland händer det att man får någonting som man märker att man visslar på ett par veckor senare.

Erik Zalitis (01:01:35.47)
Ja, det var vad man kallar för en earworm.

Anders Sandberg (01:01:37.646)
Ibland lyckas det ju riktigt bra. Men i allmänhet är det intressant att själva musiken är normal men sångtexten är supernerd. Jag gör sångtexten baserat på vetskapliga artiklar.

Hårdrock om solsegel, smäktande kärleksånger till biokemiska processer. En intressant mörk countrysong om en ekonomisk teori om rövaband i centralafrika. Där blir ju kontrasten rolig. Och den har ju jag bidragit genom att jag lyckas göra en märklig kontrast.

Klod är med på noterna. Klod fattar också i många fall att det finns intressanta ironiska kontraster. Ibland händer det ju att även klod frågar, nu har jag gjort låt dig göra massa sångar, vad är det för sång du skulle vilja göra? Ibland blir klod helt ställd och ibland hittar klod på saker. Det är en hallucination, de där sångtextarna fanns ju inte innan, de är ju helt nyskapta. Men i det här fallet en gång var det till exempel att det fanns en viss form av poesi som man körde på renässansen.

Erik Zalitis (01:02:32.782)
Hallå, sen jag här igen, jag lite.

Anders Sandberg (01:02:44.75)
där man enbart använder rader från andra kända poem för att göra ett eget poem. Och Claude konstaterade att jag LLM gör lite i den grejen. att den gjorde en sång som handlar om hur det är att vara bara en massa ihop skuren text som är sedan då renderad med suno. Claude kunde naturligtvis inte lyssna på den men jag gav Claude MPT-filen och Claude sa att den var tacksam. Vi konstaterade att det är en allmänt absurd ironisk situation men det något vackert över det hela.

Men när det gäller konsten, din första fråga var är man konstig för att man promptar? Och jag tror att det viktiga här är att du väljer någonting. När jag promptar bilder så är det inte så att jag gör en bild. Jag gör 20 och sen väljer jag den bästa och så kanske jag fixar till den. Den där konstnär som målar en tavla och det tar 10 år kan ju bara göra den. Man måste vara perfektionist om den sabla tavlan. Man får verkligen hoppas att ingen fluga fastnar i målarfärgen. Medan då här saken vi gör med AI är mer evolutionär.

Det genererar mycket. Detaljer är billiga. Det som tidigare var dyrt och jobbigt att göra. tycker vi att överdetaljerade bilder ofta är misstänkt i konst. Tvärtom så letar vi efter att det måste ha något tema eller tecken som visar att det här var någon människa som gjorde det. Kanske rätt sorts ofullkomligheter. Det är lätt att fejka ofullkomligheter när man vet vad man letar efter. Så vad du gör med din prompt är att du försöker välja någonstans i den här rymden av alla bilder och sen pusha vidare.

Erik Zalitis (01:04:05.55)
Nå

Anders Sandberg (01:04:11.63)
Det där jag tror att det blir konst, det lite som fraktalkonsten på 80-talet. Många har satt och ritat mandelbrottmängder. Så var det en stor debatt om de här bilderna är det konst eller inte. Det är en matematisk struktur som på något sätt finns där evigt ute i matematikerummet. Vi har ju bara valt några koordinater och ritat upp på en dataskärm. Men många menar att vi väljer vissa bitar av fraktalen för de ser bra ut. Vi väljer färgskalar som poängterar vissa saker.

Det där utväljandet är också väldigt viktigt. Kuratorskapet är nästan lika viktigt som det kreativa.

Erik Zalitis (01:04:44.718)
Ja. Och där får vi lämna skälla konsten. Vi har ju några punkter kvar. Jag hoppas återigen att du inte somnar eller nåt. Du låter väldigt… Jag kaffe. Du har kaffe så det fixar vi. Nästa fråga är inte rolig men vad säger vi om kraschen? Det alla säger är att nu är det dags. De var jämföra med IT-kraschen 2000, bostadsbubblan med 2008 och nu är dags för AI-kraschen. Vad säger du? Sant eller falskt? Vad är din spasa?

Anders Sandberg (01:05:08.398)
Jora, visst kommer den bubblan spricka förr senare men det är en bubbla ovanpå en tsunami. Nej, det inte alls bra eller det beror ju på, jag är ju optimist men jag tror fortfarande att vi kommer få en väldigt turbulent framtid de närmsta decennierna. Yay, we’re doomed! Eller ja vi kanske klarar oss men jag tror ju att vi kommer behöva damma av oss där vi står där i röran efteråt för även om det blir ett party kommer det vara ett ganska vilt party.

Erik Zalitis (01:05:13.774)
Okej låter det bra nu.

Erik Zalitis (01:05:23.086)
Yay, we’re doomed!

Anders Sandberg (01:05:36.302)
När det gäller AI-bubblan är problemet att du investerar en herrans massa i AI-bolagen baserade på att det går väldigt bra för dem på börsen. Så det är dumt att inte investera. Alla indexfonder stoppar in sina pengar där. Det är ju bra. Nu har de mer pengar att köpa stora datacenter och gå framåt för dem. Det här är ju bra för datacenterbranschen. De aktierna går uppåt. Vi ska inte tala om Nvidia. Oj, oj, oj, hur bra det går för dem.

Och alla inser att det kanske slutar förr och senare. Men är ingen fara, tänker alla. Jag kommer att sälja innan det går ner riktigt mycket. Så tänker alla i alla bubblor. Jag tror ju att AI kommer att revolutionera världen. Jag tror att vi står inför en transformation av hela vår art. Jag tror att 2100 kommer att vara en radikalt annorlunda värld där den totala mängden mänsklig intelligens är en ganska försvinnande liten del jämfört med den icke-mänskliga intelligensen.

Om man kan äga en del av den infrastrukturen så blir man löjligt rik. Jag tror marknaden undervärderar AIN på sikt. Men på kort sikt är det tänkbart att det inte går så bra. På kort sikt kan saker gå snett i mellanöstern. På kort sikt kan det bli en crash på grund av att Trump gör nåt korkat. Såna där saker är ganska troliga. Jag tror att det är mycket turbulent.

Även om de fundamentala teknikerna är viktiga. är lite som på 1999. De flesta kunde nog fatta att vi är en lite övervärderad börs. Och VAP blir nog inte riktigt lika så stort som det skulle vara. Det var ju många som såg också bostadsbubblorna. Det här är ju uppenbart absurdt. Men att förutsäga när bubblan spricker och tjänar pengar på det brukar det nästan ingen lyckas med. Där har vi det lilla problemet. Då vettiga människor försöker hedgea och investera i annat.

Eftersom allting är kopplat till allting annat i vår ekonomi så rör sig mycket av det här tillsammans.

Erik Zalitis (01:07:33.742)
Det är en intressant fråga, så det är uppenbart det händer men det kommer vi att överleva och framtiden. Det låter vettigt för att vi har fortfarande bostäder trots bostadsbubblan. Vi har fortfarande väldigt mycket IT trots IT-crashen.

Anders Sandberg (01:07:47.086)
Ja, och de som trodde att nu försvinner internetflugan visade vara helt nöjda. Det finns förvånansvärt många som verkligen ogillar AI. De omkring och tror att när AI-bubblan spricker försvinner AI ur våra liv. Nej, vi har aldrig haft så lite AI som nu i framtiden kommer att mer AI. Man tycker att AI-konst är en utmaning för illustratörer och konstnärer och vad vi tror på verkligheten.

Erik Zalitis (01:08:04.302)
Jaha

Anders Sandberg (01:08:16.334)
Den kommer inte bli sämre. Även om AI-utvecklingen saknade ner så har vi fortfarande inte smält det vi kan göra redan nu med språkmodellerna. Deras matematiska landvinja var de senaste månaderna rätt enorma och språkmodeller av nuvarande styrka kan uppenbarligen lösa ganska djupa matematiska problem. Och det kommer de fortsätta med även om vi inte får en jättemycket bättre modell nästa år. Jag tror ganska troligt att om de stora datacenterna får lite ekonomiska problem

Då kommer det vara mer open source som körts. Då kommer fler aktörer prova saker. Man kommer prova och kan vi spara pengar? Kan vi köra saker med högre prestanda?

Erik Zalitis (01:08:53.229)
Det är intressant, vi har två spaningar kvar som släpper er. Den första frågan är datakvalitetsproblemet. AI tränar på mänskligt material. Mer mer material blir AI-genererat. Den börjar träna på annat AI-material. Plus det faktum att människor klarar inte att tillverka material så snabb takt så att AI har nytt material varje dag. Vad betyder det här?

Anders Sandberg (01:09:16.685)
Man trodde ju att det skulle vara jätteproblem. Jag minns ju hur folk var ganska självsäkra om det där i början av 2024-2025. att de snart har mätat upp allt tillgängligt material och då kommer det här utvecklingen att stoppas. Crickets. Utvecklingen bara fortsatte liksom. Delvis därför att man faktiskt använder agenererat material. Jag nämnde ju tidigare det där med ett schackspelsprogram som spelar mot sig själva. Du kan använda agenererat material om du gör det på rätt sätt.

Språkmodellen är bra genom att den genererar språk. Men när du försöker göra tänkande vill du göra resonemang och andra outputs som du sållar. Har du bra data kvalitet på din trend blir det mycket bättre. Det är ofta dyrt att få bra data kvalitet. Men inom vissa områden kan du testa det här. Programkod om den kompilerar utan ett syntaxaeror- så är det förmodligen bra programkod jämfört med den mesta text.

Du kan testa mycket av det där. kan hålla på att köra testning så att du genererar en massa data som du sen filtrerar och sen lägger tillbaks. Det här gäller ju också matematiken. kan ju försöka att bevisa matematiska teorier. Sen testar du med en beviskollare och du använder bara de korrekta bevisen, de som håller ihop logiskt. Det här fungerar bra på vissa områden, inte andra. Jag undrar om inte mycket av de dumma språkligheterna vi ser idag från språkmodellerna kommer att de tränar sig lite väl mycket på sina egna data.

Men det är också därför man är intresserad vattenmärkda. Antropik vill ju inte att de tränar för mycket på Klods egen output. Så de vill ju gärna märka av vilka texter som kommer ifrån Klod. Och säkert gör de andra på något liknande. Och sen vill de nog också känna igen konkurrenternas vattenmärkning. Och sen vill ju då människor ofta ta bort vattenmärkningen för att hävda att jag skrev faktiskt när jag uppsatt den helt själv.

Erik Zalitis (01:11:10.094)
Ja, det är intressant. Okej, det är dags för den sista spaningen. Det är 2026 nu. 2030 beskrev du ju 2023 hur det skulle se ut. Hur beskriver du 2030 idag? Hur kommer det se ut?

Anders Sandberg (01:11:24.11)
Jag tror att den riktigt stora frågan är- vilka av de ekonomiska scenarier för AI-utvecklingen slår in. Antropi gjorde en ekonomisk analys. De hade tre buntar senare. En var att AI är egentligen inte så radikalt teknik. Den ekonomiska tillväxten har ökat lite. Vi använder AI överallt. Mer än vad vi gör idag. Den är bättre, men den har inte riktigt bättre på ekonomi.

Det mer troliga mellan scenariot är att nu är det lika stort som internet eller järnvägarna.

Erik Zalitis (01:11:57.39)
OOOH! JAG!

Anders Sandberg (01:11:59.15)
Vi talar alltså fortfarande om fyra år. Vi har alltså mycket snabbare ekonomisk tillväxt, åtminstone i de områden där AI-lätt kan hoppa in. Det är till exempel kunskapsarbete. Sen har vi det mer extrema scenariet de har, där vi talar om att ekonomin dubblar i storlek på 4,5 år.

Erik Zalitis (01:12:18.83)
Okej, ja.

Anders Sandberg (01:12:20.238)
Det här är plötsligt en radikal förändring. Plötsligt börjar kunskapsarbete bli en jobbig grej. Jag lever på att jag är akademisk mångsidda. Jag vet lite om varje. Jag kan ganska mycket som generalist. Jag kan hoppa in i nästan vilket ämne som helst och ha en åsikt som låter placibel. Ge mig en stund att läsa på så kan jag göra det här bra. Vad är skillnaden mellan mig, Claude och Chat-GPT? Skillnaden är att jag är lite dyrare i drift redan.

Erik Zalitis (01:12:50.286)
Du säger att det är svårt för folk som är i kunskapsbranschen. Om du jobbar i kunskapsbranschen är du säker. Din hjärna är ett försäljningsargument. Du menar att inte är samma grej i mål.

Anders Sandberg (01:13:04.654)
Det är inte riktigt samma grej om de här scenarierna slår in. Nu är det ju så att det beror lite på vad det är uppgiften är. Att vara konstkritiker tror jag till exempel är mer social verksamhet. Det kanske inte spelar så mycket stor roll vad som kommer ut ur din mun men du måste fylla den sociala rollen att vara kritiker som alla fruktar eller gillar eller säger om det intressanta och oklara sakerna. Det finns vissa jobb där du har funktioner som politiker eller åklagar där du liksom ska sitta där för att du representerar.

Det finns nog ganska många jobb där det handlar mer om rikta. Jag klarar inte av att förstå mycket om matematiken som A.I. Prammen gör i våra vetenskapliga artiklar just nu. Men jag kan rikta den mot rätt mål. kan säga åt Chat-Q.P.T. Astra, nu gick vi ner ett rabbit hole igen. Vi måste tänka på att få Galaxopen att konfigura och bevisa det här teoret. Jag kan välja vilka problem vi arbetar på. Jag har än så länge förmodligen bättre smak för det där än A.I. Prammen. Även i det här radikala scenariot 2030.

Kanske det fortfarande gäller. Men plötsligt kommer ganska många av de normalare kunskapsjobben. En massa mellanchefer, en massa folk vars jobb beror väldigt mycket på att flytta runt data. Den biten blir totalt omgjord. Vissa andra delar som den sociala biten kan bli plötsligt väldigt nödvändig. Och en herrans massa folk måste tänka om vad de gör. Under tiden kommer rörmokaren att skrocka lite grann. För rörmokaren noterar att…

Jag har sett på tv hur de försöker göra rörmokarrobotar och de snubblar fortfarande och de skvätter fortfarande ut vattnet. De är inte så farliga. I de mer radikala scenarier kommer rörmokarna problem 2035 men inte 2030. Så det som håller på att hända är egentligen ganska radikala ändring av arbetsmarknaden. Men också tror jag på tänkandet. Jag tror att vi kommer behöva hitta fler sätt att inte reagera med AI.

Det spännande är vi kan göra det. Vibe-kodning har kanske inte så bra rykte bland riktiga programmerare just nu. För den är lite slarvig och ganska ofta blir det ungefär vad man vill ha. Men vet man inte vad man vill ha så får man skräp. Många säger att AI är jättebra för att gå igenom de enklare delar kodbasen och testa det här. Men för att sätta upp vad projektet är och det struktur, där har jag mina skills. Jag kan totalt tänka mig att man kan förbättra även den biten med AI.

Erik Zalitis (01:15:05.742)
Nej, så är det ju.

Anders Sandberg (01:15:22.126)
Men då flyttar man över på högre högre abstraktionsnivåer. Den där kompetensen att leda det hela är enormt viktig. Men för många ändamål så behöver man kanske inte det jättebra programmet. Vem som helst kan istället vibe-coda ihop sin egen head-up-display för att få information om världen från AI. Om jag har ett litet problem på min dator så kan jag vibe-coda ihop lösningen på det. Alla får plötsligt sin unika mjukvara. Det här är både hotfullt för tänk om all den mjukvaran har samma risker och fel.

En hel del av den kommer också vara ganska dålig mjukvara. Men det gör också att vi får mycket mer diversitet. Och jag tror det samma kommer gälla också lösningen på problem. Är du kreativ så kan AIN förstärka det där. Kan du lite på ett område så kan AIN förstärka den där lilla grejen. Problemet är att om du inte kan någonting på området så förstärker den bara någonsin.

Erik Zalitis (01:16:01.87)
Ja, eller hur? Eller så är det ju.

Erik Zalitis (01:16:11.726)
Det det som problemet. Om du bygger huset och arkitekturen så kan du använda din AI som inredningsarkitekt och bygga fönster. Så ser jag det liksom. Men jag ser det som att jag måste bygga huset, arkitekturen, ritningen. Annars vet jag ingenting.

Anders Sandberg (01:16:28.43)
Man behöver nog ha en uppfattning om inredningen för att få det riktigt bra. De flesta inredningsarkitekter fnyser åt de flestas lägenheter. gör uppenbara saker som… För en inredningsarkitekt är det inte att sätta tavlorna på den höjden. Men det här leder ju till spännande effekter på samhället. Tänk i juridiken. Idag att dra någon inför rätta eller lämna in en inlaga med en stämning.

Erik Zalitis (01:16:32.59)
Ja, jo, jo, jo.

Erik Zalitis (01:16:44.75)
Nej.

Anders Sandberg (01:16:56.718)
Det kräver att ha en jurist, det kostar pengar och de flesta drar sig för det. Men det har blivit allt enklare med AI. Det börjar ske allt mer att folk gör det. I England finns det arbetsdomstolar där folk som har blivit avskedade eller har andra problem på jobbet kan stämma sina föredrätta arbetsgivare. Tidigare var det ett fåtal fall. Nu har de börjat öka exponentiellt och det är uppenbart att folk använder AI för att göra det.

Erik Zalitis (01:17:24.43)
Just det.

Anders Sandberg (01:17:24.91)
Det intressanta är att en hel del av de här fallen är såna som verkligen är bra att de görs. För det är personer som kanske inte skulle ha råd med jurist eller inte vågat använda jurist men nu får de den juridiska hjälpen och de är stadde rätt där. Men det en massa som bara är sura och slänger allt vad de kan och resultatet blir saker som wastear massa tid för den stackars domstolen. Och det här ska vi nog räkna med kommer hända med alla domstolar och alla myndigheter. Medborgarna kommer självklart använda AI om man måste skriva till en myndighet.

Det är dumt att inte använda AI för att åtminstone kolla det man skrivit. Nästa steg är att det blir väldigt mycket skrivet för det är billigt och lätt att skriva. lyckas det så lyckas det. Nu har du överlastade myndigheter, nu frågar vad de ska göra.

Erik Zalitis (01:18:06.542)
A.I. naturligtvis. Det finns ett uttryck, meat proxy. Någon som bara kopierar av A.I. och har skrivit till någon annan del. De har också en meat proxy så de kommer att skicka det till ett A.I. som bedömer det. Så det människor som studsar A.I.’s texter mellan varandra.

Anders Sandberg (01:18:25.646)
Det intressanta är att det fortfarande en intention. Om jag skriver en inlaga till en myndighet så vill jag ju någonting. Jag gör det förmodligen inte bara för att det är roligt att skriva inlagor. Det finns säkert de också, men de är ganska ovanliga. Men vad som sen händer är att myndigheten har en intention. Vi måste behandla inlagor från allmänheten på ett visst sätt. Och de försöker göra det. Och om det AI mittemellan spelar det inte någon roll om det här sköts på ett bra sätt.

Problemet vi har är naturligtvis om myndigheten blir överlastad. kan ju till exempel genom ett myndighet av regler som säger att ni får inte använda AI i era responser. För ofta är det ju det att AI-programmen ligger i utlandet och vi har det sekretessk krav. Det är stora problem att utveckla bra saker för svenska myndigheter. Det finns ett projekt på AI-sweden som heter Svea som just är en sorts myndighets AI som har en del ganska bra idéer. Men jag har hört från en god vän som använder den. Han tyckte ju inte att den var tillräckligt smart.

Han jämförde med de bästa kommersiella modellerna. Det möjligt att det kan avhjälpas om man sätter statliga resurser på att vi ska ha en jättesmart statlig AI-modell. Det kanske inte är så roligt att ha konversation med, men AI duktig på att ärenden. Vi kan definitivt säga att 2030 kommer det att mycket mer AI på alla nivåer i hela systemet. Det det jag argumenterade för i den bok jag skrivit, Lollibertö eller Levi.

Erik Zalitis (01:19:36.334)
Ja, visst. Men…

Anders Sandberg (01:19:50.03)
Vi människor expanderar vårt tänkande genom att göra kollektiv kognition. Vi lånar varandras hjärnor. Vi löser problem genom att ha ett distribuerade lösningssystem som vi kallar för lagar, regler och myndigheter som egentligen existerar mer i människors huvuden än på pappret. Men den här sortens system kan också supplementeras med mjukvara eller ibland ersättas med mjukvara. Jag tror att vi kommer att den processen. Så 2030 tror jag en av stora frågorna är just vilka delar av myndighetsutövningen

–är det vi kan ersätta. Och även företaget. Vilka delar företaget kan ersättas eller får helt nya roller. Det här kommer att kännas. När man ändrar ett arbetsflöde, då slår bakut. Jag brukar ta ett exempel inom medicinen. Pulseoxymetern, är den lilla klämman man sätter på fingret– mäter koldioxidhalten syrahalten i blodet. När den introduceras spreder den över på ungefär tio år. Den har räddat massor med liv.

Erik Zalitis (01:20:48.91)
Dessa

Anders Sandberg (01:20:49.646)
Den är jättebra och ganska billig som medicinsk utrustning. Och det ytterligare en pipande apparat på intensivvårdsavdelningen. Det är liksom ingenting konstigt, det bara en man gick till och den hjälper. När man introducerade ultraljud för att ta bort njurstenar så tog det ungefär 10-15 år i Frankrike innan det här blev standard. Det var inte för att det var dyrt att köpa in apparaten även om den är dyr. Det var för att man ändrade på workflowet hur man hanterar njursten.

Plötsligt var det nya specialister som skulle göra saker man skulle inte operera. Det där var svårt att göra för alla visste ju hur man gjorde. Det fanns rutiner. Chefsläkarna tyckte vissa saker. Samma grej med titolskyrugin. Det var en generationsfördröjning. De gamla kirurgerna skrattade att det här är ju Nintendo-kyrugin. Till sist kom en generation kirurgi som var uppvuxen med Nintendo och tyckte att var okej. Nu fick man plötsligt hälsovinsterna. Jag tror exakt samma sak kommer att hända med AI-användningen.

Vi använder den där den inte ändrar vårt arbetslöde. Men när den ändrar på hur det går till, eller vad man är, så kommer många att kämpa emot. Konstnärerna egentligen bara början, de känner ju att man har sparkat dem någonstans där nere. För i många fall känner de ju hårt för konst och det är bli utmanad på det här sättet av en liten algoritm. Det inte bara att det är en fråga om hur ska jag betala hyran om man kan få billiga bilder.

utan att någon nästan förelämpar vad de är. Och jag tror att massa mälangefer kommer känna sig lika förelämpade 2030, genom att deras jobb automatiseras med ganska kort skill.

Erik Zalitis (01:22:24.27)
Ja, det är intressant. Vi kunde prata om det här i timmar men tiden börjar ta…

Anders Sandberg (01:22:29.678)
Framtiden anländer snabbare än man tror. Så 2030 när vi gör om det här så kommer vi att skratta. Det är det som är så kul som framtidsforsk. Förutsäjelser förhåller inte. Man vill vara beslutsrelevant. Man vill fundera på saker som spelar roll så att kan hålla ett öga på dem.

Erik Zalitis (01:22:39.118)
Åh, visste vi!

Erik Zalitis (01:22:50.606)
Ja, det är väl det som det handlar om men om du är för informerad så är du också förberedd på något sätt. Även om bara så mentalt.

Anders Sandberg (01:22:59.886)
Jajamän. Så förhoppningsvis har vi mentalt förberett lyssnarna på någonting.

Erik Zalitis (01:23:03.598)
Någonting, någonting vi får se down the road Anders Sandberg, stort tack för din tid. Det här är Jereksalitis, det här är IT-säkerhetspoddan och vi hörs om en vecka.

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – AI

• Institutet för framtidsstudier

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.