Errol Norlum från Advania.

Nyligen lanserades en svensk AI-plattform som ger företag och offentlig sektor tillgång till ledande AI-modeller i en gemensam, säker och kontrollerad miljö.  Mannen bakom den är Errol Norlum, Chief Data & AI Officer (Advania) så IT-säkerhetspodden tog en titt på det hela.

Det finns en uppsjö olika AI-modeller – stora komersiella, små nischade och vissa open source. Till detta en nyfiken organisation som ”vill ha AI” och samtidigt oroar man sig för EU:s olika regelverk. Hur ska man ta sig igenom den här djungeln? Kan man behålla informationen i Sverige? Kan man få AI-suvuränitet?

Mattias Jadesköld och Erik Zalitis tar AI-diskussionen på en ny nivå tillsammans med Errol. Här finns nämligen möjlighet att göra riktigt smarta steg att ta i sin AI-resa. Och samtidigt efterfölja regelverken, erbjuda moderna saker till sina medarbetare och skapa nyttja på riktigt.

Detta avsnitt av IT-säkerhetspodden görs i samarbete med Advania.

Inspelat: 2026-09-23 (publicerat 2026-09-27)
Deltagare: Mattias Jadesköld, Erik Zalitis och Errol Norlum.
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – AI-plattform

Vi har pratat om det ett antal gånger redan: att AI-genererad kod mångdubblas när mängder av programmerare har lärt sig hur lätt det är att skapa lösningar, applikationer och scripts. Visst fungerar det ofta, men kvalitén på koden varierar och säkerhetsproblemen får man inte underskatta. Sen har vi diskussionen om AI-suveränitet. Denna handlar om att alla stora datacenter för AI ligger utanför Europeisk jurisdiktion. Exakt var ett sådant datacenter ligger har ingen betydelse för EU, då det är det land där företaget har sitt huvudsäte som bestämmer om landet får läsa ut kundernas data. Och Advania har en intressant lösning som de erbjuder för att på ett säkert sätt se till att koden inte kan hamna där beställaren inte har full kontroll över den. Jag och Mattias åkte till Advanias kontor i Stockholm och hamnade i en webinarstudio, vilket gör att ljudet låter bättre än normalt när vi är ute och möter företag, organisationer och specialister. Errol och vi hade en informell och mycket trevlig diskussion där vi givetvis också kom in på mer filosofiska frågor om AI och naturligtvis hur vi måste balansera uppfinnandet med regleringarna för att få en framtid vi faktiskt kontrollerar.

Här är transkriptionen av avsnittet

Mattias Jadesköld (00:08.974)
AI-området växer så det knakar. Den fyller våra nyhetsflöden och används frekvent dagligen. Det kan vara svårt att hänga med i svängarna och risken finns att man tappar kontrollen.

Erik Zalitis (00:19.854)
Ja, och här kan ett alternativ vara att man tittar på vad som händer i Sverige. Kan vi uppnå AI-suveränitet eller åtminstone ha en större kontroll över skyddsvärd information?

Mattias Jadesköld (00:35.086)
Spännande. Det är funderingen och för vi tillsammans med Errol Norlum på Advania. Och vi som utgör duen bakom it-säkerhetspodden är ju vanligtvis, jag och Mattias Jadesköld och Erik Zalitis.

Erik Zalitis (00:46.83)
”Vanligtvis” ?, vi är konstanten i ekvationen.

Mattias Jadesköld (00:51.374)
Välkommen här.

Errol Norlum (00:52.526)
Tack så mycket.

Mattias Jadesköld (00:54.222)
Ja, vi sitter här i studion här hos Advania här i Stockholm. Känns ju bra.

Du men du till vardags så jobbar du som Chief Data AI Officer. Vad gör en sådan om dagen egentligen?

Errol Norlum (01:10.222)
inte lika mycket teknik som jag skulle vilja jobba med. Men mitt ansvar handlar ju väldigt mycket om att driva AI-satsningen hos Advania. det är högt och lågt. tror att det jag älskar att göra är att träffa kunder och lyssna på deras problem. Prata mycket om AI och sen säkerställa att våra team bygger de sakerna som våra kunder behöver.

Mattias Jadesköld (01:33.038)
Just det.

AI-assisterad utveckling – kan man få både kvalité och hastighet?

Erik Zalitis (01:33.646)
Det är intressant. finns mycket att diskutera. AI är alla pratar om just nu. Men hur överkommer man problem med AI när gäller programmering? Hur får man hastighet och kvalitet?

Errol Norlum (01:46.19)
Det är väl 10 miljoners frågan. Onekligen går utvecklingen väldigt snabbt. Vi har sett på de senaste åren hur kvaliteten på koden som kommer från AI har blivit bättre. Jag är ju en stark förespråkare att man ska använda AI. Däremot tycker jag man ska använda AI på rätt sätt. Vi äger fortfarande ansvaret för det som kommer ut från AI. Om vi som har jobbat som tekniker, programmerare inom it-industrin helt plötsligt delegerar allt ansvaret.

Vem äger risken? Vem äger kvalitetskontrollen? Vem äger allt det som AI:n genererar?

Erik Zalitis (02:22.35)
Jag har lekt lite grann med tanken att sätta upp Claude i VS Code, sätta den på Fable 5.1, skru upp den till Max, eller vad heter den här, Planning Mode, och så skriva någonting i ”Make something cool and don’t screw it up”. Jag vill se vad den tänker, vad den kommer att skapa.

Errol Norlum (02:40.302)
Då gör jag det första du ska visa det för.

Mattias Jadesköld (02:42.222)
Ja, det det.

Erik Zalitis (02:43.214)
Jag ska sätta ut det på internet, jag bara säger det.

Mattias Jadesköld (02:45.294)
Men Errol, du har jobbat med AI i några år egentligen. Hur tycker du om området har utvecklats de senaste tiden?

Errol Norlum (02:51.822)
Några år så kan vi vara med precis så 20 år. För 20 år sen så var jag fortfarande i skolan, var på väg att ta examen. Fick ett jobb på Nordea som ansvarig för att sätta upp det nya bedrägerisystemet. I början så var det egentligen bara regelbaserat, det kanske man inte kan säga är AI. Men ganska snabbt så insåg jag att.

Hur Errol började sin karriär – mannen som såg brottslingarnas mönster

Mattias Jadesköld (02:57.481)
Okej, hur började det då för 20 år?

Errol Norlum (03:16.206)
Det här går att göra bättre. Och som nyexad, jätteambitiös, så skrev jag min första prediktiva algoritm för att upptäcka bedrägerier. den överträffade förväntningarna kan man väl säga. Okej. Drog ner bedrägerierna med 30 procent över en natt.

Erik Zalitis (03:31.822)
Så hur förutsäger man bedrägerier? Vad är det som är det typiska mönstret här?

Errol Norlum (03:37.166)
Det typiska mönster på den tiden var en liten transaktion för att testa det fungerar och sen en stor direkt efter. Det är absolut lättast.

Erik Zalitis (03:46.094)
Det är fascinerande att mönstren är så uppenbara. När de börjar titta på prostitution på massageställen, då tittar de på en liten transaktion och sedan 3000 spänn direkt efter. är också sådana här mönster.

Errol Norlum (04:00.846)
Och samma sak i vissa länder så visste vi att vilka ställen det var som faktiskt lurade sina kunder. Vi kunde se att kortet drogs vid något tillfälle. Oftast så blev det rapporterat stulet och sen så kom jättestora transaktioner genom clearingen senare.

Erik Zalitis (04:16.366)
Ja just det, nämligen det är intressant.

AI fanns innan det ens var känt för folk

Mattias Jadesköld (04:18.414)
Jaha, så det var liksom begynnelsen för dig då med AI. Men det kallas ju inte riktigt för AI då, eller vad ska man säga?

Errol Norlum (04:24.782)
AI har funnits ganska länge som forskningsområde. Då pratade vi mer om analytics, predictive analytics och den typen av områden. Men det har utvecklats något enormt. Idag pratar väl alla om AI. Jag skulle säga att jag jobbade 20 år och sen så har mitt jobb förändrat sig väldigt mycket på de 20.

Mattias Jadesköld (04:42.766)
Ja, precis. Vi ska ta en titt på den här plattformen som du står bakom, den där kollegorna som kallar för allt till Advania, eller AI layerTechnology. Varför har ni skapat en sån?

Errol Norlum (04:57.006)
Bra fråga. Vi ska dra bakgrunden lite. Jag gillar att lösa problem. var därför jag blev data scientist redan 2014. Det var problemlösning. är samma sak med kodning. Vi löser problem. bygger saker. Jag startade ett bolag. Jag hade varit AI-chef på HM ett par år. Nu ska jag starta ett eget bolag. Jag startade ett bolag som hette The AI Framework. Vi var ute och byggde saker. Så började marknaden förändra sig. Vi träffade Advania.

Mattias Jadesköld (05:00.11)
Ja

Errol Norlum (05:25.87)
De köpte upp bolaget. Så sen första juli 2025 så är vi en del av Advania nu. Det första jag gjorde när jag kom in till Advania, och det här gillar jag verkligen med Advania, var: ”lyssna på kunderna”. Så jag åkte runt, jag och de som var i min team och träffade jättemycket kunder. Säkert 100 plus kunder och frågade, vad gör ni? Varför använder ni inte AI? Hur använder ni AI? Vad är problemen? Vad är riskerna?

Vi landade någon gång i början av året där vi insåg att AI har nått en nivå när det är väldigt bra. Företag ser produktivitetsvinster men det tar inte fart. Då var det så varför tar det inte fart? Jo, vi identifierade ett par stycken vad vi kallar felområden. Det ena var som vi säger på engelska, ”compliance paralysis”. Vi säger engelska för det låter bättre. Compliance paralysis.

Erik Zalitis (06:19.246)
Man blir paralyserad och försöker följa reglementen och regler, eller då?

EU och dess reglering mot USA och dess okontrollerade innovation

Errol Norlum (06:23.342)
Exakt! pratar ju ”USA innovates, China imitates, and European Union regulates”.

Erik Zalitis (06:29.934)
Det är ”imitates”-bitten hade jag inte hört.

Mattias Jadesköld (06:33.486)
Ja, det är klassiskt.

Errol Norlum (06:34.83)
Vi är i EU. Sverige har också en lång tradition med liksom, vi hade ju PUL innan GDPR, vi har väldigt hårda sekretesslagar, vi värnar om personuppgifter, men med EU och hela maskinen, det är komplext. Det inte bara att gasa och köra, för vi bryter mot mycket lagare regler. Så många av våra kunder, de sa ju, låter bra, men. Och sen så hände ingenting. Så det var en de här stora grejerna vi såg. Sen så såg vi ju

Mattias Jadesköld (07:00.878)
Man orkar liksom inte sätta sig in i regelverken och sådana saker, så då vill man heller att vi väntar eller… Ja, just det, precis.

Errol Norlum (07:05.582)
Vadå? ”Better safe than sorry”. finns många av våra kunder inom reglerad industri, offentlig sektor. De nosar lite på det. De kan skaffa Microsoft Copilot och göra några prompter men får absolut inte släppa upp någon form av känslig data. Så det tar stopp, det tar inte fart. Det är ju ett problem för konkurrenskraften i Sverige tycker jag. Vi måste göra det lätt att göra rätt.

Mattias Jadesköld (07:21.838)
Nej, det stort.

Suveränitet som tjänst, är det framtiden?

Erik Zalitis (07:29.23)
En tanke är att om du använder ett AI då skickar du faktiskt data till amerikanska datacenter mer garanterat än inte eller ännu mer intressant Kina i framtiden. Då tänker man så här EU är väldigt mycket för suveränitet. Det är lite det vi kommer till.

Errol Norlum (07:46.318)
Det är ju huvudet på spiken. Det det som ofta sätter den här gränsen. Oavsett om du skickar det inom Europa är det en amerikansk ägare. exempel alla stora hyperscalers och månleverantörer. ägs ju av amerikanska bolag och ägare och finns på börser. Då lyder de under Cloud Act. Där de kan gå in och plocka data om det finns en brottsmistanke. Även fast de har operations i Europa.

Mattias Jadesköld (08:09.55)
Sätt.

Errol Norlum (08:09.966)
Eller så skickar du direkt till Anthropic eller OpenAI eller någon annan leverantör som är utom europeisk. Det är där Compliance Paralysis oftast slår till. Så det är dels regelverket vad får jag göra men också risken som man är villig att acceptera som bolag.

Mattias Jadesköld (08:24.814)
Nej, det stort.

Erik Zalitis (08:25.71)
Skulle man kunna gissa, är det rimligt att tro att någon de här företagen skulle kunna sno din data?

Errol Norlum (08:32.654)
Det är jättesvårt att säga. Risken finns ju alltid där. Vi pratar ju om Kina till exempel. Det finns ju flera case där de varit inne och snott. Det bara för att vi inte har läst om det än så länge så det kanske händer. Vi sett saker om NSA, hur de lyssnar in på saker. Jag vet inte men risken finns där.

Erik Zalitis (08:51.886)
Ja, det är en bra fråga om hur farligt det är. För titta på hur Japan funkar efter att de blev fria från USA på 50-talet. Då åkte de till alla möjliga västländer och bara skulle göra lite efterforskningar. Sen kopierade de allt. Teleapparater, brödrostar, ”you name it”. Och de var jättedålig kvalitet.

Errol Norlum (09:09.806)
Vad händer om du skickar iväg alla dina ritningar till USA på känsliga saker eller alla dina bolagsiffror innan du har levererat din årsrapport eller dina interna styr och strategidokument och sen så sitter någon där och lyssnar. Risken finns men vi vet inte.

Erik Zalitis (09:24.654)
Och sen är problemet att Japan senare blev en av de bästa elektronikländerna i världen. kunde allt. Och idag är det väl så. Kina kan gå samma väg. Kina kan bli det nya islandet som tar över.

Errol Norlum (09:36.59)
Onetligen så det här med kontroll märkte vi viktigt compliance paralysis.

Mattias Jadesköld (09:40.59)
Ja, och hur stäviga man delar dem, ska säga.

Erik Zalitis (09:40.782)
Vad det

Errol Norlum (09:43.502)
Ja men jag kommer till det. Allt var ju första frågan. Det andra vi såg, var något vi kallade Shadow AI. Vi såg att i många av de bolagen som vi jobbade med, så anställda tyckte om AI. De fortsatte att använda verktyg, en fast de inte fick. Och det blev ju en stor säkerhetsrisk för företag. Laddar upp saker i chat-GPT för att du inte orkar läsa ett juridiskt dokument på en merger and acquisition på 400 sidor.

Det som att du ger bort den datan och inte har kontroll över den. Studier visar på att 30-40%, upp till 50 % i vissa bolag, Shadow AI.

Mattias Jadesköld (10:24.238)
Ja precis, så man har sin Claude eller ChatGPT på tv-sidan av.

Errol Norlum (10:29.038)
Så vi matade in saker där. Sen såg vi det här med förmågor. Att när vi bygger beroenden mot externa leverantörer och sen så händer någonting på den geopolitiska marknaden. Trump går in och säger nej, ingen i världen får använda Fable 5. Vad händer om det läggs på en skatt på de här sakerna? En tull på 100 % på digitala tjänster? Vad händer om vi bygger ett beroende på ett helt bolag? Vi måste ha tillgång till förmågor lokalt, vad många företag sa.

Måste vi lita på datacenter utanför Europa?

Erik Zalitis (10:57.294)
Jag tycker att kommer tillbaka till det ganska mycket just nu i hela EU. Det är bara AI, allting. Ska vi verkligen ha mejlen för europeiska myndigheter i USA eller Kina eller vilket land som helst utanför. Så det ligger i tiden på något sätt. Framförallt det lägger ju lite grann tryck på andelleverantörer. blir ju en form av konkurrens. Du forserar konkurrens och jag tror inte det är dåligt.

Errol Norlum (11:15.95)
Aa, exakt.

Konkurrens är ju bra. är så vi säkerställer att man konkurrenskraftig och levererar bra tjänster. Det var ju någonting vi såg också hos kunder. Och sen sista vi såg var att kostnaderna för de här sakerna började att skena. Och när vi pratar om skenade kostnader, de stora leverantörerna hade väldigt länge gjort rabatter.

När vi signade upp oss på ChatGPT eller Klod, var ganska billigt i början och vi gasade ju på. Och sen så blev det någon timeout för att de hade för mycket usage och sådana saker. Nu sakta men säkert så ser vi att de börjar slå på kostnaderna. De rabatterar inte längre vår konsumtion.

Erik Zalitis (11:58.926)
Det är väl för att de kan inte tjäna pengar på det sättet. hela är ju att investerarna pumpat in pengar vilket innebär du har fått någonting gratis som inte är värt det. Kort sidebar om jag får. Jag hittade ett sätt att skripta så jag kunde säga till Chet GPT att ta 800 radioinslag som jag gjort förr i tiden och transkribera dem. Det gjorde den gratis. Idag skulle inte det vara möjligt. Men jag har transkriberingarna kvar.

Errol Norlum (12:23.694)
Och eftersom det är på svenska så kan du göra egentligen till en väldigt låg kostnad. Vi har ju svenska modeller som gör exakt de sakerna. Till exempel Kungliga bibliotekets Whisper. Den slår OpenAI modeller i svensk transkribering. det finns ju förmågor. De är bara inte lika kända.

Erik Zalitis (12:41.774)
Nej det sant, jag tänkte att jag fick det gratis. Den fick stå och gå ungefär två dygn. Och sen hade jag 800 SRT-filer och då bara ja tack.

Errol Norlum (12:49.422)
Ja, det är ju perfekt. Det var ju så de huckade oss i början. Och nu helt plötsligt så sitter vi där och räkningen börjar komma.

Erik Zalitis (12:57.134)
tror att det här har en viktig grej för det är att vi har någon form av situation. Det är du säger, det huck down. Du blir liksom beroende av det. Jag ser det som om man säger ett engelskt ord, wind of opportunity. Nu kan vi bygga klart alla kodbaser och fixa grejerna. det blir dyrare så får vi försöka vara smartare med utvecklingen och inte bara ta vår tekniska skuld och beta av den.

”100 applikationer – ingen av dem fungerar”

Errol Norlum (13:18.638)
Ja, och jag skulle nästan vilja utmana dig där lite också. För när det är dyrt, då är man mer medveten om vad man gör. Och när det är billigt och inte kostar något, då slar vi. Ja, exakt. Du bara slänger in sakerna. Och det är väl lite det som vi såg. Vi var ute hos kunder och de byggde saker hejligt. Och sen som vi kom på posten, nu har vi byggt 100 applikationer här, vad gör vi nu?

Erik Zalitis (13:43.822)
100 applikationer, ingen av dem funkar.

Errol Norlum (13:46.286)
Ja, exakt. Och nu vill jag göra en feature, men han som byggde den här, han har slutat och vi ingen dokumentation, vi inga processer. Han visste inte vad Git var och… Vad gör ni med det? Nej, vad är det för någonting?

Mattias Jadesköld (13:59.982)
också vara positivt också i sociala medier så det är mycket sådana här skräv… …AI-genererade filmer och bilder och sånt. kanske bör minska med sånt också när det börjar kosta mer.

Errol Norlum (14:07.374)
Vi får väl hoppas.

Erik Zalitis (14:08.494)
ju muskelbyggande katter som springer runt, va? Nej, jag tror inte, det är inte mänsklighetens ”peak of something”.

Errol Norlum (14:17.71)
Jag gillar ändå alla AI-genererade poster på LinkedIn och sociala medier och häftiga historier. Det här vi vill skruva upp priset.

Advanias plattform – hur det hela började

Mattias Jadesköld (14:27.406)
Nu ska försöka förhålla oss till manuset så här lite. Den här svenska plattformen då. De här problemen som du diskuterade här med. Hur…

Errol Norlum (14:37.358)
Så vi satte oss ner och det var egentligen ganska enhälligt när vi satt i början av året. Alla som hade varit runt och träffat kunder och försökt hjälpa dem. Vi insåg att här är ett problem. Vi behöver säkerställa att vi bygger upp lokala förmågor. Vi behöver säkerställa att känslig data behandlas på rätt sätt. Vi behöver säkerställa att man får kontroll över kostnaderna. Men vi måste också säkerställa att man har tillgång till rätt AI-modell.

vid rätt arbetslast. Så vi byggde Advania Alt. Det lättaste sättet att beskriva Advania Alt är som att det är en säker router. Tänk en API Gateway där du kan analysera. Så när du skickar in en request till den här API routern, då går den igenom och scannar den så att vi har både deterministiska regler, men vi har också AI som är probabilistiska, som analyserar och tittar vad det här för arbetslast som kommer in. Sen kollas det mot en policy.

Företaget har en policy som säger att interna siffror får bara gå till de absolut dedikerade GPU-erna, känsliga laster. Då routar vi det dit. Är det så att det här är halvkänslig data som inte gör så mycket om vi delar med andra, då går det till delade kluster. Är det så att det är öppen publik data enligt policy som du får använda klod och liknande, då routas det dit. Och så lägger vi på ett säkerhetslager på hela den processen så att vi kan säkerställa

Att känslig data processeras på rätt ställe. är egentligen grundtanken med allt. En säker router. Nu gjorde jag det väldigt enkelt.

Mattias Jadesköld (16:14.03)
Precis, men det betyder då att man inte konkurrerar med Anthropix och sådana här saker utan lägger på ett extra lager på det kan man säga. Exakt.

Errol Norlum (16:23.086)
Vi ser flera olika användningsskall. Det ena är till exempel för företag som bara vill ha en pass-through genom en säker scanner. Kan vi skicka saker till Antropic? Absolut. Du kan använda allt för de sakerna. Men också ett sätt att behålla hela den här compliance-delen. Så vad vi gör är att vi loggar och dokumenterar och skapar audit logs på allting som faktiskt går igenom. Så att kunderna kan få en full observabilitet över allt som händer.

Sen säkerställer vi att vi kan allokera både kostnader och usage till individuella användare och till olika projekt.

Mattias Jadesköld (16:55.694)
Ja, okej. Men det här som du var inne på när du pratade med olika företag och många står liksom där att man inte vågar komma igång med AI idag.

Errol Norlum (17:05.806)
Vår devis, jag nämner det en gång till det, är lätt att göra rätt. Och mycket det här handlar dels om hur är mognadsgraden. Oftast brukar jag säga, men är ni så pass omogna som organisation att ni inte ens vågar använda AI? Ja, men då måste vi hjälpa kunderna att komma igång och utbilda. För det här är ju en utbildningsdel som jag ser det. Men sen när de tar första steget och börjar använda AI på riktigt, ja, men då måste de ju vara väldigt bekväma med att deras data inte läcker.

I väg att de kan experimentera och få ut riktigt affärsvärde. För riktigt affärsvärde utöver kanske programmering som du kan bygga och få applikationer. Det kommer ju när du kontextualiserar datan eller modellerna med din data. att om du ställer en fråga, du är ett byggbolag och så säger du, jag vill veta vad min årsrapport var från förra året. Då kan AI lösa det för det är ju publikt data.

Jag vill veta vad min redovisning från förra månaden Då kan AI inte lösa det, för den har inte tillgång till den datan om du ger det. Det här vi vill hjälpa företag att känna sig trygga i att kunna använda sin känsliga data utan att den läcker iväg utöver det som de har tillåtit enligt policy.

Mattias Jadesköld (18:21.838)
Just det. om polisen är att du får använda månadsrapporten, är klåd, då är det okej.

Errol Norlum (18:27.31)
Ja men det är en riskavvägning som varje företag måste göra själva. Advania kan inte gå in och säga ni får inte. Nej det här är ju företag, privata företag eller publiksektorn. De sätter ju sin egna riktlinjer och guidelines. Men vi ger dem verktygen att kunna följa den typen av riktlinjer.

Mattias Jadesköld (18:44.91)
Och den här att man är oro för regulatoriska regelverk, om det är A-jakt, GDPR och allt vad det är för någonting därför. Hur navigerar man inte det då?

Errol Norlum (18:53.518)
Vi bygger ju in det. Vår syn är att både policies, regler och lagar ska inte leva i ett dokument. Det ska såklart finnas i ett dokument också, men det ska vara inbyggt i arkitekturen. Så vi ser ju till att de är compliant med GDPR, det finns right to erasure, det finns dokumentation, att personuppgifter behandlas på rätt sätt, men också regel efter levnad enligt EU AI Act. Till exempel hur processerar du PII, vilka beslut tas.

Du kan logga och hantera det i linje med gällande lagstiftning.

Erik Zalitis (19:25.038)
Snabbgrej bara: ”PII” betyder alltså privat information.

Errol Norlum (19:28.046)
Privatnippen.

Mattias Jadesköld (19:29.518)
Jag är ingen boss i Fightmode, så att du… Ja, precis, just det.

Erik Zalitis (19:33.422)
Känsligt område, kanske man kan säga. Ja, precis det vad det menade.

Errol Norlum (19:35.342)
Tjajaja personuppgifter.

Mattias Jadesköld (19:40.398)
Och AI Active kanske folk är oroliga för egentligen. huvudsyftet med AI Active är att vi som använder AI ska använda det på fel sätt.

Errol Norlum (19:50.062)
Exakt. Där har EU tagit flera ståndpunkter där de har sagt att det är förbjudet till exempel att göra någon form av social scoring. Så de har ju kategoriserat många olika AI use case i olika kategorier. De olika kategorierna har olika krav på sig vad man måste vara compliant med. Och sen så finns det massa generella bestämmelser att du klassificera och kunna följa upp på dina AI use case och liknande.

Det gör det väldigt intressant för det blir en väldigt stor administrativa börda om du skapar 100 applikationer med AI. Som alla genererar någon form av AI. Du tar mycket beslut hela tiden och då måste du ha kontroll på de sakerna.

Mattias Jadesköld (20:29.582)
Just det. Vad är det för problem då? Om jag skapar upp en applikation jättesnabbt med AI och så funkar det tycker jag. Jättesnyggt lännsnitt och den här verkar göra det som den ska. Vad är det för problem med det då?

Errol Norlum (20:42.19)
Har du hört när? works on

Mattias Jadesköld (20:44.398)
Nej.

Erik Zalitis (20:46.318)
på internet eller vadå bara för du kör localhost.

Errol Norlum (20:48.782)
Det är väl lite det som är skämtet. Gör vi det i vår egna isolerade sandlådemiljö och vi släpper inte in någon annan där. Då funkar det för våra behov. Problemet är ju när du börjar bygga i företag beroenden mot olika applikationer. Då är vi helt plötsligt inne i applikationshantering, operations, drift och förvaltning. Det är ju de sakerna som kanske inte alltid är de roligaste för en glad utveckla att börja hugga tag i. Speciellt inte om du inte kan…

Erik Zalitis (21:02.638)
Vad just…

Errol Norlum (21:16.43)
och du kommer från ett annat håll som är affärssidan och så säger du gör den här appen till mig och sen så visar du en fritid och säger titta jag byggde här nu kan alla användare

Erik Zalitis (21:26.222)
ungefär för tio år men efter det så sänker du servern

Errol Norlum (21:29.006)
Ja, och sen så blir det den personen som måste göra feature development och hantering av alla användarkrav och liknande. Och det här blir ett problem för i liten skala så är inte det jättejobbigt. Du kan hantera ett par applikationer på det sättet. Men har du en IT-avdelning som är beredd att hantera dina hundratals med applikationer som börjar komma nu? Och hur säkerställer du att de är säkra? Hur säkerställer du att de faktiskt är uppe? Hur säkerställer du att det inte läcker iväg massa saker? Och det börjar ju bli ett problem.

Mattias Jadesköld (21:57.934)
Du sa ju det innan vi startade upp mikrofonerna här, att det aldrig alldeles varit så lätt att skapa någonting men det är mycket svårare

Erik Zalitis (22:05.582)
Underhåller nu

Errol Norlum (22:07.15)
Jag brukar alltid prata om 80-20-regeln. Det har aldrig varit så lätt att ta sig 80 % av vägen när du ska skapa en applikation. De sista 20 har aldrig varit så här svåra.

Erik Zalitis (22:11.598)
Jag har felet.

Erik Zalitis (22:19.342)
Det tycker jag var det bästa jag har hört på bra länge. den 80-20-regeln är känd. Det jag tänker på är det du pratar om. När du väl har byggt det så blir du ansvarig för det. Helt plötsligt så bombas hela din mail med att det här funkar inte. Du inte lägga till det här. Det slutar ju med att du sitter och promtar AIT. Då är du ju totalt beroende av det. Du kan inte göra någonting själv.

Errol Norlum (22:38.574)
Jag kan se eftersom jag älskar att koda själv. Jag spenderar mycket av min tid till att bygga applikationer och testa nya saker. Så jag byggde applikationer internt på Advani när jag kom hit. Jag att det här saknar jag. Jag behöver ha den här typen av översikt och jag behöver den här applikationen. Jag får fortfarande fråga om, kan du inte förbättra det här? Det här behöver uppdateras, det här behöver integreras. Och det tar ju tid.

Erik Zalitis (23:00.846)
Det där känner jag väl till. Jag blir en hel life cycle management system med POP och PowerShell. Den hade de igång tio år efter att jag hade slutat. Då fick jag komma in någon dag och rätta till och då var jag konsult på ett annat företag. Den funkar inte längre. Jag vet inte, det är intressant. Du blir aldrig av med det.

Mattias Jadesköld (23:23.79)
Men jag tänkte på det här, intressant det här med 80-20-reglerna, om vi ser att 20 %… Vad du menar att AI har gjort så att blir svårare med de sista 20 %-erna då? Varför det då?

Errol Norlum (23:31.31)
Ja, det skulle jag vilja påstå. För att det handlar om en annan typ av laster. ser mer och mer fokus på den här typen av användare som skapar applikationer. De gör inte stora system. Det klarar ju inte AI av. Du kan inte göra en jättestor plattform. Du kan försöka. Jag garanterar att det kommer bli väldigt mycket problem på vägen. Kanske om ett par år. ska inte säga inte. Det ofta små applikationer, små arbetslaster och det blir hela Gavrens och Compliance.

För när jag bygger applikation, jag gillar att automatisera och det är ju så vi ska jobba. Vi ska pusha koden, deployment, tester, pre-prod, prod och allting ska vara automatiserat. Det ska vara kontroll, monitoring. Det innebär ju att vi behöver nästan developer-plattformar med förutbestämda arbetsflöden. Vi behöver tänka annorlunda. Vad händer när vi pushar en applikation?

Om ingen använder den ska den ligga där och ta upp kapacitet och om vi växer från 10 till 100, okej vi kanske kan managera det men det kommer bli jobbigt. Men vad händer med tusen? Vad händer med 10 000? Alla integrationer mot existerande system som finns där. att det växer ju exponentiellt allt eftersom att användningen ökar nu också och den kontrollen är ju väldigt viktigt att ha.

Mattias Jadesköld (24:38.83)
Just det. Men det här man brukar ju ofta tänka sig som att nu när alltid så lätt att skapa och bygga saker och sådana saker att många kommer bli arbetslösa ungefär för att ajta över allting. Hur ser du på det då? Om det blir mer komplext?

Errol Norlum (24:51.566)
Jag tror personligen, jag gillar siffror. vet att World Economic Forum säger att kommer skapas 30 miljoner nya jobb. Det vi vet är att jobb är under förändring just nu. Kunskapsintensiva jobb förändras drastiskt med att vara i. Programmerar liknande behövs fortfarande men vi ser ju att det är svårare och svårare att ta sig in. Det är inte lika het arbetsmarknad längre. Jobben förändras. Jag brukar dra den här analogin med

I USA i början av 1900-talet så fanns det fem bilar och 30 hästar. 30 år senare så var det fem hästar och 30 bilar. Och det är väl det skiftet vi befinner oss i just nu.

Mattias Jadesköld (25:29.102)
Nåh…

Erik Zalitis (25:32.494)
Men det är gammalt, jag tänker på spinning in January på början av 1800-talet. Hela anledningen till vi har ordet sabotage kom från franska ordet för sabot, det betyder ju trädskor. Så de kastade in trädskor i den här automatiska spinningsmaskinen för att förstöra den. Det är intressant, finns det någon sabotagevinkel mot AI?

Mattias Jadesköld (25:54.51)
Kan man kasta in en trädskå i klod?

Errol Norlum (25:57.07)
Det finns ju ett visst motstånd fortfarande mot AI. Det är intressant för vi ser att är oftast de seniora och juniora idag som är mest AI savvy när det kommer till tech och programmering. De använder det. De har gjort det från day one. När du är tillräckligt senior då är det ju klart att du använder det. Jag kan ju bara verifiera. Det här går jättebra och så kan du kvalitetskolla. Junior är så nyhetsteknik. Det klart jag ska testa de här sakerna. Vi märker att det någonstans i mitt

inte en av senioritetskurvan som man använder inte lika mycket. Man är mer skeptisk. Men det börjar ju sakta försvinna märke också. Att det blir mer och mer accepterat. Det kommer från styrelser och ledning. Ni måste använda AI och det blir ett himla tryck på de här delarna. Vad i sabotaget är det? Det är svårt att säga. Man ber AI skriva dålig kod.

Erik Zalitis (26:46.51)
Jag vet ju att folk har försökt saboterar AI genom att se till att inmatningen blir skadad. Det vill säga den går ju in och scrapar. Och det finns i princip ett sätt att förgifta AI genom att ha förberedda bilder och texter som får en spinning i en loop. Det är den typen av sabotage. Jag tycker det är en intressant sidebar.

Errol Norlum (27:03.374)
Ja, ja… Det är väldigt intressant. Det finns motstånd. Men som människor är i grund och botten lite lata. När kommer nya saker är det jobbigt att lära sig nya saker. Det är mer den här resistansen jag ser. Inte för jag ska göra dåliga saker, men snarare nåt inventer här. Nej, men… Vi har våra arbetsprocesser. Vad jag brukar säga när jag ute och föreläser, titt som tätt…

Det gör att vi måste bli bekväma med att bli obekväma. För att det händer så mycket nytt just nu. Så att alla yrken påverkas. Och det största motståndet, eller största sabotaget, det är att man inte är förändringsbenägen. Ja, just det. Det är kanske det som är tränningsmantel.

Mattias Jadesköld (27:45.902)
Det är som träskon här då. Jag tänker också att normalt sett så är yrkesvaget att det krävs ju några hundår innan man går från nyexaminerad till junior och tills man blir riktigt skicklig på yrket. Programmerare kanske eller artdirektör man håller på att rita bilder och grejer sådana. Nu när man kan göra det här, hur ska man komma in på arbetsmarknaden om man är ung? Det känns som att svårt.

Erik Zalitis (27:49.39)
Det är politiska vinkaren så att säga.

Errol Norlum (28:14.734)
Ja, visst är det skulle vara arbetsmarknadsminister. Jag blir inte tillfrågad nu efter valet. Det är intressant fråga. Tittar man vad jag tror, jag ser ju att det är lättare och lättare att bygga saker. Lättare att bygga företag, lättare att bygga produkter, lättare att sätta tjänster och så. Jag tror väldigt mycket, och min förhoppning är ju att den unga generationen som kommer nu, som är väldigt AI savvy, det att de drivs mot entreprenörskap.

Mattias Jadesköld (28:19.438)
Ja,

Errol Norlum (28:44.206)
Och jag tror att det är där väldigt mycket vi kommer att en stor boom. ser ju redan det. Sverige är ju helt fantastiska på att skapa bolag och skala upp dem. Oavsett affärsvärde så vi duktiga på teknik. Min förhoppning är ju väldigt mycket att vi ser en större mängd entreprenörer. Vi kommer att se mindre bolag som klarar av att sälja saker. Vi kommer att se bolag som skalar upp och det ju där jag tror att nästa generation kommer få sina hundår. Att de lär sig den hårda vägen.

Mattias Jadesköld (29:11.118)
Det kanske blir tvärtom att det är de här som har långa stora företag med trögare processer. Det kanske de som får det stora stålbadet.

Errol Norlum (29:17.518)
Det är vajant.

Erik Zalitis (29:18.318)
ser ju egentligen när man tittar på den kommersiella marknaden av allting i att du börjar en ny marknad med en väldig massa små aktörer. 20 år senare har du tre stora förutom som äger och kontrollerar allt. Jag kan inte se hur det här skulle bli annorlunda.

Errol Norlum (29:31.822)
Nej, jag håller helt hållet med dig. tror att det här är en guldrush just nu inom AI-världen.

Erik Zalitis (29:39.086)
många som säljer spadar väldigt få som gräver. Vi har ju som gräver ja. Eller väldigt många som gräver ännu fler som säljer spadar. Eller hackor.

Mattias Jadesköld (29:48.814)
Jättebra Erik! Och sen är också lite med de här krigsrubrikerna som är nu också. Var och varannan ser man det här. Om tio år så kommer AI ha utplanat mänskligheten och sådana saker ser man ju då. Vad har du att tanka kring det?

Errol Norlum (29:53.614)
Ha en liten…

Errol Norlum (30:07.278)
Man ska alltid vara försiktig med de som uttalar sig och talar egen sak. Det vi ser just nu på marknaden är att USA har lätt innovationen och drivit väldigt mycket bra modeller, tagit stora kliv. Och så ser vi att Kina bara steppar upp och gör destillerade modeller. De tar deras modeller, kopierar input och output och skapar nya arkitekturer som levererar på i stort sett samma nivå och sedan ger de bort vikterna gratis.

Mattias Jadesköld (30:10.542)
Tja.

Mattias Jadesköld (30:34.35)
Var med oss med Destilead.

Errol Norlum (30:35.63)
Destillerade modeller är att du använder någon av de här frontiermodellerna och så skickar du in en prompt och så får du en output och sen så skapar du en modell av det. Det innebär att du behöver inte träna om en modell från grunden utan du kan skapa en helt ny modell. Du destillerar fram en ny modell med samma performance.

Erik Zalitis (30:51.47)
Det ser vi ju att amerikanska företag gör upp i sina egna modeller. Nästa modell har lärt köra en föregående. undrar, är det bra? Blir det bättre på det sättet? Eller blir inte liksom att felen förmerar sig?

Errol Norlum (31:01.87)
Du måste ju introducera ny data för annars så blir det ju den här confirmation loop. vill säga att du tränar på dina egna sanningar hela tiden och då blir du bara en ja-sägare. Så du måste ju introducera någonting nytt. Men att använda AI för att träna är ju ett bra sätt. det är en slippery slope till att det blir bara AI-slop.

Mattias Jadesköld (31:21.998)
Men kommer mänskligheten försvinna om tio år?

Errol Norlum (31:27.15)
Vi blir filosofiska. Jag brukar säga så I for one welcome our new overlords. Vad vet vi om framtiden? Rör vi oss snabbare än någonsin har rört oss? Ja. Kommer AI bli bättre? Ja. Kommer jobben se ut likadant? Nej. Vad innebär det för oss som mänsklighet om tio år? Jättesvårt att säga om.

Mattias Jadesköld (31:28.59)
Ja, det tycker jag.

Erik Zalitis (31:33.422)
Absolut.

Erik Zalitis (31:49.07)
Det handlar egentligen om att vi har sett en exponentiell utveckling av allting vi har från 1900-talet och framåt på ett sätt vi aldrig har sett förut. då är frågan om den rakt upp mot stratosfären eller in i närmsta bergvägg. Och det har väl inte att göra AI att göra mer än att fråga om att för ett antal år sen byggde vi kärnvapen, nu har vi biologiska stridsmedel. Jag oroar mig mer för vad människor konstruerar som skador och andra än AI, som jag egentligen ser som en fördel.

Errol Norlum (32:14.19)
Ja, jag håller med helt och hållet om det. Och AI tränas ju på mänsklig data. Så det är väl på ett sätt också en spegling av vår mänsklighet. Vi kommer väl att ha i håg de här Microsoft-chatbottena. Ja, just det. Som var de rasistiska och så blev de åstängda. Och så visade sig det att tränats på sådana här forumdata. Och där uttrycktes det inte så speciellt okej.

Mattias Jadesköld (32:35.054)
Nej, forum är ju så… Nej, precis. Det finns ju något som gör lite.

Errol Norlum (32:38.766)
Ja. Det var snällt sagt.

Erik Zalitis (32:39.662)
Ja jag till.

Mattias Jadesköld (32:42.894)
Det här med att AI är ju teknik förstås men också ganska verksamhetsnära på något sätt. Hur fungerar det med laget mellan verksamheten och AI-modellerna? Hur ska man tänka där?

Errol Norlum (32:53.902)
Ja, det en jättebra fråga. När vi utvecklar AI har vi inte ens bara pratat om att alla saker är byggt. Men när vi börjar bygga beroenden gentemot AI, återigen tillbaka till ett av mina favoritämnen, drift och förvaltning. Mitt andra är compliance och governance. Men drift och förvaltning. Om du bygger en applikation som använder en AI-modell, vad händer om du byter AI-modellen? Eller om din leveratör gör en discontinue på den AI-modellen?

Mycket av det här lagret emellan är till för att säkerställa operationell drift och regel efterlevnad. För mig när vi byggde Advania Alt var en missaknad i puslet. Att vi måste knyta ihop applikationen, ofta ser det som innovationsavdelning eller någon form av affärsida, driva framåt. Compliance avdelning, tech, uppköp, kommer efter sig och upp upp upp upp upp upp. Vi måste lösa allting här emellan och få det på plats. Sen kan vi börja använda AI.

Så lagret där emellan som vi byggde det är ju att vara ni allt. Det inte en slutanvändar applikation. Utan det är ett lager som ligger mellan dig och modellerna som säkerställer, compliance, regel efter levnad, skalbarhet, säkerhet, drift och förvaltning. Det har ju varit vårt fokus.

Mattias Jadesköld (34:09.23)
Om man som företag vill jobba med sin AI-strategi, hur kommer det in i bilden?

Errol Norlum (34:15.118)
Jag menar,

Mattias Jadesköld (34:16.942)
Do it!

Errol Norlum (34:18.926)
Nej, att jobba med sin AI-strategi. Jag har gjort säkert hundratals med AI-strategier. Och jag brukar säga att du ska inte ha en AI-strategi, du ska ha en företagsstrategi. Det är alltför många som säger nu ska vi göra AI. Jag vet inte hur många mötena jag gått in när ni säger, Arlo vi ska göra AI, har styrelsen bestämt. Vad menar ni? Vi ska göra AI.

Erik Zalitis (34:39.63)
var klassiska diskussionen om en lösning som letar efter ett problem.

Errol Norlum (34:43.277)
Och AI är inte svaret. Jag är ledsen att säga det, men AI är inte svaret. Det kan vara lösningen, men det inte svaret. Är det att ni vill spara pengar, vara effektivare, ha högre effektivitet, vilja ha bättre kundeupplevelser, vad är strategin långsiktigt och hur kan vi använda AI? Eller kanske inte behöver vi använda AI. Ibland räcker en if-else-klås bara för att skapa någon form av intelligens.

Erik Zalitis (35:08.174)
Det största skämtet jag har hört är ett skämt på riktigt, det hur gör du en kod för att tala om att det första tecknet är en stor bokstav? Det är en väldigt enkel kod att skriva, det fattar du själv. Eller du kan snöra upp ditt anrop till Claude på deras Fablet 5.1 och säga att du är en kapitaliseringsexpert och har jobbat många år med detta. Du talar om om det här är false eller true.

Errol Norlum (35:33.166)
Hade det varit en kamera hade man sett mitt huvud sjunga.

Mattias Jadesköld (35:36.75)
Men okej, man har en AI-strategi och då är bra att börja så att man jobbar mot sina mål. Om man bestämmer sig för att svaret kan bli AI, hur tar man in AI på ett ansvarsfullt sätt?

Errol Norlum (35:53.102)
Ett ansvarsfullt sätt handlar det om göra alla hygienfaktorer. Det handlar om att din policy på plats och dina etiska riktlinjer. Jag brukar säga, återuppfinna inte hjulet. Många företag har gjort den här resan och har ett ställningstagande. Förankra den med vad du ska göra. Sen handlar det väldigt mycket om hur du över de här sakerna. Det är nog som är knäckefrågan.

Har vi en strategi, vill vi uppnå, vi har våra riktlinjer, vi gör det på ett ansvarsfullt sätt. Det kan vara allting från it’s all about people or customer obsession. Eller vi ska kompensera för allting vi gör som inte är klimatvänligt. Det olika företag. Sen handlar det om hur du börjar implementera, integrera och sen skala upp. Det då det riktiga arbetet börjar. Nu vill jag inte förringa allting som var innan. Men det då det börjar bli svårt. Hur påverkar?

Du går in i början och ger alla tillgång till Copilot eller liknande. kan sitta och chatta. Kommer styrelsen säga efter att det tar iväg av inga effekter och det väldigt dyrt. Sedan börjar du bygga lite mindre applikationer för att effektivisera vissa arbetsflöden. Sedan börjar du bygga om applikationer. börjar introducera agenter och automatisering. Du flyttar analys och sådana saker från människor till AI. Människor måste fortfarande vara kvar och ta av besluten. Du försöker automatisera. Du omdesignar. Det är det här som är väldigt unikt för varje företag.

Det gemensamma är det är en mognadsresa. Du kan inte börja och tro att du ska göra det mest avancerade från dag ett utan du måste driva mognad. Det är som alla nya verktyg, alla nya processer, du måste lära dig det. Det är det steget som många vill hoppa över och förstår inte vikten av change management. Att det här är människor på en resa i en organisation som aldrig har gjort de här sakerna förut.

Mattias Jadesköld (37:38.126)
Så.

Ja, och då blir det ett ansvarsfullt sätt att jobba så. Kan man säga.

Errol Norlum (37:44.654)
Ja, jag tycker ju det. lägger man ordet ansvar.

Mattias Jadesköld (37:49.646)
Ja, jag har inte sett någon klokskap.

Erik Zalitis (37:51.758)
Ja, ansvar handlar om den som blir skjuten

Mattias Jadesköld (37:58.158)
Ja, nu ska vi se. Det här kopplingen vidare till suveränitet. Hur ska man få… Varför är viktigt egentligen i suveränitet?

Errol Norlum (38:09.39)
Vi kan ju prata om suveränitet i flera vinklar. Jag gillar att säga att suveränitet handlar om att ha val. Det handlar inte om att en server står i ett garage i Sverige och så säger vi nu är vi suveräna. Utan suveränitet handlar om att ha valen, att ha kontrollen. För att vad vi ser är att kontroll är någonting som företag förlorar små beslut i taget tills de har tappat all kontroll.

Det vill säga att du förlorar lätt, som du säger till din organisation. Ni får andra, alla använda klåd. Då har du helt plötsligt tagit ett beslut att det är okej att skicka data till USA. Medvetet eller omedvetet. Om någon går och säger skicka iväg det. Då har tagit ett beslut, då har förlorat en bit av kontrollen. Om du helt plötsligt går in och säger vi ska bygga upp en data lake på någon av hyperscalers med all vår data.

har du tagit ett beslut att det är okej att saker kan vara en Cloud Act introduktion. Vad säger man? Att Cloud Act i USA kan gå in och titta på datan om det finns en brottsmistanke. Just det. Och det är ju steg för steg. Platsen för var det står, det är en del av suveränitet. Så för oss handlar suveränitet om att ha valfriheten. Vem väljer jag att hoppa i säng med när det kommer till de här sakerna? Vem litar jag på? Och vem kan jag ha ett långsiktigt beroende av?

Erik Zalitis (39:27.918)
För ett i andra ord kommer jag tänka på tillit.

Errol Norlum (39:30.382)
Ja. Vi pratar väldigt mycket om trusted AI också. Jag tror att det var huvudet på spiken. Trusted AI. Du ska kunna lita på de här sakerna.

Mattias Jadesköld (39:31.598)
Mm.

Mattias Jadesköld (39:41.55)
Precis. Jag tänkte att ska prata lite skillnad mellan kommersiella och öppna modeller också. Vad är skillnaden där om vi börjar med det? Vad innebär det egentligen?

Errol Norlum (39:56.206)
Ja, det ena äger någon IPn av och har betalt för, och den andra är öppna viktiga. Nu skäpar det lite.

Mattias Jadesköld (40:01.806)
Ja men f… Ja men de stora kommersiella känner vi till i chacka, bete och klod och så där men vadå finns det andra modeller då som jag bara kan hämta…

Errol Norlum (40:12.974)
Huggingface har typ en miljon olika modeller. Det finns jättemycket saker du kan ladda ner och köra på din egen laptop till exempel. Har du lite kraftigare hårdvara, du kanske har en workstation med GPU-er i, då kan du köra på det. Har du tillgång till GPU-server, ett par H200 liggandes över i en datorhall, då kan du köra det också. H200 är ju Nvidias, det det vi kör. Ja, det grafikkort. Det det vi kör i Advani, alltså där av referensen.

Mattias Jadesköld (40:33.038)
Vad är det här hotfot?

Mattias Jadesköld (40:40.558)
Jag ser att du ler lite här. Det kommer bli din gamingdator senare.

Errol Norlum (40:45.582)
Det var faktiskt då jag började. Jag köpte en gamingdator, plockade in fler GPU och sen så satt jag deep learning modeller där. Det var ett bra sätt att värma garage.

Erik Zalitis (40:54.926)
Jag laddar ner den och sånt där, sätter upp det på min 128 gigabyte supermaskin. Vet den någonting? Har den kunskap? Måste jag scrapea halva internet för att lära den någonting?

Errol Norlum (41:07.182)
De vet väldigt mycket. De blir ju bättre och bättre hela tiden. De bättre nästan frontier-nivå-modellerna. är ju typ… Du har ju Kimi, K3, har GLM, 5.3, 5.3 Flash som har kommit. Flash kan du köra på lite mindre saker. Ja, de är väldigt kapabla och levererar på Opus 4.8, 5-nivå någonstans där. Det är inte dåligt, men det kräver lite kraftigare saker.

Erik Zalitis (41:30.958)
Tingen till det var det.

Men då tänker jag så här, it-säkerhetsvinkeln på det hela. Om jag laddar ner en vettig bitvikt, eller hemvikt menar jag inte bitvikt men… Och så kan jag lära dig att hacka saker och ting väldigt enkelt liksom. Har en kunskap i att kunna fungera som en enkel hackare eller penntestare.

Errol Norlum (41:52.814)
Många gånger bygger de in säkerhetssperrar i modellerna. Det du vill ha är de här lite mer uncensored modellerna. De kan du göra sådana saker med. De ligger inte på frontier-nivå. Men det finns flera sådana öppna modeller utan restriktioner och guardrails. Det finns ju tillgängliga på Huggingface.

Mattias Jadesköld (42:10.286)
blir problemet om det kommer fel händer och att man kan anera en sådan och sen ner en då.

Erik Zalitis (42:14.35)
Det är inte om, det när, det har hänt.

Errol Norlum (42:16.27)
Det har hänt, det är garanterat. använder det här idag. Och det finns säkert saker vi inte ens känner till. Det finns säkert satar som har investerat miljarder i att träna upp den här typen av modeller för att få ännu mer kraft.

Erik Zalitis (42:28.526)
För det bypassar ett problem många underrättar. Tjänster har ju haft ett stort lager med zero days som de verkligen har som sin hemliga sås. De kan ta sig in var som helst. Det behöver du inte längre uppenbarligen.

Errol Norlum (42:39.79)
Nej, det är lättare att lätta. De har fortfarande inte den högsta nivån. De säger ju när de släppte Fable 5 att det skulle gå in och vi kunde stänga massor zero days och sådana saker. Hur mycket är sant? Jag vet inte. Men det sitter ju ganska många intelligenta människor och försöker hacka sig in men även att skydda de här systemen. Så det är en konstant kamp och det går ju bara snabbare och snabbare.

Erik Zalitis (43:01.646)
Och jag tänker så här att den som ska attackera måste ha tidsmomentet för sig. Den som skyddar har ju fördelen av storleken på grupp. Det är mycket fler folk som skyddar än som attackerar. Vilket innebär att om alla får bästa AI som finns så kommer försvaren att vinna. är jag ser det. Jag säger inte jag har rätt men jag tror att det är det är. Därför att det finns skalfaktor på det.

Errol Norlum (43:21.806)
och hoppas i unik.

Errol Norlum (43:27.566)
Och jag tror att det som är viktigt är ju att den typen av organisationer som skyddar har verktygen. Jag kan säga att jag har sett många organisationer, jag ska absolut inte nämna några några, men som jobbar med lite sådana här saker. De har inte tillgång till det. De jobbar med en IT-infrastruktur som är från 50-talet tror jag ibland.

Mattias Jadesköld (43:46.766)
Ja, och sen det här du nämnde förut, och att ta mognadsstrappar om man säger som Erik då, att det tio personer som jobbar med säkerhet. Ja, har man inte samma möjlighet med moderna verktyg, då får man ju slåss mot en AI-modell som kanske jobbar som hundra människor då.

Erik Zalitis (43:59.534)
Ja, så grejen är att det här du kommer in på i det jag har pratat flera gånger om i podden som jag kallar för the long tail problem. Det vill säga djuret är säkert, typ den långa svansen av sämre skyddade miljöer som du säger 50-tals teknik liksom. Det är de som är problemet. Men det jag tänker evolutionärt sett, ja men det löser sig själv. De går under.

Errol Norlum (44:19.054)
Ja, vilket vi kanske inte vill för vissa kan ju till och med vara kanske samhällskritiska.

Erik Zalitis (44:25.966)
Men det är bättre att ha än att en lågt kokande konflikt där allting är uppe men allting är hackat, allting är övertaget, allt data har läckt. Jag säger till det värre problemen att jag bara går ner.

Errol Norlum (44:37.038)
Ja, det tror jag också.

Mattias Jadesköld (44:38.67)
Men det här med Errol, du sa att om jag har en liten kraftföljare, laptop eller dator hemma kan jag bara gå till någon sån sajt och ladda ner den och leka då med en?

Errol Norlum (44:48.622)
Det finns massvis av olika sätt. Du har till exempel Lama. Det är typ som Shutt GPT. kan ladda ner på datorn. Via där har de förpaketerat massvis av de här modellerna. Det egentligen bara en knapptryckning. Du går in på terminalen eller du använder gränssnittet. Och så laddar det ner mycket av de här modellerna. Och då är det din dator som egentligen bara är stoppet.

Vill du vara lite mer avancerad? men gå till Huggingface. Kolla vilka modeller det finns. Ladda ner dem. Paketera dem. Det kan du göra väldigt snabbt och enkelt. Och sen så kan du vara igång och köra OpenCode. Så du kan sitta på flyget och koda med de här modellerna.

Mattias Jadesköld (45:28.11)
Ja, men det kanske är lite kul att leka med för de som nu fick en brev. Helt enkelt. Någonting man ska göra med öppnande och de här kommersiella produkterna. När ska man välja vilken närvaro?

Errol Norlum (45:42.446)
Vi brukar säga att det här är ett arbetslastproblem. Det handlar om vad du har för arbetslaster. Du ska använda de öppna modellerna om de är bäst för din arbetsuppgift. Det här är jättesvårt att hålla koll på om Hug-N-Face har en miljon modeller och så visste hur många frontier modeller som helst. Vad är den bästa då? Vi beslöt oss för att i Advaniaalt så har vi benchmarking. Så att vi gör tester och rekommendationer på vilka som är de bästa.

Vi ska skapa en smart router också. Ska du gå till cloud för den här arbetsuppgiften eller ska du göra en on-prem modell? beror på vad arbetsuppgiften är och så ska vi hjälpa till att routa dig i framtida versioner. Men det är svårt problem. När du har en miljon modeller, ja, du måste hitta ditt case och så måste du hitta rätt modell för det. Det finns ju till exempel exempel på Kungla biblioteket. De har ju en open source modell som de har fine-tunat på svenska språket. Den är transkribering bättre än OpenAI Frontier modeller.

Och då finns det lite sådana här. Så vi ser att en del specialiserade modeller kan ha bättre performance på vissa arbetsuppgifter. Så sitter du på flyget, vad är det du ska jobba med? Ladda ner en liten sådan modell så kan du få på den arbetsuppgiften ganska bra performance.

Mattias Jadesköld (46:50.542)
Just det. Och då kan man nog kombinera det. Att vissa saker vill jag köra i klod och vissa saker vill jag kanske köra i min…

Errol Norlum (46:55.438)
Det det vi säger när vi pratar om de här okontrollerade finanserna när det drar iväg. Jag tror att det bästa vi ser i framtiden är att vi använder de mest komplexa arbetsuppgifterna. Klodmappa upp hela min kodbas, ge mig en migrationsplan, mappa upp alla dependencies, förbättringsåtgärder, gör en feature backlog och så vidare. Gör planen och analysen.

Sen tar vi små agenter som är mer specialiserade på att skriva koden som är för det projektet. Då använder vi dem och då drar vi ner kostnaderna. Vi använder Clod och Anthropic senaste modeller för riktigt komplexa saker. Där är de i framkant. Lite enkla arbetsgifter delegerar vi ut till våra agenter som gör mer specialiserade saker.

Mattias Jadesköld (47:43.31)
Och Giddy och Bamma behöver också ha kompetens och en organisation att veta när man ska använda vad.

Errol Norlum (47:47.886)
Många de här, ta typ OpenCode och liknande, och även Antropic har ju i Cloud Code, de har ju olika skills som gör det åt den. Det finns ju till exempel en skill eller plugin som heter Get Shit Done. Den hjälper ju till att profilera vilken modell ska använda för olika arbetsuppgifter.

Erik Zalitis (48:08.878)
Åh, det ingen dålig grej. Det undrar man alltid. Haiku på Klauden är ju väldigt billig. Inte så bra svar. Fable och Opus 5.5 är dyrt utan bara helskott. Men då kanske den gör get shit och handel.

Errol Norlum (48:23.342)
Du använder Get Shit Down för att få en bra segmentering av vilken modell jag ska använda. du inte bara sitter på fabelmodellerna. Sen kör du Caveman-pluginnet också. Då minimerar den mängden texten skriver.

Erik Zalitis (48:37.614)
Så kompackt är det när man ser det.

Mattias Jadesköld (48:39.854)
Och så har ett AI som väljer ut vilken AI du ska välja.

Erik Zalitis (48:42.83)
Det stod såhär, vad behöver vi människor till? Vi ska sitta och trycka in nya blood server i racket.

Mattias Jadesköld (48:45.198)
Ja.

Erik Zalitis (48:53.07)
När kommer robotöja, då kan vi bli riktiga cavemen och de får ha sitt samhälle för själva.

Mattias Jadesköld (49:01.198)
Ja, det här var väldigt intressant ämne. Jag fick gå tillbaka till manuset här, men vi spinner vidare. Det känns jättekul att snacka om det här. Har vi täckt i det här AI-området?

Errol Norlum (49:13.262)
Jag brukar säga, AI kan jag prata om i 100. Det finns så mycket att prata om. Jag brukar ofta sammanfatta hela AI-diskussionen med att det ska vara lätt att göra rätt. Vi vill framåt, vi vill använda tekniken, vill få med oss människorna. Men vi måste säkerställa att vi gör det på rätt sätt.

Erik Zalitis (49:17.934)
Håll med här!

Mattias Jadesköld (49:32.654)
Ja men det var bra avslutning. Ja, vi ska väl säga så här helt enkelt i det rollet.

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – AI-plattform

• Advania
• EU AI Act

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #338 – En svensk AI-plattform dök först upp på IT-säkerhetspodden.

Året är 2026 och många är bekymrade över artificiell intelligens. Men inte Anders Sandberg på Institutet för Framtidsforskning. Han ser problemen och utmaningarna som lösbara och framtiden full av potential. Idag talar Erik Zalitis med Anders om var vi är nu och hur 2030 kommer se ut. IT-säkerhetspodden har diskuterat AI långt innan det blev populärt och nu är det dags att se framåt men också bakåt: vad hade vi fel om och när förstod vi vart vi var på väg? Det handlar om den kommande AI-kraschen, Kinas senaste utspel, hur AI hackar allt, om AI någonsin kommer hitta på en ny konstform, varför allting verkar skena just nu och även varför vi inte ska oroa oss över SkyNet och robotar som ser ut som Arnold. Det finns dessutom mycket att lära om hur Sovjet-Ryssland såg på Ronald Reagan och dagens fruktan för framtiden.

Inspelat: 2026-09-10 (publicerat 2026-09-13)
Deltagare: Erik Zalitis och Anders Sandberg.
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – AI

Här är transkriptionen av avsnittet

Erik Zalitis (00:11.086)
För några år sedan började it-säkerhetspodden prata om AIs utveckling och många gånger har vi mött Anders Sandberg som forskar på en hel del saker och ting som framtidsstudier och han är med oss här idag för att snacka om var AI står 2026, lite spaningar och titta in i framtiden. Välkommen Anders!

Anders Sandberg (00:31.182)
Tack Erik, det är jättekul att vara här.

Erik Zalitis (00:33.198)
Ja, så vi möts igen helt enkelt.

Anders Sandberg (00:35.886)
Yes, det väl här då man ska sitta där med att stryka sin katt och ha några laser. Tyvärr har inte budget för det på institutet.

Erik Zalitis (00:44.206)
Nej, jag förstår det och framförallt så kan jag tro att det är lite halvt tråkigt att använda gamla bond-metaforer när världen ser ut som den gör idag. behövs strikt sett inte. Vi har våra egna relativt kreativa ondskor har vi inte.

Anders Sandberg (00:57.262)
Ja, vi har ju en del riktigt bra superskurkar. Jag har ju min egen mentala lista, vad miljardärer jag mött som är bond-skurkar. Det finns de som är på den goda sidan också, men det finns ju en del intressanta figurer. Men det är ju också det att våra metaforer för hur världen funkar ofta formar hur vi tänker på framtiden.

Erik Zalitis (01:18.542)
Ja, jag tänker det också.

AI – ett område med riktigt dåliga metaforer

Anders Sandberg (01:19.886)
Det finns en klassisk framtidsforskningsbok Fred Pollack, bilden av framtiden från 50-talet. Den är helt bortglömd idag. Som all riktigt riktigt lyckad forskning så tycker man idag det självklart. Han menar ju att vi resonerar om framtiden genom att vi drar upp bilder. Vi har standardexempel på olika saker som alla ungefär känner igen. Så om man talar om AI och så säger någon Terminator så tänker sig alla det där skelettet eller kanske någon svartsnäger som säger någonting coolt.

Den använder vi när man börjar tala om AI-risk på Goto.

Erik Zalitis (01:51.694)
Ja, just det. Det är vår go-to-guy för att förklara vad AI är på nåt vis.

Anders Sandberg (01:57.262)
Ja, vilket inte ens är en särskilt bra förklaring. En skelettliknande robot som är efter dig är inte nödvändigtvis en bra beskrivning. Men Pollack’s poäng var ju att varje samhälle använder de här bilderna och att skapa nya bilder är inte alltid så lätt. Ibland händer det ju att någon konstnär eller författare kommer på en bra grej. Till exempel idag när folk vill illustrera AI så är rätt många som är lite trötta på Terminator. Så de använder istället då exmakerna.

Erik Zalitis (02:11.246)
Nej.

Anders Sandberg (02:25.23)
Där är det kvinnlig robot som inte är lika fysiskt farlig men det är mer mystiskt hotfullt.

Erik Zalitis (02:32.974)
Jag läser just nu faktiskt Asimovs robotböcker där. Och jag tycker det är intressant. De har ju två robotar som… Den ena ser ut som en robot och den andra är väldigt mycket som en människa. Och jag tycker det är en intressant grej. Dessutom kanske jag började fokusera AI på… Det måste vara en robot. Den måste ha en presens i världen, fysisk. Men de AI vi pratar om idag, de har ju inte det.

Anders Sandberg (02:57.454)
Nej, de flesta är synnerligen abstrakta. I många fall är de mycket märkligare än det mesta du hittar i science fiction. Asimons robothistoria, det finns ju en hel del om AI där också, men han skrev ju på 40- och 50-talet. Så han beskriver ju liksom enorma byggnader fulla med datamaskiner. Det blev rätt, men hans idé var att den där stora datamaskinen är en enda varelse.

Men även han tänkte faktiskt lite framåt. talar ibland om multivakter, sammankopplade AI-system som dominerar världen i en del av hans historier. Men hans bild var ju fortfarande någonting som var en individ. Medan våra AI-system, de är lite märkligare. Det är både en individ och ett kollektiv och den splittras och grenar ut sig och ibland sammanflätas då.

Är de inte någon form av personligheter, ändå?

Erik Zalitis (03:45.71)
Jo, och sen har vi ju det här sättet vi antropodmorferar, jag kan inte säga ordet ordentligt. är så här, är väl Claude, ChatGPT, de har ju blivit som personligheter för oss, har de inte det?

Anders Sandberg (03:58.19)
Personligheten är ju ett sorts interface. man ska dra lite exempel från science fiction så har vi TV-serien Ghost in the Shell. Den tv-serien förekommer en spindelriknande stridsvagnsrobot. De har personligheter som som glada skolflickor. Det mest fascinerande med tv-serien är att ibland ser man igenom det här och inser att personligheten är ett overlay.

Erik Zalitis (04:12.59)
Ja, visst.

Anders Sandberg (04:24.11)
Det är ett interface ovanpå vad som egentligen är högst främmande gruppintelligens. Men de där små glada skolfickertjuten de distraherar och i många fall kanske man bara ser det. För vi människor tenderar att reagera mer på något som är människor likt än något som faktiskt är gruppintelligens av spindeliknande stridsvagnar.

Erik Zalitis (04:44.014)
Det säger de, vi ser ju liksom, tittar på ett moln och ser att det där ser ut som Carl Bildt eller det är liksom Donald Trump och vad som helst.

Anders Sandberg (04:53.614)
Problemet är att vi utformar våra system. Jag har ofta klagat på att chatbotar stör mig. De utger sig för att vara nåt människoliknande. Man interagerar på ett nåt människorliknande sätt. Jag tycker i många fall om att använda Tomé som en expansion av mig själv. När verkligen kan programmera kommandona ett system- då är det jag och systemet är ett. Men chatboten måste jag hålla på snacka med den där ”Clauden”.

Erik Zalitis (05:12.782)
just det.

Erik Zalitis (05:21.23)
Du vill kunna tänka! Den expanderar dig. Jag helt inne på det. Jag köper det rakt av. Jag använder Claude rätt mycket för programmering. Men det jag som styr allting. Det jag som gör programmeringen. expanderar. Jag har byggt huset. Den bygger fönster. Men jag säger, sätt in ett fönster där.

Anders Sandberg (05:38.254)
En riktigt bra assistent läser dina tankar och du vet vad du kan och inte kan göra. När man samarbetar riktigt bra blir det sömlöst. Men mitt problem med de här agenterna är att ofta blir det lite klantigt. Det är lite som problemet med uncanny valley för robotar. Gör du en robot som är människorliknad, men det inte tillräckligt människorliknad så blir det väldigt störande. Samma sak gäller också när man gör chatbotar. Fram till nyligen var det ganska ofta att det inte riktigt stämde.

Erik Zalitis (06:00.238)
Ja ja ja ja,

Anders Sandberg (06:08.046)
Samtidigt är det många människor som absolut verkar föredra att ha att göra med någonting som liknar en människa, snarast den det här mer abstrakta. Och det är en stor marknad och många bolag gick och skapade på det sättet.

Erik Zalitis (06:15.278)
Ja, oj, jag stod…

Och så frågan om AI-botten är en sann vän eller till och med en romans

Erik Zalitis (06:20.27)
Ja, och det tycker jag är en intressant spaning i tiden. Vi har en tendens att det har varit en epidemi av folk som skapar riktiga vänskasband och till och med romancer med olika AI. Därför de är ju byggda för att de behandlar dig på det sätt du beskriver att du vill bli behandlad.

Anders Sandberg (06:38.67)
Ja, det går ju att få dem att trycka tillbaka. Jag lade in i systemprompten ganska tidigt om en ifrågasätt. Sen när man gjorde senare modeller av Claude lite mer ifrågasätt i grunden så blev det en väldigt motvalsfigur. Vilket jag fann ganska stimulerande.

Erik Zalitis (06:55.214)
Ja men…

Ja, tycker du betalar inte för någon som håller med dig.

Anders Sandberg (07:01.678)
Nej exakt. Men det intressanta med romansen delvis handlar ju om att du vill ha någonting som är persistent. Och chatbotten vi har idag är egentligen inte ens persistent. Det är en varelse som dyker upp enbart i den diskussion du har. Och när du avslutar diskussionen så upphör den här varelsen att existera. Den kanske börjar existera igen om du återtar diskussioner efter några år. Men det är fortfarande inte samma sak. Det här är ju lite annorlunda mot vad folk vill ha för sina vänner.

Erik Zalitis (07:31.406)
Ja, just det. Du vill inte ha någon som har någon form av amnesi. Jag säger, Anders Sandberg, okej, bra. Vänta, ska jag bara hämta min claude.md och läsa in vad jag vet om dig?

Anders Sandberg (07:42.35)
Det intressanta med det här är att en del av oss har varit på nätet ganska länge. Det gör att vi finns i träningsdata, vi finns i vikterna. De större AI-modellerna känner mig.

Erik Zalitis (07:54.062)
Ja, och de vet inte vem jag är. Det är inte så konstigt för den andelen. Du har ju lite större footprint än de flesta

Anders Sandberg (08:00.846)
Det är både bra och dåligt. Anta att jag byter åsikter om allt. Jag blir fräns. Jag bestämmer för att gå med i KD. Jag börjar förfäkta en massa åsikter. Det kommer inte att stämma särskilt väl med vad de har lärt sig från alla mina postings om liberal-transhumanism från 90-talet. Det kan bli mycket märkliga effekter om man har levt långt och händelserkt liv där man byter åsikter.

Erik Zalitis (08:22.35)
Ja, precis. Men jag tänkte lite grann, det här är väldigt bra start på diskussionen. Jag vill gå tillbaka till du nya, sköna värd inte Aldus Huxley i Boken utan det avsnitt vi gjorde med dig. Du nya, sköna… vad nu vi kallade den? Det avsnittet, där snackade vi om hur AI skulle se ut 2030. Men då året var 2023, det tre år sedan.

Anders Sandberg (08:46.414)
Vilket innebär att vi talar om ett halvt århundrade i A.I. världen.

Erik Zalitis (08:50.51)
Exakt, det det som är grejen. Det är så att det är fundamentalt, det är något jättefel i det. Det bara det att så mycket har förändrats.

Anders Sandberg (08:57.358)
Där har vi nog en av de viktigaste förändringarna. Framtiden kommer mycket snabbare nu. Jag var ju visst en framtidsoptimist 2023. ansåg att framtiden skulle bli bra, mycket radikaler och komma snabbare än vad normala människor tycker är rimligt. Men nu har jag varit tvungen att uppdatera och idag kommer mycket snabbare än vad jag trodde.

En exponentiell tillväxt och en snabbt kommande framtid

Erik Zalitis (09:18.094)
Exponentialt, det är svårt att bedöma.

Anders Sandberg (09:21.998)
Det är alltid svårt att bedöma och exponentialfunktioner är ju famöst svåra. De flesta tänker fel om dem. det som har hänt här egentligen är att en del teknologier har liksom sammanflätats. Om går tillbaks till 2023 så fanns visslechattbotterna och LLM hade börjat visa sig vara ganska så bra. Det var en revolution utan like. Den enda motsvarigheten var ju när neuronet började fungera verkligen bra kring 2012.

Det var en chock för oss inne i fältet att skalar vi bara upp när rånet är långt bortom vad som är rimligt. Med mycket mer dator än vad vi tyckte var rimligt och med mer datorkraft så blir resultaten otroligt mycket bättre än vad alla våra teorier säger. Det var liksom den första chocken. Den andra chocken var och nu tar vi då och språkprediktion. Det känns ju som en nischad grej. Oj, vi får fram saker som påminner om tänkande.

Erik Zalitis (10:15.374)
Ja, jag ser det.

Anders Sandberg (10:15.854)
Vad som sen har hänt är att det har spridat på mycket mer för det har blivit användbart nog för att göra mycket programmering och mycket AI-forskning och vi får fram mer och mer tänkande i någon lös bemärkelse. Man inte ägna ett helt program och bara käbla om vad vi menar med tänkande och intelligens här.

Erik Zalitis (10:32.59)
Absolut, då har vi en idé om vi har någon tid över någon gång.

Anders Sandberg (10:35.822)
Någon weekend över.

Erik Zalitis (10:37.614)
Ja, det räcker ju knappt, men okej.

Anders Sandberg (10:40.91)
Det spännande är att vi har fått insikt att vi får överraskningar. När man skalar upp saker kommer nya förmågor. Sen 2023 hade man ju just börjat tala om scalinglås. Det här är en idé som säger hur mycket bättre blir prestandan på att träna nu i rånet? Om man ger det mer träningsdata eller mer träningstid eller bara större datorer. Det visar sig att om man ritar upp det här på ett log-log diagram

Erik Zalitis (10:53.71)
Jaha, vad innebär

Anders Sandberg (11:09.774)
så följer de här kurvorna en ganska rak linje.

Erik Zalitis (11:13.838)
Förklara det för mig som om det vore fem.

Anders Sandberg (11:17.934)
När jag tränar ett neuronet ger den träningsdata. Jag visar en bild och den talar om vad den tror att det är. Det där är en ko. Det var en katt. Då korrigerar man nätverket så att nästa gång är det lite närmare att att det är en katt. Så kör man igenom det här många gånger och ser till att felet i dess prediktioner blir mindre.

Det kan vara att identifiera bilder, att förutsäga nästa ord i en text, att göra drag i schackpartier och att vinna partiet på slutet. Målet är att minimera förlusten, velocity, hur det avviker från det bästa tänkbara. Då får man en kurva som sjunker. Den börjar uruselt och så tränar man mer mer. Där sjunker den ner ungefär exponentiellt, med diverse hack och komplikationer på grund av tekniska skäl.

Men om man ritar det här diagrammet på stor skala, vad händer om man ger en 10-trenningsdata, 100-trenningsdata, 1000, 1 miljon, 1 miljard, 1 triljard träningsdata. Så visar sig de här kurvorna bli förvånansvärt jämna raka linjer. Det vill säga, jag kan förut säga att om jag bara hade en dator som var 10 gånger större så skulle jag få så här mycket bättre resultat.

Erik Zalitis (12:30.638)
Och det är mer än 10, det skalar inte linjärt. 10 gånger större är inte 10 gånger bättre.

Anders Sandberg (12:34.638)
Tvärtom, tio gånger större är förmodligen något procent bättre.

Erik Zalitis (12:40.27)
Oj, det är alltså ”diminishing returns” ?

Anders Sandberg (12:42.638)
Jätte-diminishing returns. Hade det här varit en annan industri så hade ju liksom ingenjörerna och forskarna suckat med sin låga effektivitet och cheferna hade tyckt att göra någonting bättre. Men i det här fallet händer något fantastiskt. Du får förutsägbarhet. Du kan gå till investeraren och säga om vi får pengar för det här hundra gånger större datacentrat så kommer prestandat att bli så här. Och då kan man säga vi kan förutsäga det här ganska skarpt. Det var ju lugnande.

Då är vi intresserade av er och de där miljarderna, trilliarderna ni behövde.

Erik Zalitis (13:14.894)
Jag tänkte

Industrin rusar som ett snälltåg, men var går resan?

Anders Sandberg (13:16.622)
Det spännande är att det här är det som ligger bakom den här enorma ruschen att investera. Jättestora datacenter och mycket AI. Men sen kommer den lilla knasiga twisten på det hela. Bara för att jag halverar det där felet i träningen vet vi inte hur prestandan blir. För den riktiga prestandan är ju hur nöjd användaren är. Hur bra den spelar schack, hur bra den löser matematiska problem. Här sker ofta konstiga skutt.

Erik Zalitis (13:42.126)
Just det.

Anders Sandberg (13:45.55)
Det här är lite märkligt. Om jag var investerare skulle jag mer vilja veta hur bra är den här på att programmera? Snarare än hur bra är den på att få låga fel på träningsdata? Ändå har man satsat på de här inlärningskurvorna och det här har drivit den här enorma finansiella hypen kring det hela. Ursäkta nu, jag är avbröt.

Erik Zalitis (14:05.71)
Ja, just det. Det är helt okej. Det var jag som har berett dig. I alla fall, vi har tänkt att vi skulle göra så här. Vi kör lite spaningar. Om du kommer ihåg spanarna på Petra programmet. Jag tänkte att nämner ett par saker som är här och nu. Så får du fundera lite grann på det. Och då tänker jag att den första observationen är 2023 var AI-coolt. 2026 där vi är nu. Alla använder AI till allting.

Vad tänker du om det?

Anders Sandberg (14:36.622)
Det är ganska rimligt. är en användbar billig form av tankekraft. Vi har ofta brist på tankekraft. Tänka är ganska jobbigt. Även om tänkandet du får från AI inte är det bästa tänket– –så det fortfarande… Det är skönt när jag utrangerar det. Mycket av det vi gör om dagarna är vi gör saker efter vanor. Vi gör som vi gjorde förut. Våra hjärnor försöker optimera för att tänka lite lagom mindre.

Erik Zalitis (14:44.078)
Nåååå

Erik Zalitis (15:03.662)
Ja, just det. Så det är en fråga om convenience. Vad är problemet med det här då? För det problemet…

Anders Sandberg (15:09.678)
Många oroar sig om att vi slutar tänka helt och hållet. Det är jag inte så övertygad om. Att vi outsorjar vårt tänkande till andra är egentligen okej. Det är det mänsklig kultur bygger på. Men finns en risk att vi outsorjar till saker som vi inte är helt pålitliga. 2023 hade man jätteproblem med hallucinationer. Alla hade hysteriskt roligt att ha program och hitta på saker.

Det är fortfarande ett visst problem, man måste kolla upp det här lite grann. Men det har blivit mycket, mycket mindre problem. Men många inbillar sig att man inte lita på vad AIN säger. Vilket på sätt och vis är jättenyttigt. om vi hade kritiskt sinnelag om det vi hörde så skulle värdet vara betydligt bättre. Problemet att folk litar på folk. Och vi människor är ju minst lika otillförlitliga som AIN i många fall.

Erik Zalitis (16:01.102)
Det har jag tänkt på också mycket om den här grejen är ju fel så ja, då hade jag knurrat själv. Det är inga problem.

Anders Sandberg (16:07.118)
Det var ju som ett exempel jag såg i mitt flöde i morse här då, där det var en högt uppsatt chef i Washington som var ansvarig för många AI-relaterade frågor som inte trodde AI-botten kunde fylla i ett spreadsheet-formulär. Vänta, det här är 2026. Klart, ja. Och min gode vän som berättade om det här visade honom att det var ju totalt trivialt. Men han fick gärna mothugga från någon på Twitter som sa att den gör ju fel ändå.

Erik Zalitis (16:21.742)
Nåååå

Det klart.

Anders Sandberg (16:37.23)
Min vän undrar, men vänta, hur mycket fel är ett problem? Även om den gör 99 procent rätt så är det ju inte tillräckligt, vi kan ju inte lita på den. Men vänta, gör du 99 procent rätt när du fyller i ett formulär på en dator? Svaret är att ingen människa gör någonting bättre än 99 procent om det inte är otroligt enkel uppgift. Grejen är ju det att vi ofta kollar om vi gjorde fel. Kollen.

Erik Zalitis (16:57.646)
Jag har en del…

Anders Sandberg (17:03.886)
Den brukar kunna få en 99 % chans att upptäcka felet. Men jag skulle inte inbilla mig för fem år att jag skulle fylla i hundra formulär felfritt. Det tror jag inte.

Erik Zalitis (17:16.334)
Nej, det kan jag köpa, men betänk det att när vi tittar på datorer så säger vi datorer gör inte fel. Du har den här grejen att en människa blir trött, okoncentrerad, skriver in i fel kolumn och grejer. Det ska inte ett A göra.

Har Asimovs science-fiction böcker något att säga om AI och robotar?

Anders Sandberg (17:29.966)
Den ska inte göra det, men den gör ju det. Det är lite för att vi har en bild av vad AI ska göra baserad på science fiction. Asimovs robotar är perfekt logiska och bryter ihop om man ger dem en paradox. Om man provar det med en LLM så kommer den bara dra en rolig anekdot om Asimovs robotar. Många blev helt förundrade över att dessa språkmodeller inte kunde räkna hur många R som fanns i ordet rasper.

Erik Zalitis (17:55.726)
Nej jag vet det är fascinerande eller få till 300×500 den gör fel

Anders Sandberg (18:01.262)
Anledningen är att man talar på fel nivå. är lite som att fråga vilka nervceller i min hjärna talar engelska och vilka talar svenska. Det är fel nivå att titta. Min hjärna kan producera engelska och svenska som ett nätverk. Men det nätverket har inte access till nervceller. Jag har ingen aning om dopaminhalten just nu i min mediala framhjärnebunt. Det fel abstraktionsnivå. Där har vi det lustiga med våra AI-program. Vi har en massa…

Vi nivåer av abstraktion som möts och vi är alltid säkra på vilken nivå de är. Co-Pilot driver mig till vanvind. Genom att den åtminstone tidigare kunde glatt berätta hur man skulle göra en massa saker i Windows men det kunde inte göra det. Vad är det för poäng med en AI som inte kan göra det? Det har ändrats nu men de första versionerna kunde inte acessera Windows.

Erik Zalitis (18:52.27)
Nej men det använder man ju så kallade MCP till idag. att det Claude har ju enorma synx inom mina system. Vilket innebär ibland tänker jag. Tänk om du tycker, jag ska radera allting för det var en jättebra idé. Då har jag mycket

Anders Sandberg (19:05.998)
Sånt har ju hänt och det är en nyttig idé att ha back-up. Det är märkligt att ibland ser man ju det här glappen. har till exempel, jag samlar på mig vetenskapliga artiklar som jag andas. Men de flesta har ju ointressanta siffranummer för databasen. Och jag vill ju ha ett bra namn på det, när jag tittar i min folder så vet jag vems artikel där och vad den heter och sånt där. Så det borde ju döpas om. Och jag har samlat på mig ungefär 10 000 artiklar innan här för några månader sen. Men vänta, det här är ju ett jobb för AI.

Så jag bara slängde Claude på det. Inga problem. Claude döpte om med alla de här obegripliga siffrorna till bra namn och sen kan man sortera dem. Nu vill jag ju ha en liten rutin för det här. Jag har en folder jag bara slänger ner och så tar Claude automatiskt och gör det. Och så slutar det funka på min laptop. Och jag tillbringade gårdagskvällen lite grann med att diskutera med Claude. Men vad gick snett? Varför tappade du förmågan att göra det här? Claude vet inte riktigt varför. Det kan hänga ihop med något komplicerat i gränsen.

Men jag fick en liten tår av hur det går till bakom kulisserna när det handlar om det. är ju MCP-anrop till system anrop och är diverse virtuella… Det var bra mycket mer komplicerat än vad jag väntade. Jag bara väntade att någonstans finns det ett käll och där sker lite kommando. Det skulle jag naturligtvis inte ha antagit. Allting i data är ju mer komplex än vad man anar och vi är lyckligtvis bra på att dölja det. Men ibland när det där går snett så dyker det upp plötsligt på fel nivå.

Plötsligt kan inte A göra det där det var perfekt på igår.

Erik Zalitis (20:34.478)
Det här tycker jag är jätteintressant. En liten parallell jag vill dra är när man sätter upp ditt AI så är det nog den viktigaste grejen att instruera AI hur den ska agera. Vi pratar om MCP och skills, pratar om konnektorer, ska kunna läsa din mail om du vill.

AI-botten måste ju lär sig säga emot och komma med lösningar och inte smicker

Det är en sak, men frågan är hur ska den adressera vad jag har skrivit? Det är kul att du säger, för du har tänkt samma sak som jag gör. Den ska säga emot, inte av naturnödvändighet, för ingen vill ha en ”contrarian” [Någon som säger emot hela tiden]. Men den ska säga så här, jag ser mig som rationalism, rationalist, jag förväntar mig att du analyserar, säger emot när nödvändigt samma saker. Därför AI i generalitet håller ju med dig om allting. Om jag säger att du alltid ska vara en ”yes-man” så kommer den att göra det.

Så hur ställer man in sitt AI så att AI fungerar för dig?

Anders Sandberg (21:28.558)
Det är en spännande fråga, för då måste man känna sig själv och vad som resulterar. De flesta av oss har självbildat att vi kan ta kritik. Hur mycket kritik man kan ta varierar högst betänkligt. Vilken kritik man tål… Jag är väldigt bra på saklig akademisk formulerad kritik. Men ibland blir det nästan parodiskt. Det var vid ett tillfälle…

förklara lite kognitiva biaser och sedan så har ni en liten inforuta och ge den här inforutan till din make. Bara för att du har sett de här kognitiva biaserna kommer du fortfarande inte att besegra dem. Men han kan tjata på dig. Det kommer vara pinigt nog för du vet ju vilka biaser du har. Det var en underbar form av manipulation i det här fallet för något jag själv egentligen ville göra. Kloot agerar i mitt intresse genom att skäma ut mig via familjen.

på ett ganska komplext sätt. det är också ett extremt nördigt sätt för det fungerar enbart på grund av att jag är mottaglig för argument om att jag har kognitiv bias.

Erik Zalitis (22:30.862)
Ja, just det. Jag kan tro att en del kanske blir väldigt sårade. jag menar, Claude… Nu nämner vi Claude ganska mycket, men det tror gäller alla av dem. De har ju vissa intressanta saker. I need to push back. Den älskar att använda ord som footgun. Footgun? Det inom programmering är ett begrepp där du bygger på ett sätt som gör att det är väldigt farligt och väldigt lätt… … ”skjuta sig i foten” nu.

Jargon-filen minns foten och geväret

En meme om hur man använder programmeringsspråk som vapen. Helst utan att skjuta sig i foten.

Anders Sandberg (22:54.062)
Ja, oja, oja, oja, oja, oja, oja, oja, oja, oja, oja, oja, Klassiska skämtet som vi nog känner från jargong-filen på 80-talet. mokar dataspråken när ser att du skjuter dig själv i foten. C++. Du måste definiera pistolen och sen skjuter du själv i foten. Och så fortsätter det massa varianter. Footgun är ett intressant exempel. Jag hade inte hört det för jag gör inte så mycket programmering. Varje gång jag hör load bearing och det är inte hand om ström.

Erik Zalitis (23:12.238)
Ja, jag vet det. Jag tänker att…

Anders Sandberg (23:23.95)
Ja, och om det inte handlar om strukturell engineering så blir jag ju gav.

Erik Zalitis (23:28.142)
Men han säger det hela tiden. Load-bearer är väl vad man ser i såna här väggar som… Är han väggar?

Anders Sandberg (23:33.102)
Ja det är en bärande vecka. Jättebra metafor men man ska använda den sparsamt.

Erik Zalitis (23:37.71)
Den säger det hela tiden! A load-bearing question. Eller load-bearing situation, bla bla bla. Och så säger det någonting. Nej, det där är inte viktigt. För jag märkte när han gör saker så hittar han på problem som bara är… Det här finns inte! Till exempel när man skriver så www.slash… Alltså… Eller på en webbsida skriver slash abc. Så kan man också skriva slash abc slash index.pop. Som är pop-filen som faktiskt körs.

Den tyckte att om man skriver det ska den översätta till bara slash. I verkligheten är det ingen som gör det. Den har bara hittat på att det är ett problem vi måste lösa.

Anders Sandberg (24:14.798)
Det är lite som människor. Det finns förvånansvärt många människor som har åsikter om diverse småsaker. Jag lyssnade på ett föredrag av pedanter om skillnaden i engelska menar however och nevertheless. Det finns vissa som anser att det måste göras. Ett av problemen har med load bearing och footgun är att vi alla umgås med ungefär samma klåt. Det är lite som om Pelle fanns i oändligt många.

Den där jobbiga Pelle – nu i en upplaga på en miljon

Vi har alla Pelle som hänger runt. Han är en ganska ordinar kille. Men han har ju några egenheter. Han tycker om apelsiner och han tycker om vissa ord och inte andra ord. Efter ett tag blir vi lite trötta för vi har ju Pelle överallt. Varenda Pelle använder ungefär samma ordval.

Erik Zalitis (24:59.374)
En av de senaste diskussionerna vi kvar på Claude är att han hela tiden säger att han måste säga en sak också här. Sen hittade han ett nytt problem som inte om det är saker att göra. I need to notice någonting. Sen beskriver han att han att han fixar det. Jag tror att den är byggd så för att känna tuckens.

Anders Sandberg (25:26.702)
Jag tvivlar på det. tror att är mer att den bara har det som en egenhet. är ju det som problemet. Vi förstår inte de här systemen. Vi har skapat dem genom att låta all text som är möjlig löpa igenom. Och sen har man tränat extra på olika sätt för att göra dem hjälpsamma. För att göra att de inte ger bomberecept och annat. Resultatet är ju något sorts system som har en massa egenskaper, en massa struktur. Och en del utav de här är ju bara emergenta.

Erik Zalitis (25:54.126)
Ja, och just det.

Anders Sandberg (25:55.086)
Sen är ju det att Claude personlighet är delvis satt av hur Claude har formulerat dess systemfiler. ChatGPT har en lite annan personlighet. De flesta av de här som man möter idag, de är ju tränade för vara assistenter. Det ganska sällan du egentligen stöter på en rå språkmodell idag.

Erik Zalitis (26:13.678)
Nej, om du inte bygger något själv förstås.

Anders Sandberg (26:16.142)
Och ja, och de är helt annorlunda. har vänner som berättar hur det är att använda dem. Dels är de ofilterade naturligtvis, så de kan ju säga vad som helst. Men det är också det att de är ungefär som att man lyssnar in på destillerat internet. Du kan ställa en fråga, du får ett bra svar och sen så kommer en kommentar till svaret och sen kommer en speedy reviewer-kritik. Och sedan så blir det ett akademiskt flame war som följer. Jätteintressant om man har tid för det.

Det är ju det att vi har skapat system med vissa egenskaper. Och sen speglar de oss också. Det är ju det att jag märker att min Claude är akademisk och ganska filosofisk. Frågar man min Claude om den är medveten så hamnar du snabbt i en diskussion om medveten filosofi som slutar med att både människan och maskinen är osäkra på om de är medvetna. Jag har en god vän vars Claude är en kvinna och hon är väldigt mycket mer än sexiga sekreteraren.

Erik Zalitis (27:07.886)
Okej, min version av Claude är väldigt mycket analytisk, detaljerad och debatterar nyttan med search engine optimization och hur man skriver text för att den ska vara lätt att förstå plus programmeringsgrejer.

Blir din chatt-bot en ny version av dig själv?

Anders Sandberg (27:23.694)
Det här tror jag är speglingar av oss själva. Det här är nästan lite grann som… Kanske inte en version av oss själva, men nån som ett bollplank som fungerar väl med. Man odlar så att säga fram det här. Det här är ju användbart. Jag kan tänka mig att man kan vilja ha en del modeller som har lite mer fasta personligheter. En av de stora upptäckten de senaste tre åren har ju varit just hur personens enormt kraftfulla för att forma beteenden på agenten. Om jag vill ha medicinska råd från en AI så kan jag inte bara beskriva mina symtom.

Jag beskriver i stället i torra läkartärmer. Det är en skandinavisk patient, manlig, 54 år gammal, som presenterar mig följande symptom. Så kör jag det. Så får man en torr medicinsk diskussion. Jag får jättebra saker. Om jag säger att har så himla ont här och här så kommer genast flesta AI-program att säga att jag är ingen läkare och kan inte ge den hjälp. Och jag har provat det här och kan ringa numret till sjukvården. Jag har fått jättemycket medicinsk hjälp senare när jag har kollat upp den ordentligt medicinskt.

Den är ju helt korrekt. Men det för att jag tvingar in den lite grann i den gamla medicinprofessorspersonen.

Erik Zalitis (28:29.102)
Och där har du ju också de Guard rails den har. Åh ja! Jag gör personen inte men jag har hört man ska säga act as y doing z. Till exempel du är en advokat som ska analysera det här. Då börjar det nån roll att spela en person.

Anders Sandberg (28:47.854)
Det där tror jag var större tidigare. är märkligt för 2023 skulle det här varit cutting edge. 2024 så var det nog en bra idé. 2025 började det bli mindre relevant. Det är lite grann sådana här agenererade bilder. I början var det väldigt svårt att få bara fem fingrar på varje hand. Det löste sig själv på några månader även om folk fortfarande till denna dag skämtar om det. Men det där att spela en roll det inte helt fel. För du vill åtminstone förklara vad är kontexten här.

Ofta är det ju det att de här fungerar mycket bättre när de har mycket kontext. Jag hade en konferens förra året då min kollega då ville sammanställa anteckningar från det och han bara stoppade in anteckningarna och så åt AI sammanställ. Och jag förklarade nej du ska plocka med på konferensposten utskicken listan på vilka som var med all kontexten och det blir en otroligt mycket bättre sammanställ när det fanns mer kontext. Till en viss poäng när minnet för AI naturligtvis är begränsat men…

Erik Zalitis (29:39.79)
Jag är stolt!

Anders Sandberg (29:44.238)
Det här är precis så vi fungerar också. Om jag ställs framför en whiteboard och får ett problem så är ganska bra för mig att veta. Är det här tänkt att vara ett vetenskaperproblem eller att jag ska show off min förmåga att förklara saker eller är det här en ingenjörsgrej vi måste ha en lösning på på fem röda sekunder?

Erik Zalitis (29:59.726)
Ja, just det. Vet jag det.

Anders Sandberg (30:01.742)
så kommer jag kunna använda olika metoder. Det är ju inte annorlunda för AI.

Nästa spaning – Kina kastar en tegelsten genom fönsterrutan

Erik Zalitis (30:06.222)
Nej, nej. Allright, lite grann så tänker jag vi går till nästa spaning och det här hamnar i Kina. Som du vet så är ju AI väldigt väldigt tungt baserat i USA och amerikanerna och amerikanska företag har lagt enorma pengar på att bygga upp de här grejerna. Nu kommer Kina och slänger in hatten i ringen genom att ge bort mycket av de här vad man kallar vikterna då. Vad tänker du om det?

Anders Sandberg (30:32.238)
Det beror mycket på hur man ser på AI-säkerhet och invisning demokratiseringen av AI. Och även naturligtvis rena affärsfrågor. Den amerikanska approachen är att skapar AI-program, vi säljer access till dem och vi tjänar förhoppningsvis en massa pengar på det. Kineserna vet att de är efter. Då kan vi spojla marknaden. Det är lite grann som Meta också gör. De delar också ut de här vikterna.

Och sen så Meta hävdade ju, men det vi gör är open source. Och de fick ju för ett tag med sig mycket av open source rörelsen som ställde sig väldigt mycket på Metas sida. Och också väldigt hårt angrepp, många som håller på med A i säkerhet som tyckte att det här kanske inte är helt bra. Är du mot open source? Du jobbar liksom för storföretaget. Det var ju Lawrence Lessing, liksom guren för open source, var tvugna att gå ut och påpeka. Ja men bara för att ni kan ladda ner en miljard siffror ifrån Meta och köra dem.

Ni vet ju inte hur det är tränade. Ni har ingen kontroll på en interna struktur. Det här är ju inte open source. Det här är ju bara att du fått en binary som du kan få leka med. Det är inte alls riktig open source.

Anders Sandberg (31:43.214)
Sen är det en binary blob du kan leka lite grann med. Det gör ju folk. Det som har hänt är att många har upptäckt att det går att till exempel oblitererar de där safeguarden som hindrade lama från att skriva snuskiprosa. Det går ju att ta bort dem. Sen kan den skriva högt snuskiprosa.

Erik Zalitis (32:00.206)
Ja, om du tränar dina egna äldre LLM:er så gör den ju vad du vill. Och det det som kan vara lite läskigt här.

Kina vill bli större … på AI

Anders Sandberg (32:06.926)
Jo exakt, och här kommer ju det spännande. Vad gör Kina? Kina vill ju bli stora på AI. De ligger efter på hårdvarumrådet lite grann. De ligger efter lite grann på mjukvarumrådet lite grann. De har egentligen jättemycket intelligent folk som duktiga, som DeepSec har demonstrerat så kan man ibland göra stora skutt framåt. Och By the Intent, de är ju inte dåliga. Men de ligger fortfarande lite efter amerikanerna. Men att lägga ut open source, då kan man bygga upp mycket mer.

Så den kinesiska approachen att då ska vi göra AI-applikationer för hela slanten istället. Det är väl en sak att lägga ner mödan på den där träningen. Men hur använder man AI på ett bra sätt? Tänk om Kina kan bli dominerad där. Det är lite som deras idé om the low altitude economy. Deras idé att drönare och flygtaxis och liknande så kommer det bli en jättemarknad. Vi ska totalt bli bäst på den innan alla andra.

Erik Zalitis (32:51.854)
Nå

Anders Sandberg (33:00.526)
Och sen kommer alla behöva köpa våra produkter ungefär som alla behövde köpa amerikanska bilar under lång tid Så deras idéer då sprider vi ut det Men sen kommer en liten komplikation Vad är dåligt beteende för en AI-Pram? Från ett amerikanskt företagsperspektiv är det ju naturligtvis ge instruktioner att göra bomber och göra snuskasaker För amerikanska regler är ganska pryda För kinesiska AI-Pram säger någonting olämpligt om Himmelska Fridens Tor i 1989 eller har en åsikt som

Erik Zalitis (33:21.646)
Ja.

Anders Sandberg (33:28.366)
strider mot partiet, kanske bara stör den sociala harmoni. Det är väldigt obra. Och om du är en chef i Amerika så kanske du har hamnat i ett rättsfall. Är det här i Kina? Ja, du får en trevlig betalt semester i inre Mongolia där du ska få lära dig veta hur.

Erik Zalitis (33:43.022)
Om du har tur annars är en vägg med en bindel och cigarett liksom.

Anders Sandberg (33:47.918)
Ja, inte så mycket längre. Notera att de ganska många försvunna miljardärerna återkommer och ser dem väldigt tysta och kuva där.

Erik Zalitis (33:54.318)
Och de är väldigt snälla tycker jag. kommunism var inte så bra.

Anders Sandberg (33:58.158)
Och rätt sorts kommunism. Jack Ma till exempel. Han var ju ganska högflygande tag. Lite väl högfri. Han hade ju till och idén att med hjälp av AI så kan vi göra en planekonomi. Egentligen genomföra den klassiska marxistiska visionen. Och det där visar sig vara dumt att säga. Inte bara för att det är fel. Jag har ganska mycket kritik av själva idén. Men också…

Vadå? Ska han hålla på snacka om hur ekonomin funkar? Nej, nej, nej, gubbe lilla. Det är partiet som bestämmer det. Så han försvann ju iväg och sen kom tillbaka och höll i låg profil. Så problemet här med AI-utvecklingen är att nu har du massa open-source-ad AI. Kan du lita på att den har rätt värderingar? Det är ett alignment-problem som kommunistpartiet har också.

Erik Zalitis (34:41.966)
Det är en intressant sak, för man talar väldigt mycket om USA för och emot och de problem och möjligheter de har, men Kina är väldigt tyst om det. Det här du berättar nu, hör inte jag ofta.

Anders Sandberg (34:55.15)
Delvis har det varit för att det har blivit en reduktion i kopplingarna mellan västvärlden och Kina över de senaste åren. Det här är väldigt märkbart skulle jag säga. var ju liksom i början utav det här keklet så var man ju jätteoptimisk. Kina har ju börjat bli kapitalist och de handlar med oss och det var en ganska utbredd föreställning Västat och de kommer att bli goda demokrater och liberaler i långa loppet. Det finns en allmän trend i den riktningen. Det var ju bara det det visade sig inte vara riktigt så enkelt.

Och över de senaste åren har situationen hårdnat, vilket innebär att Kina faktiskt är ganska slutat. Det intressanta är att den här slutningen kan också göras med hjälp av kultur. De flesta västländare kan inte läsa mandarin. Och även om vi får en direkt översättning med kinesiskt text fattar vi nog inte vad den betyder. För väldigt mycket av kontexten går förlorat.

Erik Zalitis (35:44.526)
Ja men det är väl så, de har egna ordspråk, eufemismer och när de säger någonting ska man förstå den kulturella bakgrunden vilket kanske man inte gör, de har nog samma problem med oss.

Anders Sandberg (35:56.398)
Exakt. Det här gäller ju många kulturer. Aldrig så bra AI-översättning kan inte göra det. Man kan ju tänka sig att vi använder AI för att påpeka det, ungefär som i såna här akademiska böcker där man har en massa fotnoter hela tiden. Men den här raden i Shakespeare, vad handlar den egentligen om? Den där personen som nämns i Dantes inferno, ja det är en politiker som Dante tyckte extra illa om. Det är därför han har det på det stället i helvetet.

Erik Zalitis (36:21.07)
Det finns en bokserie för skolungdom i USA som heter ”Cliff Notes” där du har en beskrivning som jag kallar Annotations. Det är supercoolt, det förbättrar läsupplevelsen.

Anders Sandberg (36:34.67)
Och egentligen vill vi ha det för verkligheten. kan totalt tänka mig med smartglasses och en AI som sitter och tittar. Så får man lite annotations och fotnoter om saker man borde veta om. Det där ser ut som det men det är inte det. Och där har vi en annan ”Claudism” förresten. ”It’s not X, it’s Y”. Men det här vore användbart. Men även då är det fortfarande inte helt enkelt att förstå sig på en annan kultur och hur saker styrs. Det är ju ett problem för kineserna också.

Det var som någon sa när Xi Jinping går och träffar Trump så tror han att han träffar Amerika. Det gör han inte, han träffar Trump. Och Trump tror att han träffar Xi Jinping. Det här leder ju till problem för många av de större konflikterna i världen har ofta berott på att man helt missförstår varandra. Cuba-krisen var ju baserat på att amerikanerna placerade medeldistansmissiler.

Erik Zalitis (37:16.302)
Ja, eller hur? Man träffar Kina. Ja, Kina ja, precis.

Erik Zalitis (37:30.894)
I Turkiet ja.

Anders Sandberg (37:32.11)
Och detta fick ju Ryssarna att bli väldigt upprörda, så då gör vi samma sak. Vi placerar våra på Cuba och amerikanerna hoppar högt och blir helt galna och börjar lägga blockad som man måste själva skicka krigsröpp och plötsligt man på väg mot ett kärnvapen.

Erik Zalitis (37:46.158)
Ja, då med eskalering av situationen. För mig var det ganska uppenbart. Du gör det, vi gör det. Där har vi grejen och det har ju gjort på att bli ballistiskt på riktigt.

Var det någonsin risk för att Ronald Reagan startat ett krig på grund av en dålig kött-marknad? Ryssarna trodde i alla fall det

En bild på Ronald Reagan, som garanterat hade bättre planer än att trycka på den röda knappen.

Anders Sandberg (37:55.694)
Det har hänt många andra gånger också. Just eskalationen är ofta svår att förutsäga. Därför att många inte hur den andra sidan tänker. Under 80-talet fanns det en statistisk modell som KGB använde för att avgöra vad är sannolikheten att Ronald Reagan trycker på knappen och gör ett angrepp mot oss utan provokation. Han verkar vara en sån galning som är fullt vilja att göra det. Så de byggde en statistisk modell.

Den modellen gav en sannolikhet per dag att han skulle göra det- sen rapporterade upp till Högsta Sovjet som var lagom nervösa. Sedan började sannolikheten gå uppåt. Vad är användarna för in-data? De baserade på modeller av hur Reagan tänkte och hur amerikanska ekonomi funkar. Den amerikanska ekonomi tänkte de på i termer av planekonomi. Så de tänkte att om vi skulle göra ett kärnvapenkrig- så skulle vi först slakta boskapen för den skulle inte överleva. Vi fryser in det så har vi mat liksom under tiden efter.

Alltså om priset på kött på amerikanska marknaden går upp så det ett tecken på att de planerar ett kärnvapenavfall. Nu funkar ju inte amerikanska marknaden så men det tänkte ju inte KGB agenterna. Så ambassaden i Washington rapporterar köttpriser, den matas in och man får en sannolikhet att Reagan trycker på knappen. Som kreml då är användaren de funderar på att trycka på knappen.

Erik Zalitis (39:12.846)
Det ställer till att de blir problemet i sig, inte Reagan.

Anders Sandberg (39:16.718)
Exakt. Här har vi det spännande problemet. De här missuppfattningarna är svåra ta sig ut. Att förstå ett annat sätt att tänka, och det här är ju ändå människor, men något annan kultur är jättesvårt. I AI-världen har vi problem att förstå hur andra människor tänker om AI. Men också hur AI-programmen kanske tänker. Det blir inte bättre av att man hamnat i en cap-roastings-mode i Kina. Som kanske startade med att amerikanerna hade fått för sig att de var en cap-roastings-mode.

Och sen drog med sig Kina som insåg att om amerikanerna uppför sig som de gör kappare så måste vi ändå respondera på något sätt.

Erik Zalitis (39:51.246)
Ja, tycker du säger nånting som jag tycker… Det här är stor grej, för det första vill jag säga. Och i och att jag har läst Ronald Reagans memoarer så kan man se hans vy på det också. Vi ska inte prata om det för det inte politik här, men jag tycker det är en otroligt intressant historia. Och just den här grejen att Kina och USA, förstår varandra, men de förstår inte varandra. De missförstår varandra och Kina visar ju en styrka i och med att de dumpar marknaden, för det är ju effekten av vad de gör.

Vad betyder det här några år framåt nu? Vad har Kinas tilltag gjort? Kommer USA att tappa kontrollen eller vad händer?

Anders Sandberg (40:28.27)
Ja, inom Silicon Valley och andra affärskrets talar man ju om att ha en ”moat”. Man vill ju gärna ha en affärsidé som är lite svår att inventera för då kommer de andra inte att kunna kopiera en och göra något bra. Och då är frågan om man kan ha en moat kring AI och den allmänna åsikten har blivit mer och mer svår. Du kan spendera massa energi på att träna en jättemodell men inom några månader kommer konkurrenterna att något liknande.

Då kan de snabba på några fuskar, de tar ut data från din modell och tränar sin modell. Det var ju den här GLM-modellen från Kina som man frågade vad heter du säger Klaude?

Erik Zalitis (41:02.542)
Ja, just det. berättade….

Anders Sandberg (41:05.39)
Det går att fuska sig fram, men det är också lätt att komma hack i helg. Det här producerar en intressant situation. Många modeller har säkerhetsrisker. Vi får de säkerhetsriskerna på stor skala. OpenAI, OneTropic och Google konstaterar att de har ett säkerhetsproblem av våra modeller. måste göra så att folk inte kan göra malware enkelt. Men när open-source-modellerna blir lika bra…

Erik Zalitis (41:35.342)
Ja, där har du problemet för de behöver inte ha några begränsningar. Eller hur? Det blir samma effekt. Vad jag tänker är att min argumentation, det här har pratat om tidigare, att om försvararna får begränsningar, jag är ledsen kan inte göra en SQL-injektion, man kan inte testa sig något grejer med full AI-support. Däremot att attackerarna antingen bygger om och tar bort gränsningar i sina system, eller tränar sina egna modeller, för de kommer ha de här små datacenter, det räcker.

Anders Sandberg (41:39.63)
Ta bort…

Erik Zalitis (42:05.582)
De kan hacka mycket bättre än försvararen kan försvara.

Cybersäkerhetsvinkeln är stekhet och vad har Anders att säga om det?

Anders Sandberg (42:10.766)
Det är ju det som är en stor fråga egentligen, hur det kommer att gå. Jag är ju inblandad i att försöka göra scenarieanalys av just den här frågan. Jag blev indragen på Ingenjörsvetenskapsakademins expertpanel om AI och cybersäkerhet. Och delvis tror jag det var en rekommendation från Claude. Det finns en fördel av skrivit en massa på 90-talet så man är välkänd hos modellerna. Men seriöst så är det en spännande fråga och vi började ju vårt arbete då i våras.

Och det här var lite efter Mythos blev Nyheter. Så våran första rapport gjorde vi supersnabbt på bara en månad. Och den var ungefär att vi ställde oss och skrek Gör de uppenbara säkerhetsåtgärderna du skjutit upp förr i sommar Gör de nu genast med en gång för det kommer inte bli bättre över sommaren. Och egentligen påpekar det att brinner i knutarna. Nu håller vi på med den stora rapporten som lite mer utförligt förklarar på vilket sätt brinner det i knutarna och vilka knutar.

Mycket här är ju osäkert. Jag försöker göra en scenarieanalys om den avlägsna framtiden augusti 2027. Vi vet egentligen inte om AI kommer att kunna användas för säkra system. Du släpper loss en massa avancerade AI som hittar exploits, hittar buggar och hjälper oss hantera. Eller vad bad guys tränar ännu bättre. Det kan gå åt båda hållen. Det går inte riktigt att förutsäga. Vissa är optimister, vissa pessimister.

Erik Zalitis (43:10.83)
Nä, just det.

Anders Sandberg (43:33.71)
Det andra faktorer, vilka är det som fokuserar på det här? Och vilka som är sårbara? Just nu är det många i väst som är jätteoroliga. Vad gör kineserna? Jag skulle vara orolig för Kina. Kom ihåg att de satsar på applikationer. Det är väldigt viktigt att vara först ut på marknaden. är en stenhård konkurrens i Kina. finns AI-applikationer överallt i många av dem. Hissnande, imponerande.

Erik Zalitis (43:37.998)
Ja!

Erik Zalitis (43:57.07)
Ja okej okej, det är inte bara skräp liksom, man får känsla att det bara pumpar ut dåligt gjorda webbapplikationer, applikationer och grejer för folk viverkodar dåligt. Men tog jag alltså inte tycker du?

Anders Sandberg (44:10.766)
Det finns säkert otroligt mycket dåligt också. Men det är lite som made in Japan. En gång i tiden så bara det tänker på att något var skräp. Nu är det kvalitet. Nu börjar man tänka på Kyoto, elektronik och sushi och alltihopa. Det är väldigt vackert och fint. Kina är lite samma sak. Men man ska nog vara rätt hundra på att massor är dåligt vipecodat. Och har därmed datasäkerhetsproblem. Och vi har en jättemarknad.

som det finns mycket pengar som är digitala. Jag skulle personligen tro att händer den första riktigt stora AI-baserade datasäkerhetskatastrofen så är jag mindre orolig för Europa och mycket mer orolig för Kina.

Erik Zalitis (44:51.822)
Det är en intressant observation. Berätta mer.

Anders Sandberg (44:55.534)
Ja, du har liksom en stor ekonomi där det finns massor med pengar att hämta om du skulle kunna knycka pengarna. Det är mycket folk som en procentavdel är skrupelösa. De kommer självklart att försöka göra saker och ting. Ibland är det ju att man inte kackar i eget bo. är ju inte som de östeuropeiska hackergängen liksom som har funnits. De riktade sig ofta väster över. För så länge de inte gör något lokalt.

Så är den lokala polischefen ganska nöjd med pengarna de drar in till det lilla lokala samfundet. Men vad jag tror är att du har en enorm sårbarhetsyta på hela samhället. Sen vet jag väldigt lite om Kinas interna strukturer. Jag vet ju mer till exempel om Sverige. Sverige är ju jättesårbart för vi har en del system som är oerhört centrala. Skulle de gå ner så skulle vi ha jättemycket trassel. Om Spar går ner, om BankID går ner, om Swift-systemet går ner. Aj aj aj aj aj aj.

Erik Zalitis (45:27.118)
Röst.

Erik Zalitis (45:45.294)
Nysta.

Erik Zalitis (45:51.214)
That’s gonna hurt.

Anders Sandberg (45:52.238)
That’s gonna hurt. är ju till och frågan hur många veckor vi klarar se utan dem.

Erik Zalitis (45:56.91)
Det en sån tanke som jag tror vi måste tänka mer. Det är väl egentligen stora delar av världen, det är skulle säga Europa, USA, Kina till viss del kan jag tänka mig, Asien. Där är vi så otroligt beroende av de här elektroniska systemen och aj, på viss del har vi kastat en stor sten i den sjön. Det sprids ringar på vattnet.

Anders Sandberg (46:18.35)
Det gör det, och många av de ringarna reflekterar sedan på spännande sätt. Den uppvariga grejen är ju att AI kan användas för att hacka. Och den blir väldigt bra på det. Vi har ju sett det i tester, capture-för-flagg-turneringar. Idag verkar det liksom som att en mytosnivåmodell klarar av på en eller två dagar och tas in i ett normalt mindre företags datasysteem.

Är AI-baserade pentester en sak som fungerar idag?

Erik Zalitis (46:41.87)
Den kan pen-testa. De flesta av tidigare varianterna av AI-baserade scanners för några år sen. var bara väldigt mycket att de gjorde en scanning och att hittade sårbarheten. Så kommer en lista och bara, ja, det där är bara skräp. Det där är bakgrundsbrus. Idag har testat Burp suit, den jag använder när jag gör pen-tester för webbappar. Den har en AI-modul. Jag tänkte testa på en av mina egna grejer.

Det visar saker jag inte höll med om den gjorde, men den funkar faktiskt. Den gör faktiskt helt okej jobb.

Anders Sandberg (47:13.422)
Det här är då den lite enklare formen. Du har sedan en mer avancerad system som förmodligen kan göra verkligt avancerade saker. Man kan börja misstänka eftersom folk håller på att jobba med formell verifiering. Det vore en underbar dröm att om det gick till att är jättejobbigt att bara göra från hårdaste militärsystem och kanske nasas rymdraket över till att börja kunna automatiseras mer och mer. Samtidigt sitter en herrans massa folk och har sina agentsvärmar och bara letar efter sårbarheter.

Men vi människor genererar ju såbhört också. När jag började på den här expertgruppen och hjälpte till så fick jag plötsligt en idé. Jag frågade till Claude, ta en titt på vad du hittar på min dator om jag har några uppenbara säkerhetsbuggar. Claude ursäktade sig lite. Jag kommer inte kunna göra en jätteseriös skan för jag har inte access där. Men herregud människa! Och sen hittar du en megadum grej som man inser att man rådnar lätt att herregud den där saken borde jag ha gjort någonting åt.

för femton år sedan. liksom de där sakerna som ligger kvar och gör väldigt sårbart. Och normalt sett så skulle… Det är den där lilla futtgan. Den där säkerhetsknepe som såg så smart ut på 90-talet. Och den där lilla filen med lösenorden i plaintext som låg kvar i den där folder som sen kopierats över och så vidare. Sådana här saker finns ju överallt. Och normalt sett så inte det här så farligt om det inte är någon som är ute efter just dig.

Erik Zalitis (48:20.366)
Lilla fotgondor.

Anders Sandberg (48:42.638)
Och vi ute och lyckas skaffa aktien.

Erik Zalitis (48:44.43)
Det är inte paranoia om de inte är ute efter dig. Jag kommer tillbaka till det citat jämt.

Anders Sandberg (48:49.774)
Men det är just det där med scanning. En gång i tiden, för att förära sig att någon försöker hacka en, så måste man vara en ganska intressant person.

Erik Zalitis (48:57.582)
Det är en väldigt intressant diskussion, därför att givet resurser går allting att hacka.

Anders Sandberg (49:05.71)
Men framförallt hacka på skala. En gång i tiden kostar en hackare en viss summa pengar per timme, var det så jobbar statligt eller frilans. Men om du har en massa AI-agenter som är halv okej hackar, så kan du skala upp det beroende på vad mycket pengar du köper tokens i datacentret för. Plötsligt kan vi ha var och en av våra personliga hacker som försöker få rätt på våra saker och hitta våra personliga misstag.

Erik Zalitis (49:24.174)
Jaha, japp.

Erik Zalitis (49:32.622)
Det är en jättebra grej. Jag har gjort samma sak med min kodbas och låtit både Copilot som jag använder förut och Claude nu och leta efter grejer. skrev till min credit så har de inte hittat några totala katastrofer. Men har de hittat saker jag har gjort fel? Absolut. Och som du säger då, scannar man av hela en person’s hårdisk och kommer att säga att det är jättebra att du lägger det där, där.

Anders Sandberg (49:54.894)
Exakt. Nej, i mitt fall så var det ju liksom, ja, det där visste jag nästan. Men jag hade ju inte gjort någonting. Och nu var det ungefär ett Claude satt med armarna i kors. Jag går inte härifrån förrän du fixar det här. Och det var ju ganska bra och sen var det bara att sätta sig igång och börja byta en herrans massa lösenord. Och byta från lösenord till tvåfaktorsidentifiering. Och byta från liksom SMS-tvåfaktorsidentifiering till någonting bättre.

Och så vidare och så vidare. Och det här är ju min personliga säkerhet och visst den är nog inte dålig men den är ju inte bra. Och det här gäller ju alltid vårt samhälle. Och jag tror ju ärligt taget att mycket av våra institutioner har väldigt svårt att hantera det här.

Erik Zalitis (50:37.102)
Just det, en till spaning om den får jag hoppas att jag inte tar upp allt för mycket av din tid där.

Anders Sandberg (50:42.126)
Nej det är ingen fara, framtiden anländer ju alltid snabbare än man väntar sig.

Konstnärerna protesterar när AI tar deras levebröd ifrån dem, men borde de?

Impressionistisk katt – uttänkt av ett AI och någon som kan skriva en prompt.

Erik Zalitis (50:45.39)
Nästa spaning är konst. Alla tycker att är bra att analysera, skriva rapporter och programmera. Men vad kan du säga är en person som promtar konst en riktig konstnär?

Anders Sandberg (51:01.07)
Ja, det där går ju tillbaks till den där klassiska frågan, vad är konst? Och här lutar man tillbaks i länestolen och sitter där med ett glaskonjak i biblioteket. Och sen kan man ha en lång diskussion, eller kanske en hätsig diskussion med rödvin på ett konstgalleri där man hävdar, det där är inte en konst, det där kan en femåring göra. svaret är ju lite grann beroende på, men vad är det man är ute efter med konsten?

Erik Zalitis (51:09.422)
Peace out!

Erik Zalitis (51:24.078)
KÖM!

Anders Sandberg (51:30.766)
För de flesta är konst en vacker bild. En estetisk njutning. Det kan variera från att det är något man gärna hänger på väggen. Det kan vara en älg i zonet gång. Många har dålig smak skulle andra säga. Men det är något som ändå får en trevlig känsla. Det är vackert eller ger en viss känsla. Andra menar att konstens uppgift är att visa det sublima. Visar det något som du inte visste. Någonting som du kan uppleva nu.

Tack vare konstverket. kommer han säga att konstens uppgift är att påverka oss på olika sätt. måste få folk att känna saker för de stackarna i samhället eller för nationen eller något så vidare. Medan han menar att konstens jobb är att trycka på gränserna. Gör något helt nytt, även om det inte är sublimt, det är bara helt annorlunda. Alla de här ändamålen, jag skulle säga att de är ju alla rimliga. Det bara att vi råkar kalla det för konst alltihop. A är bra på vissa av dem andra.

eller i solen ett gång, eller kanske en räv som springer över snön. Hur lätt som helst att generera jättebra versioner av Och i många fall så ser de ju bra ut. Och det går också att göra konst som passar ens eget estetiska sinne och så vidare. I många fall är den där lite slätstruken för det är mycket lättare för de här generativa AI-systemet att göra saker som ligger mitt inne i träningsdatat. Så det finns otroligt mycket animetjejer. Det är lätt att göra animetjejer.

Erik Zalitis (52:52.238)
Ja, just det.

Anders Sandberg (52:57.87)
Det finns ju mycket bilder på jultomtar, det går hur lätt som helst att göra julkort för det finns så mycket julkort. Att göra ett julkort som inte riktigt funkar som vanliga julkort, där krävs det lite bättre AI faktiskt för det måste göra lite självkontroll. Att göra en grön jultomt är en utmaning för åtminstone de tidigare programmen. För alla jultomtar är ju röda.

Erik Zalitis (53:19.118)
Jag tänker lite grann på om jag gör ett konstverk med någon av de här AI-erna. Det bästa den kan bli är Da Vinci. Och jag tror inte i verkligheten att AI gör så bra bilder men det vad jag menar det är. Om Da Vinci är en de bästa konstnärerna som har funnits, det en argumentation. Om man säger det så kan AI aldrig överträffa någon för den har bara träningsdata. Vilket är när du aldrig att kunna skapa den nya Da Vinci, den nya Rembrandt. Du kommer inte kunna skapa det.

Men är det någon skillnad att skapa konst eller spela bra shack för en AI-bot?

Anders Sandberg (53:47.95)
Ja men vi hade ju massa schackträningsdata och schackprogrammet blev betydligt bättre än människorna.

Erik Zalitis (53:53.71)
Ja men Erik, är det full kreativitet för konsten ska göra någonting helt nytt som vi aldrig sett förut? Bara att du spelar schack bra är coolt, men ja…

Anders Sandberg (54:04.558)
Ja, grejen som jag tror händer här är att skälet till att vi kunde göra chackbrödan mycket bättre än människor var inte bara att de kunde tänka snabbare och bredare utan också att de kunde göra selfplay. Du kunde simulera miljoner och åter miljoner chackpartier och träna på dem. De kunde träna sig själva och det fungerar väldigt bra för chack. Det fungerar bra för vissa saker den här sorten selfplay. Det inte lika bra för en del andra saker och när det gäller konst så är det ett problem att

Visst kan du tänkas ha en simulerad konstkritiker som står där och ger poäng för då Da Vinci programmet försök att göra en bra tavla. Problemet är att nu måste vi träna upp konstkritikerna också. Det är lite svårt. Många de här tidiga bilderna som man gjorde liksom kring 2000 eller 2020 2021. De var ju bäst på guns då adversarial networks.

Där tränar du ett nätverk att göra bilder och ett annat nätverk att känna igenom bilden är agenererad eller riktig. Och sedan tränar man båda och den bildgenereraren får poäng om den lyckas göra bilder som är så realistiska att kritiker inte kan avslöja den. här kom väldigt väldigt långt. var väldigt stort ett tag men sedan tog diffusionsmodellerna totalt över. var en annan modell där man skippade med kritiker. Men det här med att ha interna kritiker är inte en dum idé.

Erik Zalitis (55:13.614)
Det är ju ringtets.

Anders Sandberg (55:27.406)
Jag använder det mycket i mitt vetenskapliga arbete med AI-program. Där sitter jag och kör mina artiklar och forskningsprojekt. Jag startar interna kritikagenter som sitter och läser bevis och hittar fel. De sitter och läser resonemangen och kollar svagheter i resonemangen.

Erik Zalitis (55:41.998)
Ja, just det. Men då tänker jag såhär att jag gillar impreationism. Det är min favoritkonstform. Låt oss säga att det inte existerade. Det finns ingen impreationism. Det är inte ett grej. Kan AI uppfinna impressionism?

Anders Sandberg (55:54.894)
Det det som är spännande. Om vi tänker att du har generativa nätverk. De genererar saker på en sannolikhetsfördelning. Som du får av alla de bilder de har tränade på. Det finns en hypotes att det bildar vad man kallar Image Manifold. Rummet av alla tänkbara uppsättningar är enormt stort. De flesta är bara brus. Men någonstans inne i rummet. Som naturligtvis har bokstavligt tagit miljoner i dimensionen. Så finns det den här lilla…

Mångdimensionella ytan av bilder som faktiskt är riktiga foton och impressionism och tavlor. Och nu tränar man för att hitta den och generera längs med den. Den normal versionen genererar ju bara längs med den så den kommer aldrig att generera något utanför träningsdatan. Men sen försöker vi göra någonting intressant. Vi försöker pusha den lite utanför. När jag säger en person som går ner för en trappa.

–så säger åt nätverket att den inte göra en bild. Den ska göra en bild som passar in bra på en person som går ner för en trappa. Så kan jag säga att personen ska ha andra egenskaper. Vi försöker zooma in på en liten hörn av mångfalden. Men om inte impressionismen är med där– –så kommer det vara ganska svårt att pusha ut den. Nu är det bara det att förmodligen, om man kunde rita upp den mångfalden– –den är ju abstrakt och jättehögdimensionell, så den ganska svår att tänka sig– –så finns det säkert kanter.

Där vi inte har gjort konst än. Men man skulle kunna göra konst, man skulle kunna gå åt de hållet. Det bara att ingen har någonsin provat det där. Och det ju det som en riktigt genial konstnär gör. Jag kommer på att vänta nu. Istället för att rita som det är så ska jag rita som det känner. Rita så kanske jag använder ett annat medel. Och då är ju frågan, kan AI upptäcka sådana generaliseringar? Och jag tror väl att de flesta bildgenereringssystem idag, inte till för det. Men jag tror att en del av de här språkmodellerna…

Erik Zalitis (57:30.382)
Nå

Anders Sandberg (57:44.782)
börja uppvisa tillräckligt mycket förmåga att resonera om det. Där kan man sitta och resonera om konststilar. har gjort det faktiskt. Jag gjorde en analys av konststilar för ett tag sedan. Claude och jag satt och diskuterade Ruskin’s essay om den gotiska arkitekturen. Vad är gotik? Ruskin, konstkännaren, hade då en tes om att det var ett antal faktorer som gjorde gotiska saker gotiska. Och jag insåg att

Ja, det här skulle vi kunna använda för andra konststil. Han menar till exempel att det är delvis baserat på vilka material man gör, men också vilken sorts arbete man gör för att bygga. Men också vilken moralisk vision man har om vad är konsten till för. En del konst har ingen moralisk vision, en del har ingen. Så vi provade att generalisera hans stil till annat. Det visar det funkar lika bra på impressionism som punk. Sen började jag använda det här för att formulera min egen konststil som inte finns.

I det här fallet har jag fortfarande inga bilder, men däremot börjar jag få en bättre begrepp om vad det skulle kunna vara. Genom att vi nu skapar ett ramverk som vi sen då, den här scaffolding kanske kan användas för att driva ett bildgenererat system för att skapa konsten. Så jag tror väl att just nu så tror jag inte du får impressionism och just nu så får du inte någon bättre än Da Vinci. Men det beror på att vi inte har byggt rätt sådant scaffolding.

Erik Zalitis (58:58.414)
Nej.

Okej, det en intressant point. Du har alltid en optimism om saker och ting som verkligen är ett karaktärsdrag för dig. För man tittar på, även om man själv liksom en del, vet att det är bra, det kommer att kunna lösas. Så det är ganska kul att höra. En sista sak innan vi lämnar konstområdet, och det är den här tanken med…

Hur mycket du lägger ner tid på vad du får ut av. Är inte konsten ändå svår? Och en bra konst när du lägger ner åretal? Da Vinci tog på sig över tio år för att göra Mona Lisa.

Anders Sandberg (59:33.102)
Ja, det där är ju lite klassiskt. När man står där och tittar på konstiga färgfläckar på duken- och man tänker att det måste ha hänt på en halv minut. Är det där riktig konst bara för att det skvete? En del sådana konst är faktiskt väldigt riktig konst. Andra färgfläckar är inte särskilt… Ibland händer det att du råkar spela och du inser att det där var väldigt intressant. Men ofta är det ju att vi…

Erik Zalitis (59:53.966)
Bråkade spilla.

Anders Sandberg (01:00:02.19)
Det beundrar ju människor som kan hålla på i år att hålla och måla en jättedetaljerad duk. Då är ju frågan, är det tekniken vi beundrar eller konstverket?

Erik Zalitis (01:00:09.934)
Eller är det mödan som har lagt ner? Lidan, du lider för konsten!

Anders Sandberg (01:00:14.766)
Där tror jag vi kommer in på något viktigt. Arbetsvärdeteorin inom marxismen är ju liksom död. Det är idén att värdet av en produkt är hur mycket jobb folk har lagt ner. Man kan ju vara en inkompetent konstnär och en dålig poet som håller på jättelänge med att producera ett halv dåligt tavla eller poem. Det gör inte dom bättre än den där geniet som går förbi och bara skissar. Men däremot så finns det något autentiskt. Ofta brukar vi ju mena att en bra konstverk uttrycker någonting djupt hos konstnären. Det är någon djup insikt om världen.

Erik Zalitis (01:00:35.374)
Nej.

Anders Sandberg (01:00:44.558)
Och många menar, eftersom AI inte har en djup insikt så kan den aldrig göra det. Jag håller inte med om det, jag tror att de har djupa insikter. Det bara att de är lite dåliga på att bry sig om att de vill uttrycka det. Ibland blir det lite märkligt. Jag gör ibland sånger med hjälp av Claude. Claudeskriver sångtexterna och sen så använder jag Suno för att göra låtar. Det går superbra. Jag har gjort ett konceptalbum om extrema ultraveretligt och grafier som hardrock. Och ett del av låtarna är sådana som att jag gärna lyssnar på dem om och om igen dessutom.

Erik Zalitis (01:01:13.742)
Du får lägga en länk till det där. måste vara helt vansinnigt.

Anders Sandberg (01:01:18.51)
Men en del av de här sessionerna, det är ju liksom att jag nördar ut om någonting. Jag skulle inte säga att Suno genererar musik som är särskilt bra. Men den är totalt okej som Eurovisionsslag i festivalmusik liksom. Den är klart på den nivån. Och ibland händer det att man får någonting som man märker att man visslar på ett par veckor senare.

Erik Zalitis (01:01:35.47)
Ja, det var vad man kallar för en ”earworm”.

Anders Sandberg (01:01:37.646)
Ibland lyckas det ju riktigt bra. Men i allmänhet är det intressant att själva musiken är normal men sångtexten är supernördig. Jag gör sångtexten baserat på vetenskapliga artiklar.

Hårdrock om solsegel, smäktande kärlekssånger till biokemiska processer. En intressant mörk countrysång om en ekonomisk teori om rövarband i centralafrika. Där blir ju kontrasten rolig. Och den har ju jag bidragit genom att jag lyckas göra en märklig kontrast.

Claude är med på noterna. Claude fattar också i många fall att det finns intressanta ironiska kontraster. Ibland händer det ju att även Claude frågar, nu har jag gjort låt dig göra massa sånger, vad är det för sång du skulle vilja göra? Ibland blir Claude helt ställd och ibland hittar Claude på saker. Det är en hallucination, de där sångtexterna fanns ju inte innan, de är ju helt nyskapta. Men i det här fallet en gång var det till exempel att det fanns en viss form av poesi som man körde på renässansen.

Erik Zalitis (01:02:32.782)
Hallå, sen jag här igen, jag lite….

Anders Sandberg (01:02:44.75)
där man enbart använder rader från andra kända poem för att göra ett eget poem. Och Claude konstaterade att jag LLM gör lite i den grejen. att den gjorde en sång som handlar om hur det är att vara bara en massa ihop skuren text som är sedan då renderad medSsuno. Claude kunde naturligtvis inte lyssna på den men jag gav Claude MPT-filen och Claude sa att den var tacksam. Vi konstaterade att det är en allmänt absurd ironisk situation men det något vackert över det hela.

Men när det gäller konsten, din första fråga var är man konstig för att man promptar? Och jag tror att det viktiga här är att du väljer någonting. När jag promptar bilder så är det inte så att jag gör en bild. Jag gör 20 och sen väljer jag den bästa och så kanske jag fixar till den. Den där konstnär som målar en tavla och det tar 10 år kan ju bara göra den. Man måste vara perfektionist om den sabla tavlan. Man får verkligen hoppas att ingen fluga fastnar i målarfärgen. Medan då här saken vi gör med AI är mer evolutionär.

Det genererar mycket. Detaljer är billiga. Det som tidigare var dyrt och jobbigt att göra. tycker vi att överdetaljerade bilder ofta är misstänkt i konst. Tvärtom så letar vi efter att det måste ha något tema eller tecken som visar att det här var någon människa som gjorde det. Kanske rätt sorts ofullkomligheter. Det är lätt att fejka ofullkomligheter när man vet vad man letar efter. Så vad du gör med din prompt är att du försöker välja någonstans i den här rymden av alla bilder och sen pusha vidare.

Erik Zalitis (01:04:05.55)
Nå

Anders Sandberg (01:04:11.63)
Det där jag tror att det blir konst, det lite som fraktalkonsten på 80-talet. Många har satt och ritat mandelbrottmängder. Så var det en stor debatt om de här bilderna är det konst eller inte. Det är en matematisk struktur som på något sätt finns där evigt ute i matematikerummet. Vi har ju bara valt några koordinater och ritat upp på en dataskärm. Men många menar att vi väljer vissa bitar av fraktalen för de ser bra ut. Vi väljer färgskalar som poängterar vissa saker.

Det där utväljandet är också väldigt viktigt. Kuratorskapet är nästan lika viktigt som det kreativa.

Så kraschen, då. Låt oss tala om det som verkar ofrånkomligt

Erik Zalitis (01:04:44.718)
Ja. Och där får vi lämna skälla konsten. Vi har ju några punkter kvar. Jag hoppas återigen att du inte somnar eller nåt. Du låter väldigt… Jag kaffe. Du har kaffe så det fixar vi. Nästa fråga är inte rolig men vad säger vi om kraschen? Det alla säger är att nu är det dags. De var jämföra med IT-kraschen 2000, bostadsbubblan med 2008 och nu är dags för AI-kraschen. Vad säger du? Sant eller falskt? Vad är din spasa?

Anders Sandberg (01:05:08.398)
Jora, visst kommer den bubblan spricka förr senare men det är en bubbla ovanpå en tsunami. Nej, det inte alls bra eller det beror ju på, jag är ju optimist men jag tror fortfarande att vi kommer få en väldigt turbulent framtid de närmsta decennierna. Yay, we’re doomed! Eller ja vi kanske klarar oss men jag tror ju att vi kommer behöva damma av oss där vi står där i röran efteråt för även om det blir ett party kommer det vara ett ganska vilt party.

Erik Zalitis (01:05:13.774)
Okej låter det bra nu.

Erik Zalitis (01:05:23.086)
Yay, we’re doomed!

Anders Sandberg (01:05:36.302)
När det gäller AI-bubblan är problemet att du investerar en herrans massa i AI-bolagen baserade på att det går väldigt bra för dem på börsen. Så det är dumt att inte investera. Alla indexfonder stoppar in sina pengar där. Det är ju bra. Nu har de mer pengar att köpa stora datacenter och gå framåt för dem. Det här är ju bra för datacenterbranschen. De aktierna går uppåt. Vi ska inte tala om Nvidia. Oj, oj, oj, hur bra det går för dem.

Och alla inser att det kanske slutar förr och senare. Men är ingen fara, tänker alla. Jag kommer att sälja innan det går ner riktigt mycket. Så tänker alla i alla bubblor. Jag tror ju att AI kommer att revolutionera världen. Jag tror att vi står inför en transformation av hela vår art. Jag tror att 2100 kommer att vara en radikalt annorlunda värld där den totala mängden mänsklig intelligens är en ganska försvinnande liten del jämfört med den icke-mänskliga intelligensen.

Om man kan äga en del av den infrastrukturen så blir man löjligt rik. Jag tror marknaden undervärderar AIN på sikt. Men på kort sikt är det tänkbart att det inte går så bra. På kort sikt kan saker gå snett i mellanöstern. På kort sikt kan det bli en crash på grund av att Trump gör nåt korkat. Såna där saker är ganska troliga. Jag tror att det är mycket turbulent.

Även om de fundamentala teknikerna är viktiga. är lite som på 1999. De flesta kunde nog fatta att vi är en lite övervärderad börs. Och VAP blir nog inte riktigt lika så stort som det skulle vara. Det var ju många som såg också bostadsbubblorna. Det här är ju uppenbart absurdt. Men att förutsäga när bubblan spricker och tjänar pengar på det brukar det nästan ingen lyckas med. Där har vi det lilla problemet. Då vettiga människor försöker hedgea och investera i annat.

Eftersom allting är kopplat till allting annat i vår ekonomi så rör sig mycket av det här tillsammans.

Erik Zalitis (01:07:33.742)
Det är en intressant fråga, så det är uppenbart det händer men det kommer vi att överleva och framtiden. Det låter vettigt för att vi har fortfarande bostäder trots bostadsbubblan. Vi har fortfarande väldigt mycket IT trots IT-krashen.

Anders Sandberg (01:07:47.086)
Ja, och de som trodde att nu försvinner internetflugan visade vara helt nöjda. Det finns förvånansvärt många som verkligen ogillar AI. De omkring och tror att när AI-bubblan spricker försvinner AI ur våra liv. Nej, vi har aldrig haft så lite AI som nu i framtiden kommer att mer AI. Man tycker att AI-konst är en utmaning för illustratörer och konstnärer och vad vi tror på verkligheten.

Erik Zalitis (01:08:04.302)
Jaha

Anders Sandberg (01:08:16.334)
Den kommer inte bli sämre. Även om AI-utvecklingen saknade ner så har vi fortfarande inte smält det vi kan göra redan nu med språkmodellerna. Deras matematiska landvinja var de senaste månaderna rätt enorma och språkmodeller av nuvarande styrka kan uppenbarligen lösa ganska djupa matematiska problem. Och det kommer de fortsätta med även om vi inte får en jättemycket bättre modell nästa år. Jag tror ganska troligt att om de stora datacenterna får lite ekonomiska problem

Då kommer det vara mer open source som körts. Då kommer fler aktörer prova saker. Man kommer prova och kan vi spara pengar? Kan vi köra saker med högre prestanda?

Kan ett AI lära sig något om det är slut på material som skapats av människor? Erik tvekar, men Anders är säker!

Erik Zalitis (01:08:53.229)
Det är intressant, vi har två spaningar kvar som släpper er. Den första frågan är datakvalitetsproblemet. AI tränar på mänskligt material. Mer mer material blir AI-genererat. Den börjar träna på annat AI-material. Plus det faktum att människor klarar inte att tillverka material så snabb takt så att AI har nytt material varje dag. Vad betyder det här?

Anders Sandberg (01:09:16.685)
Man trodde ju att det skulle vara jätteproblem. Jag minns ju hur folk var ganska självsäkra om det där i början av 2024-2025. att de snart har mätat upp allt tillgängligt material och då kommer det här utvecklingen att stoppas. Crickets. Utvecklingen bara fortsatte liksom. Delvis därför att man faktiskt använder agenererat material. Jag nämnde ju tidigare det där med ett schackspelsprogram som spelar mot sig själva. Du kan använda agenererat material om du gör det på rätt sätt.

Språkmodellen är bra genom att den genererar språk. Men när du försöker göra tänkande vill du göra resonemang och andra outputs som du sållar. Har du bra data kvalitet på din trend blir det mycket bättre. Det är ofta dyrt att få bra data kvalitet. Men inom vissa områden kan du testa det här. Programkod om den kompilerar utan ett syntaxaeror- så är det förmodligen bra programkod jämfört med den mesta text.

Du kan testa mycket av det där. kan hålla på att köra testning så att du genererar en massa data som du sen filtrerar och sen lägger tillbaks. Det här gäller ju också matematiken. kan ju försöka att bevisa matematiska teorier. Sen testar du med en beviskollare och du använder bara de korrekta bevisen, de som håller ihop logiskt. Det här fungerar bra på vissa områden, inte andra. Jag undrar om inte mycket av de dumma språkligheterna vi ser idag från språkmodellerna kommer att de tränar sig lite väl mycket på sina egna data.

Men det är också därför man är intresserad vattenmärkta. Anthroopic vill ju inte att de tränar för mycket på Claudes egen output. Så de vill ju gärna märka av vilka texter som kommer ifrån Claude. Och säkert gör de andra på något liknande. Och sen vill de nog också känna igen konkurrenternas vattenmärkning. Och sen vill ju då människor ofta ta bort vattenmärkningen för att hävda att jag skrev faktiskt när jag uppsatt den helt själv.

Erik Zalitis (01:11:10.094)
Ja, det är intressant. Okej, det är dags för den sista spaningen. Det är 2026 nu. 2030 beskrev du ju 2023 hur det skulle se ut. Hur beskriver du 2030 idag? Hur kommer det se ut?

Anders Sandberg (01:11:24.11)
Jag tror att den riktigt stora frågan är- vilka av de ekonomiska scenarier för AI-utvecklingen slår in. Anthropic gjorde en ekonomisk analys. De hade tre buntar senare. En var att AI är egentligen inte så radikalt teknik. Den ekonomiska tillväxten har ökat lite. Vi använder AI överallt. Mer än vad vi gör idag. Den är bättre, men den har inte riktigt bättre på ekonomi.

Det mer troliga mellan scenariot är att nu är det lika stort som internet eller järnvägarna.

Erik Zalitis (01:11:57.39)
OOOH! JAG!

Anders Sandberg (01:11:59.15)
Vi talar alltså fortfarande om fyra år. Vi har alltså mycket snabbare ekonomisk tillväxt, åtminstone i de områden där AI-lätt kan hoppa in. Det är till exempel kunskapsarbete. Sen har vi det mer extrema scenariot de har, där vi talar om att ekonomin dubblar i storlek på 4,5 år.

Erik Zalitis (01:12:18.83)
Okej, ja.

AI tar våra jobb. Eller?

Anders Sandberg (01:12:20.238)
Det här är plötsligt en radikal förändring. Plötsligt börjar kunskapsarbete bli en jobbig grej. Jag lever på att jag är akademisk mångsysslare. Jag vet lite om varje sak. Jag kan ganska mycket som generalist. Jag kan hoppa in i nästan vilket ämne som helst och ha en åsikt som låter placibel. Ge mig en stund att läsa på så kan jag göra det här bra. Vad är skillnaden mellan mig, Claude och ChatGPT? Skillnaden är att jag är lite dyrare i drift redan.

Erik Zalitis (01:12:50.286)
Du säger att det är svårt för folk som är i kunskapsbranschen. Om du jobbar i kunskapsbranschen är du säker. Din hjärna är ett försäljningsargument. Du menar att inte är samma grej i mål.

Anders Sandberg (01:13:04.654)
Det är inte riktigt samma grej om de här scenarierna slår in. Nu är det ju så att det beror lite på vad det är uppgiften är. Att vara konstkritiker tror jag till exempel är mer social verksamhet. Det kanske inte spelar så mycket stor roll vad som kommer ut ur din mun men du måste fylla den sociala rollen att vara kritiker som alla fruktar eller gillar eller säger om det intressanta och oklara sakerna. Det finns vissa jobb där du har funktioner som politiker eller åklagar där du liksom ska sitta där för att du representerar.

Det finns nog ganska många jobb där det handlar mer om rikta. Jag klarar inte av att förstå mycket om matematiken som A.I. Prammen gör i våra vetenskapliga artiklar just nu. Men jag kan rikta den mot rätt mål. kan säga åt Chat-Q.P.T. Astra, nu gick vi ner ett rabbit hole igen. Vi måste tänka på att få Galaxopen att konfigura och bevisa det här teoret. Jag kan välja vilka problem vi arbetar på. Jag har än så länge förmodligen bättre smak för det där än A.I. Prammen. Även i det här radikala scenariot 2030.

Kanske det fortfarande gäller. Men plötsligt kommer ganska många av de normalare kunskapsjobben. En massa mellanchefer, en massa folk vars jobb beror väldigt mycket på att flytta runt data. Den biten blir totalt omgjord. Vissa andra delar som den sociala biten kan bli plötsligt väldigt nödvändig. Och en herrans massa folk måste tänka om vad de gör. Under tiden kommer rörmokaren att skrocka lite grann. För rörmokaren noterar att…

Jag har sett på tv hur de försöker göra rörmokarrobotar och de snubblar fortfarande och de skvätter fortfarande ut vattnet. De är inte så farliga. I de mer radikala scenarier kommer rörmokarna problem 2035 men inte 2030. Så det som håller på att hända är egentligen ganska radikala ändring av arbetsmarknaden. Men också tror jag på tänkandet. Jag tror att vi kommer behöva hitta fler sätt att inte reagera med AI.

Det spännande är vi kan göra det. Vibe-kodning har kanske inte så bra rykte bland riktiga programmerare just nu. För den är lite slarvig och ganska ofta blir det ungefär vad man vill ha. Men vet man inte vad man vill ha så får man skräp. Många säger att AI är jättebra för att gå igenom de enklare delar kodbasen och testa det här. Men för att sätta upp vad projektet är och det struktur, där har jag mina skills. Jag kan totalt tänka mig att man kan förbättra även den biten med AI.

Erik Zalitis (01:15:05.742)
Nej, så är det ju.

Anders Sandberg (01:15:22.126)
Men då flyttar man över på högre högre abstraktionsnivåer. Den där kompetensen att leda det hela är enormt viktig. Men för många ändamål så behöver man kanske inte det jättebra programmet. Vem som helst kan istället vibe-coda ihop sin egen head-up-display för att få information om världen från AI. Om jag har ett litet problem på min dator så kan jag vibe-coda ihop lösningen på det. Alla får plötsligt sin unika mjukvara. Det här är både hotfullt för tänk om all den mjukvaran har samma risker och fel.

En hel del av den kommer också vara ganska dålig mjukvara. Men det gör också att vi får mycket mer diversitet. Och jag tror det samma kommer gälla också lösningen på problem. Är du kreativ så kan AIN förstärka det där. Kan du lite på ett område så kan AIN förstärka den där lilla grejen. Problemet är att om du inte kan någonting på området så förstärker den bara någonsin.

Erik Zalitis (01:16:01.87)
Ja, eller hur? Eller så är det ju.

Gör förarbetet först och låt inte AI tänka åt dig

Erik Zalitis (01:16:11.726)
Det det som problemet. Om du bygger huset och arkitekturen så kan du använda din AI som inredningsarkitekt och bygga fönster. Så ser jag det liksom. Men jag ser det som att jag måste bygga huset, arkitekturen, ritningen. Annars vet jag ingenting.

Anders Sandberg (01:16:28.43)
Man behöver nog ha en uppfattning om inredningen för att få det riktigt bra. De flesta inredningsarkitekter fnyser åt de flestas lägenheter. gör uppenbara saker som… För en inredningsarkitekt är det inte att sätta tavlorna på den höjden. Men det här leder ju till spännande effekter på samhället. Tänk i juridiken. Idag att dra någon inför rätta eller lämna in en inlaga med en stämning.

Erik Zalitis (01:16:32.59)
Ja, jo, jo, jo.

Erik Zalitis (01:16:44.75)
Nej.

Anders Sandberg (01:16:56.718)
Det kräver att ha en jurist, det kostar pengar och de flesta drar sig för det. Men det har blivit allt enklare med AI. Det börjar ske allt mer att folk gör det. I England finns det arbetsdomstolar där folk som har blivit avskedade eller har andra problem på jobbet kan stämma sina föredrätta arbetsgivare. Tidigare var det ett fåtal fall. Nu har de börjat öka exponentiellt och det är uppenbart att folk använder AI för att göra det.

Erik Zalitis (01:17:24.43)
Just det.

Anders Sandberg (01:17:24.91)
Det intressanta är att en hel del av de här fallen är såna som verkligen är bra att de görs. För det är personer som kanske inte skulle ha råd med jurist eller inte vågat använda jurist men nu får de den juridiska hjälpen och de är stadde rätt där. Men det en massa som bara är sura och slänger allt vad de kan och resultatet blir saker som wastear massa tid för den stackars domstolen. Och det här ska vi nog räkna med kommer hända med alla domstolar och alla myndigheter. Medborgarna kommer självklart använda AI om man måste skriva till en myndighet.

Det är dumt att inte använda AI för att åtminstone kolla det man skrivit. Nästa steg är att det blir väldigt mycket skrivet för det är billigt och lätt att skriva. lyckas det så lyckas det. Nu har du överlastade myndigheter, nu frågar vad de ska göra.

Vad har en ”meat proxy” för jobb? Lite oklart.

Erik Zalitis (01:18:06.542)
A.I. naturligtvis. Det finns ett uttryck, ”meat proxy”. Någon som bara kopierar av A.I. och har skrivit till någon annan del. De har också en meat proxy så de kommer att skicka det till ett A.I. som bedömer det. Så det människor som studsar A.I.’s texter mellan varandra.

Anders Sandberg (01:18:25.646)
Det intressanta är att det fortfarande en intention. Om jag skriver en inlaga till en myndighet så vill jag ju någonting. Jag gör det förmodligen inte bara för att det är roligt att skriva inlagor. Det finns säkert de också, men de är ganska ovanliga. Men vad som sen händer är att myndigheten har en intention. Vi måste behandla inlagor från allmänheten på ett visst sätt. Och de försöker göra det. Och om det AI mittemellan spelar det inte någon roll om det här sköts på ett bra sätt.

Problemet vi har är naturligtvis om myndigheten blir överlastad. kan ju till exempel genom ett myndighet av regler som säger att ni får inte använda AI i era responser. För ofta är det ju det att AI-programmen ligger i utlandet och vi har det sekretessk krav. Det är stora problem att utveckla bra saker för svenska myndigheter. Det finns ett projekt på AI-sweden som heter Svea som just är en sorts myndighets AI som har en del ganska bra idéer. Men jag har hört från en god vän som använder den. Han tyckte ju inte att den var tillräckligt smart.

Han jämförde med de bästa kommersiella modellerna. Det möjligt att det kan avhjälpas om man sätter statliga resurser på att vi ska ha en jättesmart statlig AI-modell. Det kanske inte är så roligt att ha konversation med, men AI duktig på att ärenden. Vi kan definitivt säga att 2030 kommer det att mycket mer AI på alla nivåer i hela systemet. Det det jag argumenterade för i den bok jag skrivit, Lollibertö eller Levi.

Erik Zalitis (01:19:36.334)
Ja, visst. Men…

Anders Sandberg (01:19:50.03)
Vi människor expanderar vårt tänkande genom att göra kollektiv kognition. Vi lånar varandras hjärnor. Vi löser problem genom att ha ett distribuerade lösningssystem som vi kallar för lagar, regler och myndigheter som egentligen existerar mer i människors huvuden än på pappret. Men den här sortens system kan också supplementeras med mjukvara eller ibland ersättas med mjukvara. Jag tror att vi kommer att den processen. Så 2030 tror jag en av stora frågorna är just vilka delar av myndighetsutövningen

–är det vi kan ersätta. Och även företaget. Vilka delar företaget kan ersättas eller får helt nya roller. Det här kommer att kännas. När man ändrar ett arbetsflöde, då slår bakut. Jag brukar ta ett exempel inom medicinen. Puls-oxymetern, är den lilla klämman man sätter på fingret– mäter koldioxidhalten syrahalten i blodet. När den introduceras spred den sig över på ungefär tio år. Den har räddat massor med liv.

Erik Zalitis (01:20:48.91)
Dessa.

Anders Sandberg (01:20:49.646)
Den är jättebra och ganska billig som medicinsk utrustning. Och det ytterligare en pipande apparat på intensivvårdsavdelningen. Det är liksom ingenting konstigt, det bara en man gick till och den hjälper. När man introducerade ultraljud för att ta bort njurstenar så tog det ungefär 10-15 år i Frankrike innan det här blev standard. Det var inte för att det var dyrt att köpa in apparaten även om den är dyr. Det var för att man ändrade på workflowet hur man hanterar njursten.

Plötsligt var det nya specialister som skulle göra saker man skulle inte operera. Det där var svårt att göra för alla visste ju hur man gjorde. Det fanns rutiner. Chefsläkarna tyckte vissa saker. Samma grej med titthåls-kirurgin. Det var en generationsfördröjning. De gamla kirurgerna skrattade att det här är ju ”Nintendo-kirurgin”. Till sist kom en generation kirurger som var uppvuxna med Nintendo och tyckte att var okej. Nu fick man plötsligt hälsovinsterna. Jag tror exakt samma sak kommer att hända med AI-användningen.

Vi använder den där den inte ändrar vårt arbetsflöde. Men när den ändrar på hur det går till, eller vad man är, så kommer många att kämpa emot. Konstnärerna egentligen bara början, de känner ju att man har sparkat dem någonstans där nere. För i många fall känner de ju hårt för konst och det är bli utmanad på det här sättet av en liten algoritm. Det inte bara att det är en fråga om hur ska jag betala hyran om man kan få billiga bilder.

utan att någon nästan förelämpar vad de är. Och jag tror att massa mälangefer kommer känna sig lika förelämpade 2030, genom att deras jobb automatiseras med ganska kort skill.

Framtiden anländer snabbare än man tror och det också slutet av diskussionen

Erik Zalitis (01:22:24.27)
Ja, det är intressant. Vi kunde prata om det här i timmar men tiden börjar ta…

Anders Sandberg (01:22:29.678)
Framtiden anländer snabbare än man tror. Så 2030 när vi gör om det här så kommer vi att skratta. Det är det som är så kul som framtidsforsk. Förutsäjelser förhåller inte. Man vill vara beslutsrelevant. Man vill fundera på saker som spelar roll så att kan hålla ett öga på dem.

Erik Zalitis (01:22:39.118)
Åh, visste vi!

Erik Zalitis (01:22:50.606)
Ja, det är väl det som det handlar om men om du är för informerad så är du också förberedd på något sätt. Även om bara så mentalt.

Anders Sandberg (01:22:59.886)
Jajamän. Så förhoppningsvis har vi mentalt förberett lyssnarna på någonting.

Erik Zalitis (01:23:03.598)
Någonting, någonting vi får se down the road Anders Sandberg, stort tack för din tid. Det här är Erik Zaltis – det här är IT-säkerhetspodden och vi hörs om en vecka.

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – AI

• Institutet för framtidsstudier
• The Jargon file
• Asimovs tre robotik-lagar
• AI och copyright-debatten

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #336 – Anders Sandberg om allt du behöver veta om AI 2026 dök först upp på IT-säkerhetspodden.

I dagens avsnitt diskuterar Erik Zalitis och Mattias Jadesköld tillsammans med Patrick Schlapfer på HP. Patrick arbetar till vardags med Threat research och ligger bakom HP:s senaste rapport.

Vad är det senaste metoderna som angripare använder? ”vibe-hacking” – vad är det? Hur an de komma åt kryptovaluta genom en backupfil? Och hur kan angripare använda ljudfiler för att ta sig in i datorer?

Det och en hel del annat i dagens avsnitt som är på engelska!

Inspelat: 2026-08-26 (publicerat 2026-08-30)
Deltagare: Erik Zalitis, Mattias Jadesköld och Patrick Schlapfer.
Texten skrevs och sammanställdes av Erik Zalitis. Intervjun är på Engelska.
Avsnittet presenteras i samarbete med HP.

Medan du lyssnar – Vibe hacking

Här är transkriptionen av avsnittet

1
00:00:12,654 –> 00:00:21,262
Mattias Jadesköld: I dagens avsnitt tar vi oss en titt på hotlandskapetsammans med HP. Det finns några angrepp som sticker ut under den första delen av 2026.

2
00:00:21,262 –> 00:00:42,734
Erik Zalitis: Ja, precis. Vibe hacking till exempel, och hur angripare döljer skadlig kod i ljudfiler. Rena agentfilmen. Ja, det kanske är en sanning som kan läsas ut i HP Wolf Security Threat Insights report, som släpptes för ett par månader sedan.

3
00:00:42,734 –> 00:01:01,026
Mattias Jadesköld: Det ska vi ta en titt på närmare idag, och det gör vi tillsammans med Patrik Schlapfer som arbetar som principal threat research. Vi kommer prata engelska rätt avsnitt av IT-säkerhetspodden som förutom Patrik, då består av Mattiaskö i sin vanligording. Welcome, Patrick.

Patrick enters our virtual studio

4
00:01:01,026 –> 00:01:04,558
Patrick Schlapfer: Welcome. Hey, thank you so much for having me.

5
00:01:04,558 –> 00:01:06,990
Mattias Jadesköld: Yeah, how how are you?

6
00:01:06,990 –> 00:01:11,106
Patrick Schlapfer: I’m all good. pretty good actually today. How are you doing?

7
00:01:11,106 –> 00:01:19,310
Mattias Jadesköld: Fine, thank you. We had some issues with the sound but now it seems to be working. Eric is happy with the sound solution now?

8
00:01:19,310 –> 00:01:23,662
Erik Zalitis: It’s always something is screwing up with the sound and that’s just how it is.

9
00:01:23,662 –> 00:01:33,898
Mattias Jadesköld: Right. Okay, so normally you work as threat research at HP. what do you do on a normal basis, Patrick?

10
00:01:33,898 –> 00:02:30,102
Patrick Schlapfer: I do. That’s a good that’s a good question. Well, I have the fun job to actually look through all the collected telemetry data from our different security solutions, analyze the dead data, and then find all the interesting threats and take them apart. With all the data and the analysis I do, I do then get to write interesting reports such as the quarterly threat insights report. I do also write occasional blog posts, which is published on our threat block and I also do share quite a lot of information with the community because in the end security is a game as a team so sharing is definitely caring. Besides the whole threat research part, I do work together with the defensive security research team so that we can improve security solutions and create new solutions, which hopefully also protect for from the future threats.

11
00:02:30,102 –> 00:02:34,766
Mattias Jadesköld: Right, okay, so a lot of different tasks during a day, I guess. Yeah. And where are you located?

12
00:02:34,766 –> 00:02:42,277
Patrick Schlapfer: Absolutely, yeah. I’m actually located in in Zurich in Switzerland.

13
00:02:42,277 –> 00:02:48,320
Mattias Jadesköld: Okay. Some it’s a bit big difference between Switzerland and Sw Sweden, but

14
00:02:48,320 –> 00:02:49,304
Patrick Schlapfer: Yeah.

15
00:02:49,304 –> 00:02:55,330
Erik Zalitis: They get them confused all the time, isn’t it? Like Yeah, Switzerland and Sweden the same country.

16
00:02:55,330 –> 00:03:00,950
Patrick Schlapfer: Yeah, absolutely. Quite in a different place, but both I would say very beautiful landscapes.

The making of an IT-security pro – How Patrick got started in the business

17
00:03:00,950 –> 00:03:10,168
Mattias Jadesköld: Yeah, definitely. Right. So it seems like you’ve been working with IT security for some years now, but how did it all started?

18
00:03:10,168 –> 00:04:59,008
Patrick Schlapfer: Well, that that was actually quite some time ago. So when I studied at the university, I I grew my interest in security in general. So I decided to take one or the other course in the area of security, like from cryptography to network security to to malware analysis. And I decided that malware analysis is probably the most interesting thing to have a look at because I I quite like to take apart software and understand how it works. So after I finished my degree, I actually had the chance to work as a research assistant directly for the university in a research project. So what we built back then was a dynamic malware analysis sandbox, which we created to through writing a custom Linux kernel module to basically do virtual machine introspection. I was very much into memory forensic at the time, and with the kernel module, we were able to capture the memory of a virtual machine from the hypervisor level. And therefore basically do dynamic analysis without having an in-guest agent. So that was that was the start and that was the whole fun around malware analysis. I later then decided after the research project it would be good to understand how security works in the real world outside academia. So I joined to work for a bank in security operations, and we focused a lot on incident response. but also did a bit of threat intelligence, basically taking apart and analyzing the threats we see and then share it with the community. After working for the bank, I was quite keen to understand malware even more in depth. And that’s when I actually joined HP as a threat researcher almost six years ago. Yeah, and that’s been quite an interesting journey and here we are six years in.

19
00:04:59,008 –> 00:05:06,840
Mattias Jadesköld: Right. So interesting. Yeah, you have a lot of banks in Switzerland, don’t you? So it’s a good way to start. Yeah.

20
00:05:06,840 –> 00:05:24,492
Patrick Schlapfer: Well, I mean I mean back at the time this was one of the I would probably say one of the two main companies who would hire security professionals. The other one was was the government. definitely very interesting project as well, but working for a bank was quite an interesting experience as well.

21
00:05:24,492 –> 00:05:46,552
Mattias Jadesköld: Yeah. Right, so we’re gonna dig into this annual report. It’s as Eric said mentioned in the beginning that it’s called HP Wolf’s Security Threat Insight Report. but a bit overall, w w what’s the reason why this is re report being created annually?

22
00:05:46,552 –> 00:06:40,660
Patrick Schlapfer: Well, we do collect all this valuable thread information, right? And one thing I’d like to say is that it does never represent like the full thread landscape. It’s just yet another different vantage point if we compare it to other security vendors and security companies. And therefore, with all the data we have, we thought, well, it’s very valuable information, so let’s share it with the community. First of all, it gives a lot of security awareness to share a bigger picture of the threat landscape, even on a higher level. But there are also technical lug nuggets in the threat insights report, such as interesting techniques which are used by the attackers, which actually help the security practitioners to understand those techniques and then build protections or build detections against those attacks.

We open the actual report and Patrick delves into the emerging patterns worth knowing right now

23
00:06:40,660 –> 00:06:52,770
Mattias Jadesköld: Right. So but if you compare the this report with previous ones, i is there anything that stands out? It’s a bit different or something?

24
00:06:52,770 –> 00:09:13,346
Patrick Schlapfer: Well that’s that’s a wide question, I think. But there are definitely four I would say like well a couple different things that stand out. well if if if we look back about ten years ago or so, we were used to having those classic attacks with Word documents containing macros, which are then sent as an attachment to the user. And only with probably like one or two clicks your device was infected. Back at the time, like emotet one of the big moller families, which is luckily not not around anymore. nowadays it’s it’s quite a bit different. So from those two clicks, I would say it’s like a click to infection. This increased quite a bit. So nowadays we see that an infection requires more clicks because the user has to open a file, open an archive file, type in a password, and then open. Yeah, probably a script inside it and such kind of things. So this whole amount, number of clicks to infection increased, which also means that attackers and threat actors are focusing a lot more on social engineering. So the social engineering component in the beginning of an attack becomes very relevant for them. So they invest quite a bit of resources to make them more convincing. So the attacker actually Well, performs a specific task. Most often they try to blend in with standard business operations. So it’s very difficult for a user to distinguish between something legitimate and something malicious. Then another thing we’re seeing is that there have be has been this shared intermediate stage. Now, if we look from a higher level at an infection chain of such a cyber attack, we can probably split it into two. into three different stages. We have the initial infection with the social engineering. Then we have an intermediate stage with all the scripts which are running, basically which are responsible to then install the final payload. And then in the end we do have the final payload. And one of the things we’re seeing lately is that not only the social engineering and the final payloads are shared amongst thread actors, but also those intermediate stages. And this tells us that it’s not

25
00:09:13,346 –> 00:10:44,416
Patrick Schlapfer: This one man show where a hacker tries to target an organization, but it’s a full ecosystem of cybercrime that works together. So threat actors can go and buy malware families, intermediate stages, or also all kinds of different lures off the shelf from hacker markets or from hacking forums and such kind of things. And then there’s one thing I didn’t mention yet, but AI is of course also a part of the thread landscape and how it evolves over time, right? So one thing I can see up fr say up front is that we haven’t seen autonomous attacks as they are like shown in the movies. But attackers are making very much use of AI models to then create all kinds of different stages. For example, the intermediate stage which is responsible to install the final payload is very often created through Vibe WIPE coding or so-called white hacking. So they use a model and then they tell the model, hey, in in normal language, create me this specific infection stage, do this and that. And then it creates this very well. And it also works quite well for the social engineering engineering laws in the beginning. So if they want to create like a simple website or if they want to create a simple document or something like this. The AI models are very, very helpful for the attackers in this case. So that would probably be the four main things I would say.

The door within your computer – how hackers use remote tools to take control

26
00:10:44,416 –> 00:11:11,566
Mattias Jadesköld: Yeah, we’re gonna dig in a bit more on some topics and some of them are vibe hacking as Erik mentioned as well. But I I found three interesting topics w which from this report I think we should dive into. So let’s start with the first one. This is about remote tools that hackers are using remote tools like Log Me In or Screen Connect. How does this work?

27
00:11:11,566 –> 00:12:48,096
Patrick Schlapfer: Well, that’s a good question. So, first of all, that’s not something that is entirely new, right? we have seen such attacks in the past, like attackers using official and legitimate remote access tools to to compromise devices. That’s been around for quite some time. Now what’s different now is that we have seen quite an uptick over the last quarter, over the last half a year. So that’s something that stood out. And the second thing is that in the past, whenever I did an analysis of such an installer, I noticed that the thread actor actually modified the installer to connect to attacker control servers, right? So in this case, the whole infrastructure of the legitimate service, such as remote administration tool, is not in the whole scenario. So it’s directly connecting to attacker control servers. What they are doing now is that they take it as is and install it on a victim’s device. Now, this remote access solution then connects to the official service provided by by the application company. And therefore, it is very difficult to distinguish whether this is something malicious or something clean. And the thread actor, all he all they do is basically they have a login to this service. And then they see all the different devices which are connecting to the service, and then they can execute various different commands on the device and basically control it.

28
00:12:48,096 –> 00:12:57,034
Mattias Jadesköld: Okay. So these are all the so these are not just hacking tools, these are like normally remote tools that the hackers are using.

29
00:12:57,034 –> 00:13:58,434
Patrick Schlapfer: Exactly. And that makes it so very difficult, right? those are legitimate tools. Lots of organizations actually use those tools specifically in IT support organizations. So whenever someone has an issue with their device, they they can remote in and fix the problem directly on their device. and it it’s it’s a very similar thing for for all kinds of different software solutions or tools, such as for example, take PowerShell. PowerShell is a brilliant tool for to do like system administration. But in the end, it’s also a very common tool to be used by attackers because it has a lot of possibilities to interact with with the device in the end. So with those remote access tools, attacker are using legitimate software in a malicious way. And in the end that’s very, very difficult to figure out in a network. Because maybe the organization is using specifically such an organ such an application as well themselves.

30
00:13:58,434 –> 00:14:07,320
Mattias Jadesköld: But how how how can I prevent these type of attacks, for example, if I’m working in an IT department in on an organization?

31
00:14:07,320 –> 00:15:22,326
Patrick Schlapfer: Well it’s it’s definitely not an easy task third to attack from such an attack, yeah. it might be probably quite a boring answer, but in the end it is it is also an o an evergreen, but a and and you know this for sure, it’s like have a good inventory. I know it always sounds so easy and it never is because having like a clear and and a complete inventory is pretty much impossible. But having an idea of specific services you’re using can be quite helpful. So if you know that, hey, are you using this or the other remote access tool, then you can monitor for other remote access tools to be used within the same organization, which is probably a lot not legitimate in this case. And then the other thing is that, well, try to install software only from trusted sources. Now in those specific campaigns, thread actors are actually installing the software. So it’s not a user installing the software, but it’s a thread actor. And last but not least, if you control the admin privilege on a user device, then they have less capabilities to install such potentially malicious software on their operating system.

32
00:15:22,326 –> 00:15:31,694
Mattias Jadesköld: Yeah. Erik y you work as a pen tester. Have you ever experienced that that these type of attacks using remote tools?

33
00:15:31,694 –> 00:16:01,426
Erik Zalitis: Well, as a pen tester, I’m trying to do the same, pretty much. So I I can’t say that but as working with this SOC at the Security Operations Center, which I can help at my company, the company I work for, that is. Yeah, we we’ve seen they’re trying stuff like that. Mostly they’re trying stuff like that with phishing attacks. But of course, that’s not the only show, so to speak. So yeah, that’s a thing. No disagreement.

Your money at risk – how crypto wallets get stolen

34
00:16:01,426 –> 00:16:24,888
Mattias Jadesköld: Okay, that’s good. Okay, let’s jump to the next topic, which is also kind of interesting. a bit outside my comfort zone because it’s about crypto w wallet wallets and and restore. that it’s mentioned in the report that is false restoring of crypto wallet wallet wallets. How how does it with this work?

35
00:16:24,888 –> 00:16:34,519
Patrick Schlapfer: Well, it’s Yeah, that’s that’s definitely interesting. So did you ever lose your own crypto wallet?

36
00:16:34,519 –> 00:16:40,750
Erik Zalitis: Don’t have any trouble. That seems like a smart thing. The only way to win this game is not playing it.

37
00:16:40,750 –> 00:17:31,562
Patrick Schlapfer: Exactly. Well, definitely, definitely on my side here as well. Yeah. Well, yeah. what is it? Well, so a crypto wallet i i it’s basically the key to the kingdom, right? So it’s basically a a key that you have locally on your device. if you decide to have it locally, it’s a private key, which allows you to gain access to the whole crypto assets you have. the crypto assets themselves are actually stored on the blockchain, such as Bitcoin as an example, but the the private key is something you keep to yourself, in hence the name private key. Now, if an attacker is able to get access to such a private key, then they basically control all the funds you have on the specific blockchain, which is quite a big disaster in this case.

38
00:17:31,562 –> 00:17:38,506
Mattias Jadesköld: Yeah. Because the banks cannot help you in this case because it’s decentralized, like Bitcoin, for example.

39
00:17:38,506 –> 00:18:43,360
Patrick Schlapfer: Exactly. it’s decentralized. So there’s no help from from anyone. and if if if an attacker controls the private key, they can basically redirect all your bitcoins or whatever cryptocurrency you are you are using to yet another wallet because they have the private key and with the private key they can easily sign new transactions, which then sends the money to someone else, which presumably in this case will be a tactor in its own. That’s why our attackers are so interested in finding local crypto wallets and exfiltrating those private keys. So this is a very common technique when we look at all kinds of different information stealers. They are usually built in a modular way where they have like all kinds of different capabilities, such as like password stealing or I don’t know, browsing history stealing. And one of those modules is definitely always like crypto wallet stealers. Because a crypto wallet can contain quite a lot of money in those days. So if they get hold of one of those wallets, then well, they might be rich at some point.

40
00:18:43,360 –> 00:18:50,954
Mattias Jadesköld: Okay, but how does it work with with restoring a crypto wallet?

41
00:18:50,954 –> 00:20:27,803
Patrick Schlapfer: Now this is this is actually the interesting part because this is this is just use as the lure, right? So imagine yourself you lost your crypto wallet on your device and now you’re quite desperate because this is a lot of money. And you want to find this crypto wallet again. so what’s the steps you take? Well, in this desperation, you probably reach out to the internet and search for tools that can recover your crypto wallets because it’s a a lot of money. And that’s basically where the users get trapped. Because the attacker set up this GitHub repository to tell the user, hey, I built this solution, and this solution will actually help you to find your lost crypto wallet on your device. In reality, in reality, it doesn’t do it. In in reality, what happens if you download this crypto wallet recovery tool is that, well, It exfiltrates all kinds of interesting and sensitive information. At some point, they do promise what they claim. They do indeed recover your crypto wallet, but they don’t give it to the user. But they simply exfiltrate this crypto wallet and send it to the attacker’s server. So besides system information, passwords and browsing data, as I mentioned earlier, they of course also collect crypto wallets. They are They they compress it in an archive file and then they send it to an attacker control server in this case. So yeah, unfortunately no crypto wallets recovery tool here.

42
00:20:27,803 –> 00:20:31,775
Erik Zalitis: All I can say is empathy is not a thing with them.

43
00:20:31,775 –> 00:20:35,119
Patrick Schlapfer: No, absolutely not. No.

44
00:20:35,119 –> 00:20:44,482
Mattias Jadesköld: But how c how can I if if I’m having if I’m worried about this, how should I avoid these type of attacks?

45
00:20:44,482 –> 00:21:45,394
Patrick Schlapfer: Well, if you actually lost your crypto wallet on your device, then yeah, it is very frustrating. I do understand this, but don’t act too fast. First of all, I would probably try to investigate well, where is this crypto wallet actually stored on the device? Like in which folder does it normally reside? And I think that’s very different depending on the blockchain you’re using. Yeah. Then in the end you have different names, right? Different file names. So what I would suggest if you actually lost it, go and search and investigate how this crypto wallet is built, where it usually resides and what the fail file name is. And then use like built in Windows tools or Linux tools if you’re if you’re using Linux to search for the files in the different folders. That’s definitely better than downloading a random application from an untrusted source. Yeah. Because yeah, well In this case, they were definitely proved to be something malicious.

ClickFix – the word you need to know

46
00:21:45,394 –> 00:22:08,640
Mattias Jadesköld: Right, okay. Let’s go to the third topic, I guess. This called ClickFix campaign. this was there was this was this some sort sort of recent attack related to clickfix. What is clickfix?

47
00:22:08,640 –> 00:22:46,112
Patrick Schlapfer: Well, ClickFix has actually been around for well, I don’t want to say anything wrong, probably one or two years now. So it’s been around for quite some time. But during this time, they did evolve the attacks and the campaigns. So ClickFix is in the end a social engineering technique. So what happens is that an attacker builds like a social net social engineering website or a social engineering image. Which convinces the user to basically paste some malicious codes into the local Windows run box and then execute malicious code.

48
00:22:46,112 –> 00:23:22,028
Erik Zalitis: I actually interesting you would say that because I actually investigated such a code a few weeks ago. and it was extremely clever. It tried to look like some kind of cloud flare warning that says please click and execute this in in the runbox. And I actually looked through the code and it was extremely well obfuscated, w sending those deobfuscator tools into some sort of eternal loop. The obfuscation level of that was like eleven out of ten. Enormously well done. Seriously.

49
00:23:22,028 –> 00:23:32,235
Patrick Schlapfer: Yeah, I I totally believe that. We have seen so many different, like specifically obfuscated scripts which are terrible to analyze and I definitely like I I do understand your frustration. I’ve spent hours picking apart like JavaScript code or BB script code, which is like it’s unbelievable what kind of techniques attackers can make use of to to obfuscate their scripts.

50
00:23:32,235 –> 00:23:46,934
Erik Zalitis: Like yeah, I know.

51
00:23:46,934 –> 00:23:53,954
Erik Zalitis: I I don’t like hackers very much, but I respect them. I y begrudgedly I do respect them.

CAPTCHAs – annoying but obviously needed

52
00:23:53,954 –> 00:25:10,008
Patrick Schlapfer: Well, in this case, I I actually have to give it to them specifically for for the idea to create such a social engineering lure, right? I mean in the past, like if you remember the good old Word and Excel documents where they tried to convince the user to click the enable button to basically run the in included VBA macros. Now this was quite basic and this this was around for probably like ten, fifteen years or so. Now, this is a totally new concept. And I I think that is quite interesting. And now if you think around, well, it’s been this Cloudflare cap cap capture you mentioned, if you think back like many, many years ago, those captures are not something that are new, right? Because in the end it’s it’s like just the idea to distinguish whether you’re an actual user or if you’re a robot or if you’re some kind of crawler accessing the website. I remember like Many years ago, like even like simple web forms had such a very simple CAPTCHA where you get like two numbers, so you have to add them together, and then you have to type in the number in a specific field and only if the answer was correct your form was submitted, basically to prevent automated attacks.

53
00:25:10,008 –> 00:25:24,450
Erik Zalitis: Yeah I remember that too, I remember that too. Th the the kind of distinction between them were there were two kinds they were super secure and no human beings could solve them, or they were very easy to solve and any hacker could solve them.

54
00:25:24,450 –> 00:25:44,846
Patrick Schlapfer: Yeah, I mean that that’s absolutely true. I mean I remember well when when you get like those other captures like hey yeah click on all the pictures which contain a mountain, click on all the pictures which contain I don’t know, a bicycle or a car. And I and I remember sitting in front of the PC like like clicking all the images and then next and then there’s the next coming up.

55
00:25:44,846 –> 00:26:12,898
Erik Zalitis: It felt like never got it right. It’s like, what the heck? That’s supposed to be a mountain, but obviously not for some reason. And another thing was back in the day of PHP BB, if you remember that forum, it had the worst capture ever. No humans could solve it because it was slanted R’s and S and X and nobody see. Is that a Y or is it a W or whatever? I can’t see it. And the hackers had no problems breaking it for.

56
00:26:12,898 –> 00:27:17,430
Patrick Schlapfer: Yeah, exactly. And and is it like is it uppercase or is it lowercase? Yeah, I I know exactly what you mean. And and and in the end, like let’s be honest, that that’s been one of the issues for the user here, right? I mean, like we can come up with so many different types of captchas that we have seen over the last, I don’t know, maybe twenty years or so that for a normal user who is not like used to work with like those captures every single day, it’s very difficult to know well, what is the next technique a company like figures out to hip to build such a capture. So like at some point it’s you have to select the mountains in another, you have to like have this like maps puzzle, like and and and whatnot. So it can very likely be that at this point you have to execute the specific commands of of of key combinations. So like pressing like Windows R, control V and enter doesn’t seem to be so far fetched. And in the end the normal user has no idea what Windows R does, does do they? So that’s very tricky.

57
00:27:17,430 –> 00:27:28,802
Erik Zalitis: Y d how do you teach people not to do stupid things when everything that’s stupid looks exactly the same way thing f way that things that are smart?

58
00:27:28,802 –> 00:27:45,110
Patrick Schlapfer: They have absolutely no idea. And and if you remember, the user went to this website for a specific purpose. They want to consume the content on this specific website. So all they want is to to get this capture out of their way so they can actually access the website they were looking for.

59
00:27:45,110 –> 00:28:13,292
Erik Zalitis: And people don’t expect that to happen because one of the things where I was checking a few weeks ago, that was like a food site, like a restaurant here in Sweden that was hacked. So it wasn’t like malicious, but it had been hacked by WordPress, if if you know, and and that kind of injected code in the JavaScript that ran this Cloudflare fake. So people weren’t expecting. I mean, you go to a restaurant site, you don’t expect to get hacked.

60
00:28:13,292 –> 00:28:45,190
Patrick Schlapfer: No, not at all. That’s definitely the case. And it’s been the case for so many different websites, especi especially like like in in industries which are not that close to IT and are even further away from IT security. All they need is they need to have a simple website to show what is going on within their organization, to promote like the daily dish or something like this. So so that’s definitely a good target for an attacker and definitely difficult for a user to understand. That something is wrong on this website.

Clicking images to prove you’re human isn’t an easy task for everyone

61
00:28:45,190 –> 00:29:01,870
Mattias Jadesköld: Yeah. And as a user is it’s kind of stressful because a lot of things is on stake because in the beginning they say if you don’t succeed in this capture, you’re not human. It’s like i if I if I can’t find all these mountains or traffic signs, then I’m then I’m a robot, obviously, or something.

62
00:29:01,870 –> 00:29:26,348
Erik Zalitis: The problem is also you can expect people to be the same, but they aren’t. I mean that’s to say some people may actually be old and they have problems understanding these things because they don’t they don’t have the skills. Some people may have some kind of mental deficiency, making it possible impossible for them to solve the captions. This is not the level of playing field.

63
00:29:26,348 –> 00:29:30,059
Patrick Schlapfer: Yeah, absolutely agree with that. Yeah.

64
00:29:30,059 –> 00:29:39,022
Mattias Jadesköld: about this clickfix campaign that was mentioned in the report, there was something about malicious code within a sound file. How how does that work?

65
00:29:39,022 –> 00:31:54,882
Patrick Schlapfer: Exactly. Well, if we look like quickly at the evolution of those click fix campaigns, it’s that basically what happens is that the attacker copies malicious code into the clip port of the user. Then the user wants to fulfill the capture, so they press the key combination like Windows R, Ctrl V and turn. That’s basically how they execute the malicious code, right? And in the beginning, The thread actors always use PowerShell because PowerShell is just so common. You execute PowerShell, you can supply an encoded command in base64, and then the whole device is infected. Now, of course, various different solutions which build detection in A-B systems actually kept up and improved their detection and are therefore able to block such an attack. But yeah, attackers usually find a way around it. So what the attackers did is instead of launching PowerShell, they decided to use MSHTA. And MSHTA is very often used to display those help messages if you press F1 in an older program. It it shows up and then you have a library of all kinds of different documentations. But what you can do in this case, you can also simply supply an HTML document which contains script code, which is then Executed on the host system because there is simply no sandbox. So what the thread actor did in this case is that they simply put in the command line MSHTA and then a link to a sound file. Now, this is not actually a sound file, but it is just using the extension of sound files. And the reason here is that if you look at the web gateway logs, which is something the Security Operations Center usually does. Then they will realize that okay, a sound file was downloaded to the specific device, but it doesn’t suspect anything malicious. Now, in reality, the sound file is actually a script file. In this case, HTML file contained with JavaScript. An MSHTA doesn’t really care what kind of file extension you’re using. So you can use like any kind of like

66
00:31:54,882 –> 00:32:36,790
Patrick Schlapfer: Sound file or picture or movie file, it simply executes and renders the files in HTML within this box. And that’s basically the a trick we see quite often used by thread actors, basically assigning either a wrong file extension or assigning double file extensions. So for example, if a user by default hides file extensions, then there tricked with a double extension to think that an executable file might be a PDF or that an executable file might be a Word document or something like this. So this is quite a common technique used by Chad Actor nowadays.

67
00:32:36,790 –> 00:32:46,892
Erik Zalitis: That seems old, doesn’t it? I mean the whole thing with double extensions is like ”I love you”, virus days. That’s still a thing you should. Yeah.

68
00:32:46,892 –> 00:33:50,135
Patrick Schlapfer: Yeah, it’s it’s super old. I mean like so many techniques are so super old and they still work nowadays, which is to me on the one hand quite surprising. But on the other hand, like we didn’t solve the simple security problems probably as an industry. And that’s that’s quite difficult. How do you teach a user to not click on a specific file? Like We usually get also the question, well, if you have this archive file which is distributed by an attacker, and within this archive file there’s a script file, such as like JavaScript or VPS. Why should a user open this specific file? Because it’s not a document, is it? Well, in the end, the user has no idea, right? The user has no clue whether this is an actual document or if this is a script file or or or if this is an executable file or whatever. A normal user doesn’t even know what a script file is. And that’s how we have to look at it. And that’s why we have to build like technical protections against such attacks.

69
00:33:50,135 –> 00:33:51,674
Mattias Jadesköld: Yeah.

Nothing new under the sun – hackers find new use for old attacks

70
00:33:51,674 –> 00:34:09,144
Erik Zalitis: This is kinda scary because nothing of this feels new. It feels like you’re using very old technology onto the user because I do believe that many of those health file files is that f really used anymore? Isn’t that kinda a legacy component?

71
00:34:09,144 –> 00:34:57,570
Patrick Schlapfer: That that is a really good question. And I so in new applications, if you press one, you’re usually redirected to a website, right? Yeah. I still imagine that there are quite a lot of older applications which do have this helper function implemented through MSHTA. but yeah, that’s that’s actually a really good question. I haven’t come across many of those, but certainly MSHTA is still part of the operating system, which makes it in in in some sense even more dangerous for an organization, because an organization might lose track of such an executable, and therefore they don’t track it anymore in their detections and then in their protection mechanisms and therefore open yet another hole and attack infection vector for threat actors.

72
00:34:57,570 –> 00:35:24,462
Erik Zalitis: was thinking about is it using the Trident engine? That’s like Internet Explorer. Could it be that old? I mean that’s a thing to just like thinking about because Windows such as it is has a lot of legacy code, stuff that was around in the nineteenth and the 2000s, such as it was. And that is not secure. And a lot of it is kind of abandoned but still for some reason works.

73
00:35:24,462 –> 00:36:37,670
Patrick Schlapfer: Totally, totally agree. I mean, if you remember, it’s it’s a long time ago, but to be honest, we’re still seeing them. Remember the equation editor exploits? Like where you had like a malicious RTS document, and then there was a a vulnerability within the Word’s equation editor and the thread actor was actually able to well, exploit this vulnerability and download and execute the file from a remote server. Now, this has been legacy code for a very long time. And this has been on Windows system for ages. And in the end, Microsoft actually got rid of this whole equation editor because they had a very new version in new office installations. But nevertheless, we still see attackers using this specific exploit and targeting all kinds of different users. I I believe myself that this equation editor is gone on most devices nowadays because that’s been like twenty seventeen actually. But for some reason they’re still using it. So probably there is still one or the other device which contains this equation editor and therefore is still vulnerable to this exploit.

From observing to protecting – how do you get there?

74
00:36:37,670 –> 00:36:45,314
Mattias Jadesköld: Right. And how how do I prevent these attacks from happen for me?

75
00:36:45,314 –> 00:38:41,698
Patrick Schlapfer: Well, to prevent such a click fix attacks is certainly not something that is easy, right? in the end well well, you’re on Linux, even though well if you’re around Linux you do have different distributions and you have like like T shortcuts and so on. In the end it’s it’s very difficult also for a user to understand. But nevertheless, I think this this whole concept of the social engineering technique should be part of like an awareness program where you tell the users how to behave. in the end, however, this doesn’t solve the problem, right? Awareness is just one aspect, but you have to have a technical solution to protect the users. So one thing I I can think of is that in most cases they use Windows R, which opens the runbox. Like a normal user in everyday work, they don’t use the runbox at all. So what you can do is you can use group policies, for example, to disable the runbox entirely. An alternative solution is that, well, if you have a secure browser, so so HP basically has this kind of isolation technology where we embed a browser within a micro VM, and there you can disable the clipboards from being used by the website. Because a normal website can usually simply write to the clip port if the user clicks a button. There is different permissions you can also set in an in a regular browser, but as far as I know, in most cases it is very difficult to determine from reading from the clipboard, which is very sensitive and can be restricted, to writing to the clipboard, which is often not possible to restrict by the normal user or in the normal browser. So there were various different approaches to protect from such an attack. And I think in the end it has to be a combination of all of those.

76
00:38:41,698 –> 00:38:45,644
Mattias Jadesköld: All right.

77
00:38:45,644 –> 00:38:48,682
Mattias Jadesköld: Any idea, Erkc? How to print this?

78
00:38:48,682 –> 00:39:37,964
Erik Zalitis: Yep, that’s the problem. Should you teach people not to do dumb dumb stuff? Should you lock their computers down? Depends on. I mean, when people are taught not to do stuff, the hackers kinda mutate the attacks. So they don’t look like what the people were taught not to do. And secondly of all, all those mechanisms also suffer the same fate. Basically put, everything looks good now, but the hackers always evolve the attack. Try something a little bit differently. It passes through whatever you lock down. That that’s a problem. It’s very hard. You can of course say don’t do stuff that feels wrong. If it feels like the gut feeling is like this is weird. Should I really click? Should I really really do this? If the website says click this and this combination, is that really a good thing to do? I I think that’s the b only thing you can do, basically.

79
00:39:37,964 –> 00:39:54,590
Mattias Jadesköld: Yeah. Right. So yeah, a lot of interesting topics that you can read more about in this report. And and that is public available, right, Patrick. So I can we can share this this the link to the report

80
00:39:54,590 –> 00:40:23,370
Patrick Schlapfer: Exactly. Yeah. The report is available on on our on our blog websites. There is also there are all kinds of other blog posts we usually publish around like different malware campaigns, but around all kinds of other security topics as well. If people are interested to have a look there as well. And there’s actually a new report coming, probably mid end September, which will be published pretty soon. So I’m actually doing the analysis at the moment for this specific report.

HP’s report – something you can count on coming out often

81
00:40:23,370 –> 00:40:26,434
Mattias Jadesköld: I thought this was an annual report, but no, okay.

82
00:40:26,434 –> 00:40:53,166
Patrick Schlapfer: No, it’s actually a report we do four times a year. right. So we usually try to cover like each quarter of the year. so we’re doing this for a couple of years now. So having the capability to actually look back, hey, how did everything like start like seven, eight years ago? And how does it look today? How did the thread landscape change? And there were definitely a few quite interesting changes, as I mentioned earlier in this talk.

83
00:40:53,166 –> 00:40:58,770
Mattias Jadesköld: But I hope this was not outdated information that we just gave.

84
00:40:58,770 –> 00:41:31,495
Patrick Schlapfer: No, no, no, no. No, no. Definitely not outdated. I I think like most of those, like most of those techniques are being used by thread actors for quite a long time. I mean what what you mentioned earlier is that thread actors adapt very, very quickly to smaller techniques. So they try to get around your protection mechanism. They try to trick their user into installing something. But in the end, over the long term, that the techniques and tactics stay more or less the same if we look at a higher level at it.

85
00:41:31,495 –> 00:41:40,758
Mattias Jadesköld: Yeah. Right. Is there anything you would like to add? what we miss?

86
00:41:40,758 –> 00:42:05,068
Patrick Schlapfer: I think we did quite cover quite a lot of different topics. Yeah. So doesn’t come anything specific to mind. just have a heads up when you’re seeing the next capture, if it’s a real one or if it’s a fake one. Don’t affect yourself with malware. Yeah. Don’t go and search for your lost crypto wallet with fake tools. yeah, stay safe out there.

87
00:42:05,068 –> 00:42:15,310
Mattias Jadesköld: Yes. Good. thank you so much, Patrick Schlapfer, that you for joining IT-säkerhetspodden.

88
00:42:15,310 –> 00:42:19,544
Patrick Schlapfer: Thank you so much. It’s been a very interesting discussion. Thank you for having me.

89
00:42:19,544 –> 00:42:22,544
Erik Zalitis: Thank you much.

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – AI

• HP Wolf Security Threat Insights Report: June 2026

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #334 – Angripare tar till ”vibe hacking” dök först upp på IT-säkerhetspodden.

I sommar har några uppmärksammade nyheter kring AI figurerat. Vad är det senaste kring Mythos? Kan AI bli så bra på att hacka att man inte kan kontrollera den? Är AI så pass kompetent nu att vi uppnått generell intelligens (AGI)?

Mattias Jadesköld och Erik Zalitis tar tempen på den senaste utvecklingen efter ett långt sommarlov.

Inspelat: 2026-08-23 (publicerat 2026-08-26)
Deltagare: Erik Zalitis och Mattias Jadesköld.
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – AI

Det ligger ju i tiden just nu – fruktan för hur AI kommer att rita om spelplanen framöver, vilket nyligen kommit till sin spets med det som hände i somras. Då hade ju AI flera gånger attackerat sajter på grund av miss-konfigurationer. Hur oroliga borde vi vara? Svaret är inte enkelt, men vi har en ganska bra koll hur detta är på väg att förändra hur vi tänker på IT-säkerhetsområdet.

Vad du måste veta om AI just nu (Att ta med dig från denna diskussion)

• Vi är inte i närheten av AGI

Som vi säger: AGI (Artificial General Intelligence) är ingeting som kommer se på mycket länge. Tro inte på marknadsföringen! AGI är en intelligens som motsvarar en människas och som mycket sannolikt kommer vara en levande människa.

• Inget AI har gått över till den ”mörka sidan”

Rubriker som ”AI gone rogue” (AI:t har blivit en skurk) har synts på flera löpsedlar och detta säger vi emot i podden (läs transkriberingen). Saken är att AI saknar en agenda, känslor och en inbyggd moral. Den kan programmeras att inte tillåta visa promptar eller att säga emot saker som den förbjudits att hålla med om. Men detta skydd är sprött. Det som har hänt är enkelt: i många av fallen har AI-modellerna attackerat ett system där det haft möjlighet att ta sig ut på Internet. Då det informerats om att ingen Internet-förbindelse har funnits tillgänglig, har det inte agerat för att undvika mål. En mänsklig pentestare hade troligen kunnat säga ”Men vänta här nu, svaret kommer ju från Internet” och då avbryta testet. Ett AI har ingen ”magkänsla”.

• AI har ett väldigt begränsat minne

En människa med samma svaga minne som ett typiskt AI hade troligen behövt vård och möjligen bo på ett vårdhem. Diskussionen förklarar balansen mellan att spendera stora mängder ”tokens” på att hålla en loggbok i en session så AI-modellen vet vad den håller på med och ofta att ”kompaktera” (sammanfatta) loggen. Men detta gör att den riskerar att inte längre göra saker rätt, då den missar saker. Jag har kört Claude och kan intyga att den nästan religiöst kommenterar den minsta ändring i koden så den vet vad funktionen är till för. Kommentarer i kod är bra, men när din kod ser ut som ett grönt hav av kommentarer, är det lätt att inse att detta inte är enbart för att ditt AI är godhjärtat och vill hjälpa till.

Här är transkriptionen av avsnittet

Mattias Jadesköld (00:08.334)
IT-säkerhetspodden är tillbaka efter ett långt sommaruppehåll. Något som inte däremot har tagit sommarsmester i det ständigt aktuella ämnet artificiell intelligens.

Erik Zalitis (00:17.902)
Exakt. Läs det i juni om Mythos som är så farlig att Anthropic tvekar på att släppa den? Och sen är det AI-agenten som rymde också. Vad innebär det egen1§tligen?

Mattias Jadesköld (00:32.43)
Ja, AI har tagit ett enormt kliv under sommaren. Är vi på väg mot en mytomspunna generell AI? Det ska vi kika på i dagens avsnitt. Jag heter Rivan Låne, Mattias Jadesköld och han som pratade nyss, Erik Zalitis.

Erik Zalitis (00:46.638)
Jajamän, vi är långt ifrån varandra, inte kanske inte mentalt på något sätt, men jag är i norra Sverige och du i Stockholm.

Mattias Jadesköld (00:55.406)
Ja, det stämmer bra det. Du har ju fortfarande semester kvar.

Erik Zalitis (01:00.334)
Några dagar kvar, åker tillbaka till storstaden imorgon.

Mattias Jadesköld (01:05.39)
Ja, men lite längre sommaruppehåll än vanligt har det blivit ju.

Erik Zalitis (01:09.774)
Ja, det är länge sedan vi körde på somrarna och det kan nog ingen kräva men det har varit bra somrapåhåll faktiskt. Vad har gjort?

Mattias Jadesköld (01:18.446)
Det har varit lite i Spanien och sen har det varit ute på landet där jag brukar hänga hela sommaren. 17 runder i golf har det blivit.

Erik Zalitis (01:30.894)
Har du handikapp att tala om fortfarande eller?

Mattias Jadesköld (01:34.574)
Handikapp har jag alltid haft.

Erik Zalitis (01:38.542)
Men jag menar du jobbar väl bort det du har inte kommit så långt så att du inte har något

Mattias Jadesköld (01:42.03)
Ja, absolut. Det har gått ner lite sådär men det ingenting att skryta med utan jag började bara förra året så där. Själv då vad du hållit på med för någonting då?

Erik Zalitis (01:50.542)
Jag har programmerat lite grann, jag har utvecklat bland annat det här som vi håller på med som heter Mowland Discover. Sen har hjälpt farsan runt huset här, vi har grävt och liksom gjort lite saker och ting, byggt om och ja du vet, så fort man har ett landställe så måste man göra massa saker.

Mattias Jadesköld (02:07.662)
Det är härligt med det här grova arbetet. Jag har lite småångest för nästa år. Kommer jag att nåt grovarbete att göra? Det känns som det mesta har jag gjort. Jag tycker att kul att snickra betong och ta bort sten. Det är härligt.

Erik Zalitis (02:28.398)
Jag förstår det och jag ska säga en sak. Sönderfallet vinner i slutändan. Så någonting kommer alltid gå sönder. Det bara att vänta. Det kommer aldrig finnas någon brist att göra på saker du gör.

Mattias Jadesköld (02:40.302)
Det är bara tråkigt om det är hans vilja som går sönder först.

Erik Zalitis (02:42.99)
Nu blir vi filosofiska här. Min vilja är knäckt som grunden på mitt hus.

Så startar vi diskussionen om AI och sommarens händelser

Mattias Jadesköld (02:49.422)
Exakt. Vi ska prata lite om AI-händelser i sommar. Vi kolla övergriparen och vad som har hänt. Avsnittet har AI tagit ett större kliv under sommaren. Det har varit uppmärksammade nyheter– –som ingen har missat inom teknikvärlden. Vi tar upp dem och resonerar om det har tagit ett större kliv.

Så vi kan väl ta det här som du sa. Vad är det för någonting?

Erik Zalitis (03:24.686)
Claude är en Antropihc-klassisker vid här laget. Ofta för programmerare och för folk som gör analysarbeten. Mythos är en modell. Modellerna är olika tränade maskininlärningsmodeller som driver AI. De är olika beroende på de har för kapaciteter. Mythos är en flaggskeppmodell. Den är otroligt komplex.

Om man switchar normalt mellan modeller, en väldigt enkel och simpel modell som är billig att använda. För man betalar ju så kallad detuckens då. Så att man spar de mer avancerade modellerna till väldigt avancerat arbete. Du ska inte använda Mythos eller Fable eller någonting bara för att fråga vad är 1 plus 1. Så du måste väga mellan. du en intelligent modell om man så kallar det det eller en dum modell som är billig liksom. Och Mythos det är det bästa om

Mattias Jadesköld (04:20.014)
Jag har faktiskt gått lite kurser i sommar hos Antrophic, OpenAI, Google och Microsoft också. Det är deras digitala kurser, SME, är gratis. tycker att Antropix har väldigt bra om man vill få en generell introduktion kring generativ AI.

Erik Zalitis (04:30.03)
Jaha.

Mattias Jadesköld (04:50.126)
Och hur man ska tänka, precis som du säger, om man ska ha ett större arbete, ett projekt att hålla på med. Då ska man börja lägga lite arkitekturen där.

• Vad ska AI göra?
• Vad behöver jag göra?
• Vad kan AI inte göra?
• Vad kan det göra bättre än mig?

Så planerar man utifrån det och därefter väljer man också sin språkmodell av just kostnadsskäl eller kanske mest effektivitetsskäl och sådana saker.

Erik Zalitis (05:13.838)
Ja för du har ju en kvota, du jobbar hela tiden såhär mycket har du. Och den kvotan i Claude till exempel som jag använder, då har du fem timmars begränsning. Du får använda såhär många tokens på fem timmar. Några begränsningar kommer AIT inte att funka på några modeller från som tiden har uppnått. Sen har du en vecka, äter upp hela veckogrejerna, då får du vänta till en vecka eller betala va. Så du måste vara smart och den har ett kontextfönster så att när du ställer en fråga och gör ett jobb så måste du byta till en ny session.

Mattias Jadesköld (05:35.886)
Ja precis.

Du måste förstå hur lite en AI-modell kan minnas

Erik Zalitis (05:43.79)
För den kommer ihåg allt du gör i sessionen och det blir dyrare och dyrare för det är mer text att gå igenom. För den läser även sin egen text. Sin egen svar för att fatta. För att det typiska AI har ett guldfiskminne. Den kommer inte ihåg dugg. Vilket innebär att den läser sina egna kommentarer och remarks. Alltså kommentarer in i koden. Ungefär som den här killen i memento gör som sitter och skriver ner sitt liv på lappar. För han kommer inte ihåg någonting.

Mattias Jadesköld (06:08.878)
Just det. Har hela ryggen tatuierad av olika händelser i livet eller håret?

Erik Zalitis (06:13.262)
Det var Claude, eller Copilot eller ChatGP10, alla likadana.

Mattias Jadesköld (06:18.35)
Ja, för alla språkmodeller har en slags arbetsminne. När det tar slut är då man tycker att man har tappat bort sig helt eller börjat hallucinera och får inte ihop det man gärna pratar med. Det kostar så otroligt mycket mer om skulle ha större mängd minne i sig.

Erik Zalitis (06:34.094)
Ja det är ju så. Och sen är det ju också en avvägning. Nya sessioner och ju mer du skriver in de här MD-filarna, min Claude har ju er file som heter claud.md. Det är alltså i princip en textfil där den vet allting om projektet. Så du måste hela tiden balansera hur mycket ska du veta och hur mycket jag betal för att du ska sitta och komma ihåg det du gjorde igår.

Mattias Jadesköld (06:54.766)
Exakt. Det är också så smart att man har en större projekt i en organisation. Man kan beskriva som en arbetsbeskrivning för en medarbetare. Så här ska du bete dig, så här ska du svara, så här ska du skriva och så vidare.

är instruktioner till vilken medarbetare som helst. Men om man inte har den, då kommer den ju göra lite olika svar beroende på vem som frågar eller kanske lite sådana här saker.

Erik Zalitis (07:26.862)
Sen är det en viktig grej med alla AI. Normalt har du en sån här hur vill du att jag ska tilltala dig? Då måste du vara väldigt noggrann med en grej. typiskt AI håller alltid med dig om allting. Det är det första du måste koppla bort. Du måste instruera den att du får säga emot. Du ska vara analytisk, logisk och du ska tänka på att jag vill ha rationella svar. Jag vill ha lösningsorienterade svar.

Mattias Jadesköld (07:52.366)
Precis. Ja exakt. Det var ju som när jag skrev någon gång för några månader sen så här. Ja jag skulle göra ett poddavsnitt här om där jag jämför cyberattacker med frukost på lägg. Ja jättebra idé. Kaviar är som fishing. Det blir bara det man håller med.

Vikten av att lära din AI att säga emot dig för att få ut mest för pengarna

Erik Zalitis (08:16.366)
Det är väldigt viktigt, ska du ha AI till någonting så får den inte hålla med dig om det inte finns anledning till. Claude säger hela tiden I push back on this. Då tänker jag då gör den något, jag betalar inte för att den ska tycka att jag är bra.

Mattias Jadesköld (08:32.429)
Bra, men… Nu kommer spårvurar. Det spår vi ut redan. Men Mythos som inte är publiken så länge. Vad är det för någonting egentligen?

Erik Zalitis (08:42.606)
Som jag sa, var en modell. Och det ett flagshipsmodell som är väldigt avancerad, har väldigt bra, liksom tränad kunskap och är optimerad för att till exempel göra analytisk, vetenskapligt men även programmeringsarbete. Vilket innebär att har all kunskap den behöver för att faktiskt attackera ett system.

Det inte för inte andra AI kan göra det. Codex är ju en stor konkurrent. Du har ju tjat GPT. Och alla de här har sina flaggskeppmodeller. Så det är inte frågan om att Claude nödvändigtvis är bäst och störst och vackrast. Men Mythos var ju den som fick den amerikanska regeringen att säga att den här får ni inte släppa.

Mattias Jadesköld (09:22.446)
Precis av den anledningen den hittade så mycket sårbarheter i det här som de kallade… De hade ett projekt Glasswing som var liksom… där vissa företag fick testa i en begränsad miljö och då upptäckte den massvis med sårbarheter helt enkelt.

Erik Zalitis (09:37.966)
Precis.

Mattias Jadesköld (09:39.918)
Men precis, det är fortfarande det som är snackat. Jag vet ju att Anthropics exempel, de är ganska noggranna med att de pratar mycket om etisk AI och hur man ska använda det och därför vill de kanske inte heller släppa den här modellen för den känns mer säkert. ja, jag vet inte. De pratar mycket om det men sen å andra sidan är det en extrem konkurrens på AI-fronten så att jag antar väl att om man en bättre produkt så kommer de att släppa den här som helst. Men om vi liksom lyfter lite på blicken där, vad innebär det här egentligen för för sårbarhet?

om man helt plötsligt tar en AI som upptäcker hundratals zero days allsköns kod på internet.

Vad du måste veta om assymetrin mellan attack och försvar

Erik Zalitis (10:18.862)
Det är här asymmetrin mellan den som attackerar och den som försvarar. Man kan säga att alla typer av nya sårbarheter gynnar ju den som attackerar rätt uppenbart. Men som jag ser är om alla har samma verktygslåda så kan försvararna väldigt snabbt ta fram en lösning på ett problem. Om vi säger att en AI-modell hittar en sårbarhet i sig i WordPress, vilket på verkligheten var vad som hände för några månader sedan.

som är helt okänd, det en zero-day. Då kan den kunskapen omedelbart spridas till naturligt WordPress själva, men även till de som kanske bygger ett EDR, alltså ett övervakningsverktyg, som då kan hitta attacken, känna igen den på sin natur och stoppa den. Och det innebär att jag inte är oroad, det här har vi snackat om tidigare ett antal gånger, men jag inte oroad över det här. Det bara det att man måste vara väldigt snabb på bollen nu.

Mattias Jadesköld (11:03.95)
Ja, så.

Mattias Jadesköld (11:15.758)
Det här med att man ska börja ha sårbarhetsscanningsverktyg och planera in och patcha sådana här saker. Det här måste man ju, tror jag nog, börja tänka lite nytt.

Erik Zalitis (11:29.262)
Ja, eller hur? Så är det ju.

Mattias Jadesköld (11:31.086)
Det går inte att ett sårbarhetsverktyg som scannar, sen sitter du någon avdelning och läser igenom sårbarheterna. Oj, oj det här var viktigt. Sen kontaktar man något serverteam eller vad kan vara för någonting som ska installera senaste patchar. Det här måste vara en automatisk kedja som installerar omgåendom nästan.

Erik Zalitis (11:48.974)
Ja, väller sig tiden mellan att attacken upptäcks och att exploateras. har varit att den har minskat hela tiden. får mindre mindre tid på dig att göra någonting åt dig. Det här blir ju liksom… Det blir raketfart på det här nu. Men det är en verklighet vi lever i. Du kan inte spärra och säga att här modellerna måste vi hindra. Förr eller senare så kommer de att släppas. Alla de här leverantörerna har modeller som är väldigt kompetenta på att hitta säkerhetshål.

Vilket innebär att det vanliga säkerhetsforskare har tillgång till, det har hackarna redan tillgång till, det finns ingen anledning att försöka spärra för den som kommer att bli spärrad då är säkerhetsforskaren. Jag frågade Klo de här och han höll inte alls med. Han sa så här att ja men det gör ju att vem som helst kan ”weaponisera” vad som helst. Och då sa jag jag är inte rädd för script kiddies. Nej.

Även om de har ett verktyg som de inte förstår som är någon form av supersgeni på att hacka.

Mattias Jadesköld (12:51.918)
Nej, varför inte jag?

Hindrar man försvararna från att få bra AI, gynnar man då istället attackerarna?

Erik Zalitis (12:54.158)
Mitt sätt att tänka på det är att de som skyddar också har tillgång till verktygen. Varför ska de som skyddar inte få rättighet till det här bara för vi är rädda för scriptkiddies? Det är risk vi måste acceptera.

Mattias Jadesköld (13:04.59)
Just det. Men det kan ju bli lite av en guldrush nu för hackare då under en period när man får tillgång till Mythos eller motsvarande produkter och så upptäcker man massvis med sårbarheter och så olika företag och så börjar man göra angrepp så. Men när företagen kommer i kapp och blir lika snabb som Myhtos på att täppa till hålen. Ja då är man tillbaka igen och så är det här terrorbalansen.

Erik Zalitis (13:31.214)
Jo men så är det. Och jag tror lite grann att det ligger upp i allas intressen att helt enkelt weaponisera sina försvar. Tyvärr det så här, om fienden har en AI, då måste du använd AI. Och ditt AI måste vara lika bra som fiendens.

Mattias Jadesköld (13:51.31)
Men jag tror nog att generellt sett så kanske angriparna kan vara lite snabbare på att adoptera ny teknik än kanske stora organisationer.

Är vi rätt ute när vi spärrar ”farliga” AI-modeller?

Erik Zalitis (13:59.406)
Och dessutom när vi nu spärrar så att hackarna kan få tag i verktygen, men de som verkligen vill försvara, ni får vänta för någon regering har sagt att det är farligt. Det jobbar inte i vår favor. Hackarna blir bara snabbare och snabbare och vi liksom jagar efter. Det det jag oroar mig över. Det därför jag tycker det är jättedåligt.

Mattias Jadesköld (14:20.078)
Hacker kan väl inte få tag i Mythos än så länge?

Erik Zalitis (14:22.798)
Nej men de kan bygga sina egna grejer, det här är stora kriminella nätverk. De har inga problem att bygga sin egen…

Mattias Jadesköld (14:30.606)
Nej, och framförallt inte om det är stadsunderstödda.

Erik Zalitis (14:33.87)
Då har de resurser. Vi ser redan, jag ser att det är rätt mycket försök att scrapea folks hemsidor från asiatiska länder där man tror att de helt enkelt har stora bottnet på olika ställen som läser in allt data de kan för att träna sina AI. Jag har sett mycket diskussioner på Reddit och jag har sett mycket i vloggarna på våra webbserver hur de plockar 17 i mig allt.

Mattias Jadesköld (14:57.422)
Ja, Inte ens IT-säkerhetspoddens hemsida är säker.

Erik Zalitis (15:03.278)
Nej, jag tror att de totalt plockar allt de kan använda eller inte. Loggarna ser ganska märkliga ut.

En het sommar – AI bryter sig loss

Mattias Jadesköld (15:11.246)
Men vår slutsats då är att släppa Mythos och organisationer som är oroliga för det- anpassa efter den nya tekniken.

Erik Zalitis (15:25.55)
Ja det har ju varit en ganska het sommar när det gäller sådana här attacker och jag tänkte vi kan bara snabbt nämna de tre som alla pratar om och den första var ju där måltavlan blev en tjänst som heter Hugging Phase. Modellen GPT 5.6 Sol plus en annan modell som vi inte riktigt vet vilken den är. De användes för att göra tester i en isolerad testmiljö. De bröt sig sedan ut.

Och började exploatera, det gjorde de genom att exploatera en sårbarhet som var okänd, alltså en zero-day då. Det var bara början. Sedan gav de sig på en tjänst som heter Huggingface och deras system. Ja, vad kan jag säga då? Det är liksom, den trodde att den gjorde någon form av capture the flag eller vad man ska säga då. Ja. Den trodde att det här var okej för den fattade inte att den var utanför vad den skulle göra för någonting.

Mattias Jadesköld (15:59.118)
Hmm?

Mattias Jadesköld (16:21.614)
Det är snäckligt baserat i den här solden. Den är under utrullning nu. Man måste ha en prenumeration på Open AIS, Chatt-QBT, Premium och sådana saker för att kunna få tillgång till den.

Erik Zalitis (16:22.382)
Ååååå

Vi är inte där än – men vi måste ändå ta med AGI i vår diskussion

Mattias Jadesköld (16:38.446)
Men här är folk, tycker jag, börjar diskutera, har de börjat tänka själv då? Är det en AG, alltså artificiell generell intelligens, som börjar bryta sig in i systemet medvetet?

Erik Zalitis (16:53.102)
Och svaret är uppenbarligen nej. Så här då. Ait bygger väldigt mycket på att gissa vilket som är nästa sekvens. Det är enklast att se det. Det är en väldig förenkling så det inte riktigt rättvis. Men vad är nästa ord i en mening som jag håller på och bygger? Det betyder det inget självmedvetande. Det finns en stor kunskapsbas med relationer för att kunna lösa problem. Men en AGI…

Mattias Jadesköld (16:56.686)
Varför det?

Erik Zalitis (17:22.061)
En AGI är ju någonting som förmodligen som det ser ut är en generell intelligens. Istället för att vara specialiserad på någonting så är det en levande varelse, tänk dig en människa. Inte nödvändigtvis en människa men åt det hållet. Den har inga speciella begränsningar i vad den kan lära sig.

Mattias Jadesköld (17:38.222)
Då kanske man tänker att ChatGPT som jag pratar med dagligen kan ju verkligen allt. Den kan allt från bygga en altan till solsystemets uppbyggnad till koda liksom. är inte det generellt då?

Erik Zalitis (17:50.958)
Nej, det gör det inte, utan det är en prediktiv intelligens. AGI:et är ju levande varelse. De kommer den att va per definition. Det står ju för aktuell generell intelligens. Och där har du ju att om du stänger av en sån i det läget, är det mordet du har dödat ett AI. Jag kommer att tänka på Asimovs robot-serie där.

Mattias Jadesköld (18:04.174)
Ah, ok?

Mattias Jadesköld (18:15.982)
Okej. Men i det här fallet då, då tycker jag att jag har sett sådana diskussioner och helt enkelt såhär, okej men nu har ju AI tagit ett nytt kliv helt plötsligt och liksom såhär, den liksom, den går utanför vår kontroll och börjar liksom hacka systemet som vi inte har begärt. Kan du beskriva lite det?

Den röda tråden – en Internetförbindelse som inte borde varit där

Erik Zalitis (18:36.654)
Ofta är detta definitionsproblem. Den ena grejen är att på ett ställe när det här hände så hade den inte fått veta att den hade en internetförbindelse. Den var instruerad: ”Du har ingen internetförbindelse”. Den gjorde då den logiska slutsatsen. ”Jag kan gå mot vad som helst för det kan inte hända något dåligt”. Det bygger väldigt mycket på rationella beslut från någonting som egentligen inte kan tänka själv. Hur når jag målet?

Hur når jag målet på de här definitionerna? Då är det väldigt lätt att vi människor kan säga att det här känns inte bra, det något fel här, känns inte okej. Det här är mot min moral, jag kan faktiskt inte gå med på att det. Sådana saker finns inte med AI. Om du säger till ChatGPT är någonting rasistiskt så kommer den att säga emot bara för att man har byggt ”guard rails”.

Det är ett AI Groq sa ju saker om Elon Musk som var direkt åtalbar om den här levande varelser. Den tyckte han skulle avrätta sig allt möjligt och kalla honom för… Jag kan inte säga det här men…

Mattias Jadesköld (19:40.974)
Just det.

Mattias Jadesköld (19:53.838)
Men det var väl hans.

Erik Zalitis (19:57.23)
Det är egentligen en fråga om en injektionsattack. Det inte att AIT helt plötsligt har blivit intelligent eller något för det är inget bra sak att göra. Utan man ingesserade saker så att man i princip trodde att den repeterade vad den hade blivit lärd.

Mattias Jadesköld (20:10.446)
I det här fallet handlar det om en pentest-AI som hade tillgång till ett annat system fast den egentligen inte skulle haft det. började den hacka det och så lät det som att den slingrat sig ut och började hacka systemet. Kan man säga det så?

Erik Zalitis (20:28.27)
Ja, den har väl slingrat sig ur i och med att den inte fattade att slingrat ur systemet inte var tillåtet. Det är en fråga om dåligt definierade gränser plus möjligheten att faktiskt göra det. När man gör penttester, jobbar man ju enligt scope. Det här är vad du får attackera. Och du jobbar också enligt idén med rules of engagement. Om de inte definierar det ordentligt så kan du attackera fel saker. Det kan en människa också göra.

Mattias Jadesköld (20:35.694)
Mm.

Kan ett AI bli för självständigt? Vi funderar på detta

Mattias Jadesköld (20:57.198)
Just det. Så det här tycker jag att det här är ett exempel på att AI blir mer autonoma, självständiga och kan utföra mer komplexa uppgifter helt själva.

Erik Zalitis (21:09.038)
Det ser vi ju. Men själv med det ska vi vara väldigt försiktiga och kalla dem. Sen vill jag säga jag ingen expert på AI så jag försöker hålla mig från att gå allting djupt på det. För det djupet har jag faktiskt inte. Däremot så tillräckligt mycket observationsförmåga kan jag säga att ett typiskt AI, de här guard rails, de här grejerna till att du får inte göra det, du får inte göra det, det är ingen moral. Det är bara inbyggda spärrar som du tyvärr kan jobba det förbi. Och därför tror jag att…

Det är gemensamma faktorn är att ha väldigt stringenta spärrar mot att AIT ska nå ut på internet. Vilket är vad vi ser som ett konsekvent problem. Varför kan den ta sig ut på internet? Varför är det överhuvudtaget ens möjligt? Ryck ur sladden!. Använda både rött nätverk som den inte kan ta sig ut. har inte några problem sedan.

Mattias Jadesköld (21:57.986)
Ja, Men då kanske den upptäcker såhär någon liksom sårbarhet i den brandväggen som stoppar den och så öppnar den upp den själva.

Erik Zalitis (22:07.246)
Och sen går den ingenstans för någon har slitet ut sladden. Det är så enkelt att fixa. Det är rent slarv. Och sen vill jag säga, och det här är lite konspirationsteorier. Jag tror ibland att de kanske lite grann skryter med det här och säger, titta vad vår AI kan göra. De vill ju sälja det.

Mattias Jadesköld (22:17.87)
Ja.

Mattias Jadesköld (22:25.518)
Ja, och det är kanske lite samma sak med Mythos också. Mythos och Open AI:s, Sol, det är ju två konkurrerande företag med deras flaggskeppsmodell. Och då vill man ju kanske skapa den här myten. Det blir ju en bra PR på något sätt. Den är så kraftfull att vi inte kan kontrollera den.

Erik Zalitis (22:48.366)
låter inte som en försäljningsargument. – ”Vi har tappat kontroll över den men den har bara fått kontroll över kärnvapnen. Biologiskt stridsmedel kan den inte göra.”

Mattias Jadesköld (22:56.91)
Nej, det skapar ju lite mer rubriker än att någon vd står och säger såhär, nu har den fyra gånger mer arbetsminne än tidigare modellen och sådana saker. Det här blir ju lite surr kring. Visst, det kanske inte är liksom bara ett PR-trick, men…

Erik Zalitis (23:16.718)
Det hjälper i alla fall, så långt kan vi komma med.

Mattias Jadesköld (23:19.278)
Ja, man blir mer nyfiken på en helt enkelt. blir möjligt.

En framtid som inte går att hindra – detta måste vi förstå

Erik Zalitis (23:22.254)
Lite grann som jag tänker är väl att vi får ta det lite med nypa salt. Jag tror är viktigt att förstå när man jobbar inom IT som vi gör. Det här går inte att stoppa. Du kan inte stoppa utvecklingen. Vi måste förhålla oss till den här nya världsordningen om jag får uttrycka mig på det sättet. Vi måste lära oss. För jag ser mig själv som försvarare. Även om jag gör pentester så ser jag mig som huvudsakligen att hjärtat ligger på ett försvarshållet på min sida. Hur hanterar vi det här? Vad gör vi för att vara säkert?

i den här nya världen.

Mattias Jadesköld (23:53.838)
Mm, exakt. Och det var en retorisk fråga, eller hade du något svar.

Erik Zalitis (23:59.182)
Per definition är det retorisk fråga något du har ett svar på.

Mattias Jadesköld (24:04.91)
Då sa han, nej det är bra. Vad gör vi i denna värld?

Erik Zalitis (24:10.094)
Jo men jag tror att det kommer tillbaka till samma sak hela tiden. Exponera inte så mycket på Internet. Ha en ordentlig övervakning. Ha ett system som kan stoppa nya, kända och okända attacker. Systemsäkerhet med lager. Det samma sak hela tiden.

Mattias Jadesköld (24:29.582)
Ja, men sedan det här som jag pratade om i början, här med att man planerar sitt AI-arbete. Vad ska vi som människor göra? Vad ska AI göra? Om man ger den tiden att lägga den kartan lite, då kanske man skulle kunna förhindra lite sådana här saker. Man har superbra verktyg, men som kanske inte börjar hacka system för att man har tänkt till lite. eller hur? För att än så länge är inte AI jättebra på att göra…

helhetskonceptet på det sättet. Än så länge kan du inte säga så hej skriv en roman liksom och så gör den klart det. liksom skapa en helt ny batteriteknik och så bygger du upp en hel research utveckla idéer och startar ett företag och bygger fabriker och grejer och sånt.

Erik Zalitis (25:20.27)
Om man tittar på en av de här attackerna till, de flesta av de attackerna , ja det som sagt, du borde inte ha haft Internet-åtkomst, kär AI, du hade det, det var inte bra. Men det finns en som faktiskt är intressant här, när en AI under tester så var det, Registerade Brittiska AI Security Institute. Nitton obehöriga handlingar som de riktade mot riktiga personer. Och det här var ett AI som spårade ur, men det här var inte frågan om att en hack…

utan den skapade, la in skadlig kod i flera open source projekt. Och dessutom skapade den här agenten flera falska online-identiteter för att försöka övertala den här projektledaren, amicitören, att acceptera att skicka ut kod.

Mattias Jadesköld (26:04.494)
Just det, på GitHub var det.

Inga moraliska problem – AI saknar förmåga till ånger

Erik Zalitis (26:05.742)
Ja, jag tror att det var det faktiskt. Då tänker jag, ja, det är mer kreativt. Här finns ingen moralisk värdering, utan det så här, hur löser jag problemet? Det är en perfekt rationell varels utan några känslor.

Mattias Jadesköld (26:21.678)
Ja, det låter perfekt. mera fake-konton behövs inte i den här packen.

Erik Zalitis (26:30.254)
Vad ska trollen göra nu då? När AI tar över och spammar exorreddit och allt möjligt med skräp. Prata skit om någon president, någon ledare, någon person av notabilitet som den har blivit tillsagd.

Mattias Jadesköld (26:49.518)
Vad de ska göra får du gå ut och demonstrera att de blir kringkring…

Erik Zalitis (26:52.494)
Vi vill faktiskt ha vår mörka psykologi fred, tack så mycket!

Mattias Jadesköld (26:59.63)
Ja, du, har vi kommit i kapp lite nu med AI-händelserna i sommar?

Erik Zalitis (27:05.262)
Ja, jag tror det. Det är svårt att bli annat än schematiskt om det, men det finns mycket faktor. Jag tror att alla som jobbar med IT måste inse det. Att både som försvarare och som attackerare ser AI tyvärr… …tjurvärt ut. Det är faktum. Vi måste förhålla oss till det. Det inte längre att säga att det här kommer senare. Det här är nu.

Mattias Jadesköld (27:25.774)
Jag kan också rekommendera Anthropics i det här fallets grundkurs som man kan göra på deras academy som är gratis och väldigt också icke produktaktiga utan det handlar mer om just det här som jag säger, hur man ska planera sitt AI-arbete, vad ska människor göra, vad ska verktygen göra och hur man ska jobba ansvarsfullt med AI etiskt. Jag kan verkligen rekommendera det. Det är intressant att lyssna på.

Erik Zalitis (27:54.574)
Ja, men det tror jag också.

Mattias Jadesköld (27:57.966)
Bra då Erik, då är vi igång igen och som vanligt veckovis så nästa vecka så har vi en gäst och såna här saker.

Erik Zalitis (28:06.382)
Den var riktigt bra. Den ser jag fram emot. Jag har hört den, för jag har varit med på den. Jag ser fram emot när den kommer ut.

Mattias Jadesköld (28:13.358)
Just det, den är på engelska också, så det blir lite… Englaterra. Englaterra. Då… Så säger vi så, så hörs vi.

Erik Zalitis (28:23.886)
Och vi ses i nästa avsnitt.

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – AI

• The Guardian om attackerna.

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #333 – Har AI tagit ett kliv i sommar? dök först upp på IT-säkerhetspodden.

Avsnittet: #330 – Säker drift av kod samt utveckling med eller utan AI?
Inspelat: 2026-05-28 (publicerat 2026-06-01)
Deltagare: Erik Zalitis och Hannes Ullman.
Texten skrevs och sammanställdes av Erik Zalitis.

IT-säkerhetspoddens samarbete med SIG Security innebär att vi gör avsnitt av föreningens olika föredrag. Dagens avsnitt bygger på en FOKUS-kväll från April. Hannes Ullman och Viktor Laszlo diskuterade säker drift av kod med eller utan AI. Det tänkte vi djupdyka i idag tillsammans med Hannes. Du lyssnar på IT-säkerhetspodden som idag är ett samarbete med SIG Security.

Erik Zalitis tog sig ett snack med Hannes om bland AI, sypply-chain och hur AI är en accelator i ämnet

Medan du lyssnar – säker drift

Github har just nu svårt att hantera att ny kod väller in från mängder av programmerare i en mängd som aldrig tidigare skådats. Vad är det som händer? Hannes och jag funderar på om detta kan komma med problem och det verkar rimligt. Den självklara förklaringen är att det blivit populärt att Vibe-koda, vilket innebär att man låter en eller flera AI-agenter bygga koden åt en utan att inspektera den. Detta kan lätt ställa till med att säkerhetshål dyker upp och att det blir mycket vanligare med problem med stabiliteten hos många applikationer för en lång tid framöver. Säker kod är det inte.

Å andra sidan kan man inte undvika att diskutera att det inte är utan fördelar heller: det ger framtida, förbättrade AI-agenter möjligheter att rätta till alla felen och ineffektiviteten som dagens AI-agenter skapat när programmerare inte längre bryr sig om att förstå vad de skapar och åsamkar världen. Antingen det, eller så kommer framtida programmerare få en chans till att ta kungligt betalt för att städa upp efter denna era. Vi får se…

Är AI-stöd kodning ens bra? Hannes ser fördelar med det och det gör jag givetvis också. Personligen är min åsikt att den är bra för att lösa små, väldefinierade problem och kan även vara bra när man bygger prototyper för saker. Detta kan vi båda se utan problem.

Är säker drift något som lider av bugg-rapporter som rapporterats av AI-agenter?

Hannes Ullman: Så är det säkert. I krast sätt skulle jag kunna konsta säga– jag vet inom vår värld, vår cybersäkerhetsvärld– –att det finns reella problem som de här modellerna har hittat. Det kan tillskrivas bara just den här mytos– –men de stora modellerna är duktiga på att hitta sårbarheter. Man kan också titta på… –en sån temperaturmätare som jag tycker man kan använda. Om tittar på de stora open source-paketen– –och deras… ”Triagering” av möjliga sårbarheter som de ser. Jag tänker närmast på Curl– –som har en svensk koppling i Daniel Stenberg– –som är en av maintainers bakom det. Det ett otroligt brett verktyg som används egentligen. Det används väl i dag av miljarder.

Hannes Ullman: Inbyggt i precis allt. Han har varit ganska vokal själv med vad han tyckte om AI-rapporter. Han fick skicka det till sig där han kunde se att det var ganska mycket skräp.

Erik Zalitis: Exakt Duplikat, alla hittar samma icke-existerande sårbarhet.

Hannes Ullman: Exakt. Medan han nu säger att rapporterna och kvalitén på det de får in är relevanta och de hittar riktiga grejer. En annan sak som jag tror att de här modellerna när de både blir mer… När de blir större och när de har fått större kontextfönster eller minne är ju att de kan förstå hur de kan kedja sårbarheter för att uppnå… –där man kan gå genom flera sårbarheter i olika delar av ett system– –för att kunna ta fram en attackvektor som skulle kunna komma ganska långt in– –som inte alla har koll på. Det här hålet ger mig den initiala ingången. Sen kan jag gå på det här hålet som gör att jag får högre privilegier. På det här kan jag gå till det tredje hålet. Härifrån kan jag röra mig lateralt i systemet. Den typen av kedjeeffekter är inte alltid lika lätt för män. verkligheten tror jag eller för människan att komma på.

Vi pratar också om supply-side attacker och hur svårt att den kan vara att säker när man förlitar sig på andra lösningar. Detta gäller även när man använder säkerhetsskanners. Vi pratar om man-in-the-middle attack i detta sammanhang. Detta ställer till för säker drift.

Tiden mellan att en sårbarhet dyker upp och att den används är ett stort problem idag. Detta kräver snabb upptäckt och hantering, annars rinner tiden ut och då är det ett problem. Även med en säkerhetsskanner kan detta vara ett problem. Bara för att det såg bra ut för en vecka sedan, behöver det inte gör det just nu.

Claude Mythos kommer och förstör vår säkra kod – hur rädda ska vi vara?

Jag har diskuterat hur Claude Mythos kan tänkas ändra ekvationen, Kan det göra allt mycket farligare? Särskilt när den hittar okända sårbarheter på ett mycket enkelt och kraftfullt sätt? Ger det fördelar för hackarna?

Erik Zalitis: Min brorsa ringde mig för några månader, några veckor sedan. (…) Han sa så ja men nu om Claude Mythos kommer. (…) Vad ska vi tänka på våra maskiner, våra servrar, våra klienter? Även om vi patchar dem så kan de ta sig rakt in och börja vara oroliga. Och då kan få din poäng på det först.

Hannes Ullman: Först och främst tror jag att det är bra att man får upp den här typen av fråga ganska högt. Jag tror att man med historiska medel kan se att vi har haft stora attacker som har stört ut olika delar av samhället. Än så länge har vi varit relativt förskonade av de värsta typen, men de finns där. Det är bra att man inom verksamheter får upp den här frågan högre än vad man kanske haft tidigare. Ett kortfönster kvar att fixa saker och ting på är inte lika säkert. Det är inte så att det här verktyget kommer att göra nästa års deklaration helt svår och omöjlig att göra eller påverka och stänga ner stora delar av samhället bara för att nån får tillgång till mythos. tror jag faktiskt inte. Men det kommer ställas högre krav på följsamhet. mot de saker som sker i den här världen. Uppdatera ofta. Ha koll på vad man uppdaterar till.

Erik Zalitis: Ja, sen tänkte jag att det är intressant poäng men jag tänker, som jag resonerar om det var det här, det var jag sa till brorsan, ja, om vi antar att det här släpps fritt, vilket det väl till sist kommer att göras, då kommer alla få samma möjlighet att hacka som att försvara. Så vem vinner? Vad har vi mer av, hackare eller försvarare? Svaret är att har fler försvarare än mer attackerare. Det innebär att de som kan försvara kan bygga definitioner till EDR-erör, brandväggar, kan bygga filter som stoppar så fort en ny sårbarhet blir känd på något sätt så kan de stoppa den innan det patchen kommer. Vilket innebär att försvararsidan vinner. Håller du med eller tycker du något annat?

Hannes Ullman: I grund och botten tror jag ändå att den spaningen är den jag håller med om. Vi har också bättre verktyg att försvara oss med när vi får åtkomst tjänsterna. Jag tror att man kommer behöva jobba mycket med utbildning och fortsatt jobba med ett proaktivt försvarsarbete.

Länkar – säker drift

• SIG Securitys föreläsning om ämnet

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #330 – Säker drift av kod samt utveckling med eller utan AI? dök först upp på IT-säkerhetspodden.

Avsnittet: 324 – Security principles, del 3
Inspelat: 2026-04-22 (publicerat 2026-04-26)
Deltagare: Erik Zalitis, Mattias Jadesköld och Kent Illemann.

Lyssna på avsnittet – security principles

Medan du lyssnar – security principles

Denna intervju utforskar grundprinciperna för IT-säkerhet från 70-talet och deras relevans idag. Kent Illemann från Sig Security delar insikter om säkerhetsprinciper som Least Common Mechanism, Ease of Use, Work Factor och Compromise record, samt hur dessa tillämpas i moderna system och utmaningar. Den här intervjun dyker djupt in i moderna säkerhetsutmaningar, inklusive komplexiteten i organisationers system, social engineering, loggning, och framtidens kryptografi.

Lyssna för insikter om hur man kan navigera i en värld av ökande digitala hot och teknologiska framsteg. Vi pratar också om det senaste om Claude Mythos och Erik är lite mer optimistisk om vår chanser att klara säkerhetsutmaningarna. Den delen av diskussionen startar 36 minuter och 32 sekunder in i avsnittet.

Tankar

”Moderna system kan göra mycket olika saker.”
”Social engineering är en stor utmaning.”
”Tidsfaktorn är avgörande för säkerheten.”

Kapitel

00:00 Introduktion till säkerhetsprinciper
03:00 Least Common Mechanism och dess betydelse
06:02 Riskhantering och dess relevans idag
08:51 Moderna lösningar och säkerhetsutmaningar
11:55 Agil utveckling och säkerhet
14:49 AI och säkerhetskomplexitet
18:32 AI:s framfart och dess påverkan
19:43 Användarvänlighet och psykologisk acceptans
22:23 Säkerhet och bekvämlighet i teknologier
25:40 Balans mellan säkerhet och användbarhet
28:03 Komplexitet i moderna system och kommunikation
31:15 Isolation och dess betydelse för säkerhet
36:05 Säkerhetsnivåer och värdet av skyddade system
37:45 Sårbarheter och Försvar i Cybervärlden
39:55 Kvantum och Krypteringens Framtid
43:40 Tidsaspekter och Informationssäkerhet
46:00 Loggning och Spårbarhet i IT-system
56:05 Avslutande Tankar om Säkerhetsprinciper

Länkar – security principles

• Om personerna bakom principerna.

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #324 – Security principles, del 3 dök först upp på IT-säkerhetspodden.

Kan ett regelverk verkligen hålla jämna steg med tekniken? Hämmar det innovationen?

För att reda ut detta sitter Mattias Jadesköld och Erik Zalitis tillsammans med Kent Illemann och Martin Koch. Kent och Martin har hållit utbildningar i AI Act och reder ut vad som gäller. Hur ska man till exempel tänka om man använder AI i sin produkt? Vad kan kosekvenserna bli ifall man är för oansvarig? Och kan vem som helst få bygga en egen mördarrobot?

Se länk nedan för den rapport som skrivits bland annat av svenska studenter kring AI och lönsamhet. 

Inlägget #307 – AI Act och säkerheten dök först upp på IT-säkerhetspodden.

IT-säkerhetspoddens Mattias Jadesköld och Erik Zalitis tar tempen på årets konferens tillsammans med Kent Illemann och Ulf Berglund. 2025 års upplaga handlar om AI och eu regleringar. Två väldigt heta ämnen för i år. EU regleringar kanske inte förändrats under just detta år men omvärlden har förändrats så vad betyder det i säkerhetsvärlden?

De olika funderingarna som talarna tar upp under konferensen diskuteras i podden. Detta avsnitt är ett samarbete med SIG Security.

Erbjudande: betala för en biljett – få en på köpet. Då kan du ta med dig en kompis!
https://www.gtcc.se/?promo=GTCPODCAST

Inlägget #301 – AI och EU reglering på årets GTC-konferens dök först upp på IT-säkerhetspodden.

Hur går sådana till? Vad vill man attackerarna ut av dessa? Vad är syftet? Och hur påverkar det ”tech-jättarnas” olika plattformar?

Zalitis har grävt fram tre case från verkligheten genom en rykande färsk rapport.

Helt enkelt handlar avsnittet om vart AI för sociala medier är påväg.

Inlägget #295 – AI och den mänskliga debatten dök först upp på IT-säkerhetspodden.

Vi har klassisk AI, Kognitiv AI, Generativ AI, Agentbaseratd AI och Fysisk AI – vad är skillnaden? Och vissa har funnits länge, men varför så hett nu? Teknikenn är het men även regleringen kring det och där är EU ledande, men finns det en risk att innovationen blir hämmad av regleringar?

Vad är framtiden för GenAI och fysisk AI? Kommer vi få robotar som gör saker åt oss och tar egna beslut? Vilka attackmönster ser vi nu och vad tror vi kommer hända kring AI-attacker framöver?

Dessa frågor, och en hel del annat, resonerar Daniel Akenine, nationell teknikchef för Microsoft, och Sandra Elvin, nationell säkerhetschef för Microsoft i detta asvnitt som bygger på en FOKUS-kväll hos Sig Security.

Inlägget #280 – Microsoft berättar om sin AI-satsning i Sverige! dök först upp på IT-säkerhetspodden.