#333 – Har AI tagit ett kliv i sommar?

I sommar har några uppmärksammade nyheter kring AI figurerat. Vad är det senaste kring Mythos? Kan AI bli så bra på att hacka att man inte kan kontrollera den? Är AI så pass kompetent nu att vi uppnått generell intelligens (AGI)?

Mattias Jadesköld och Erik Zalitis tar tempen på den senaste utvecklingen efter ett långt sommarlov.

Inspelat: 2026-08-23 (publicerat 2026-08-26)
Deltagare: Erik Zalitis och Mattias Jadesköld.
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – AI

Det ligger ju i tiden just nu – fruktan för hur AI kommer att rita om spelplanen framöver, vilket nyligen kommit till sin spets med det som hände i somras. Då hade ju AI flera gånger attackerat sajter på grund av miss-konfigurationer. Hur oroliga borde vi vara? Svaret är inte enkelt, men vi har en ganska bra koll hur detta är på väg att förändra hur vi tänker på IT-säkerhetsområdet.

Vad du måste veta om AI just nu (Att ta med dig från denna diskussion)

• Vi är inte i närheten av AGI

Som vi säger: AGI (Artificial General Intelligence) är ingeting som kommer se på mycket länge. Tro inte på marknadsföringen! AGI är en intelligens som motsvarar en människas och som mycket sannolikt kommer vara en levande människa.

• Inget AI har gått över till den ”mörka sidan”

Rubriker som ”AI gone rogue” (AI:t har blivit en skurk) har synts på flera löpsedlar och detta säger vi emot i podden (läs transkriberingen). Saken är att AI saknar en agenda, känslor och en inbyggd moral. Den kan programmeras att inte tillåta visa promptar eller att säga emot saker som den förbjudits att hålla med om. Men detta skydd är sprött. Det som har hänt är enkelt: i många av fallen har AI-modellerna attackerat ett system där det haft möjlighet att ta sig ut på Internet. Då det informerats om att ingen Internet-förbindelse har funnits tillgänglig, har det inte agerat för att undvika mål. En mänsklig pentestare hade troligen kunnat säga ”Men vänta här nu, svaret kommer ju från Internet” och då avbryta testet. Ett AI har ingen ”magkänsla”.

• AI har ett väldigt begränsat minne

En människa med samma svaga minne som ett typiskt AI hade troligen behövt vård och möjligen bo på ett vårdhem. Diskussionen förklarar balansen mellan att spendera stora mängder ”tokens” på att hålla en loggbok i en session så AI-modellen vet vad den håller på med och ofta att ”kompaktera” (sammanfatta) loggen. Men detta gör att den riskerar att inte längre göra saker rätt, då den missar saker. Jag har kört Claude och kan intyga att den nästan religiöst kommenterar den minsta ändring i koden så den vet vad funktionen är till för. Kommentarer i kod är bra, men när din kod ser ut som ett grönt hav av kommentarer, är det lätt att inse att detta inte är enbart för att ditt AI är godhjärtat och vill hjälpa till.

Här är transkriptionen av avsnittet

Mattias Jadesköld (00:08.334)
IT-säkerhetspodden är tillbaka efter ett långt sommaruppehåll. Något som inte däremot har tagit sommarsmester i det ständigt aktuella ämnet artificiell intelligens.

Erik Zalitis (00:17.902)
Exakt. Läs det i juni om Mythos som är så farlig att Anthropic tvekar på att släppa den? Och sen är det AI-agenten som rymde också. Vad innebär det egen1§tligen?

Mattias Jadesköld (00:32.43)
Ja, AI har tagit ett enormt kliv under sommaren. Är vi på väg mot en mytomspunna generell AI? Det ska vi kika på i dagens avsnitt. Jag heter Rivan Låne, Mattias Jadesköld och han som pratade nyss, Erik Zalitis.

Erik Zalitis (00:46.638)
Jajamän, vi är långt ifrån varandra, inte kanske inte mentalt på något sätt, men jag är i norra Sverige och du i Stockholm.

Mattias Jadesköld (00:55.406)
Ja, det stämmer bra det. Du har ju fortfarande semester kvar.

Erik Zalitis (01:00.334)
Några dagar kvar, åker tillbaka till storstaden imorgon.

Mattias Jadesköld (01:05.39)
Ja, men lite längre sommaruppehåll än vanligt har det blivit ju.

Erik Zalitis (01:09.774)
Ja, det är länge sedan vi körde på somrarna och det kan nog ingen kräva men det har varit bra somrapåhåll faktiskt. Vad har gjort?

Mattias Jadesköld (01:18.446)
Det har varit lite i Spanien och sen har det varit ute på landet där jag brukar hänga hela sommaren. 17 runder i golf har det blivit.

Erik Zalitis (01:30.894)
Har du handikapp att tala om fortfarande eller?

Mattias Jadesköld (01:34.574)
Handikapp har jag alltid haft.

Erik Zalitis (01:38.542)
Men jag menar du jobbar väl bort det du har inte kommit så långt så att du inte har något

Mattias Jadesköld (01:42.03)
Ja, absolut. Det har gått ner lite sådär men det ingenting att skryta med utan jag började bara förra året så där. Själv då vad du hållit på med för någonting då?

Erik Zalitis (01:50.542)
Jag har programmerat lite grann, jag har utvecklat bland annat det här som vi håller på med som heter Mowland Discover. Sen har hjälpt farsan runt huset här, vi har grävt och liksom gjort lite saker och ting, byggt om och ja du vet, så fort man har ett landställe så måste man göra massa saker.

Mattias Jadesköld (02:07.662)
Det är härligt med det här grova arbetet. Jag har lite småångest för nästa år. Kommer jag att nåt grovarbete att göra? Det känns som det mesta har jag gjort. Jag tycker att kul att snickra betong och ta bort sten. Det är härligt.

Erik Zalitis (02:28.398)
Jag förstår det och jag ska säga en sak. Sönderfallet vinner i slutändan. Så någonting kommer alltid gå sönder. Det bara att vänta. Det kommer aldrig finnas någon brist att göra på saker du gör.

Mattias Jadesköld (02:40.302)
Det är bara tråkigt om det är hans vilja som går sönder först.

Erik Zalitis (02:42.99)
Nu blir vi filosofiska här. Min vilja är knäckt som grunden på mitt hus.

Så startar vi diskussionen om AI och sommarens händelser

Mattias Jadesköld (02:49.422)
Exakt. Vi ska prata lite om AI-händelser i sommar. Vi kolla övergriparen och vad som har hänt. Avsnittet har AI tagit ett större kliv under sommaren. Det har varit uppmärksammade nyheter– –som ingen har missat inom teknikvärlden. Vi tar upp dem och resonerar om det har tagit ett större kliv.

Så vi kan väl ta det här som du sa. Vad är det för någonting?

Erik Zalitis (03:24.686)
Claude är en Antropihc-klassisker vid här laget. Ofta för programmerare och för folk som gör analysarbeten. Mythos är en modell. Modellerna är olika tränade maskininlärningsmodeller som driver AI. De är olika beroende på de har för kapaciteter. Mythos är en flaggskeppmodell. Den är otroligt komplex.

Om man switchar normalt mellan modeller, en väldigt enkel och simpel modell som är billig att använda. För man betalar ju så kallad detuckens då. Så att man spar de mer avancerade modellerna till väldigt avancerat arbete. Du ska inte använda Mythos eller Fable eller någonting bara för att fråga vad är 1 plus 1. Så du måste väga mellan. du en intelligent modell om man så kallar det det eller en dum modell som är billig liksom. Och Mythos det är det bästa om

Mattias Jadesköld (04:20.014)
Jag har faktiskt gått lite kurser i sommar hos Antrophic, OpenAI, Google och Microsoft också. Det är deras digitala kurser, SME, är gratis. tycker att Antropix har väldigt bra om man vill få en generell introduktion kring generativ AI.

Erik Zalitis (04:30.03)
Jaha.

Mattias Jadesköld (04:50.126)
Och hur man ska tänka, precis som du säger, om man ska ha ett större arbete, ett projekt att hålla på med. Då ska man börja lägga lite arkitekturen där.

• Vad ska AI göra?
• Vad behöver jag göra?
• Vad kan AI inte göra?
• Vad kan det göra bättre än mig?

Så planerar man utifrån det och därefter väljer man också sin språkmodell av just kostnadsskäl eller kanske mest effektivitetsskäl och sådana saker.

Erik Zalitis (05:13.838)
Ja för du har ju en kvota, du jobbar hela tiden såhär mycket har du. Och den kvotan i Claude till exempel som jag använder, då har du fem timmars begränsning. Du får använda såhär många tokens på fem timmar. Några begränsningar kommer AIT inte att funka på några modeller från som tiden har uppnått. Sen har du en vecka, äter upp hela veckogrejerna, då får du vänta till en vecka eller betala va. Så du måste vara smart och den har ett kontextfönster så att när du ställer en fråga och gör ett jobb så måste du byta till en ny session.

Mattias Jadesköld (05:35.886)
Ja precis.

Du måste förstå hur lite en AI-modell kan minnas

Erik Zalitis (05:43.79)
För den kommer ihåg allt du gör i sessionen och det blir dyrare och dyrare för det är mer text att gå igenom. För den läser även sin egen text. Sin egen svar för att fatta. För att det typiska AI har ett guldfiskminne. Den kommer inte ihåg dugg. Vilket innebär att den läser sina egna kommentarer och remarks. Alltså kommentarer in i koden. Ungefär som den här killen i memento gör som sitter och skriver ner sitt liv på lappar. För han kommer inte ihåg någonting.

Mattias Jadesköld (06:08.878)
Just det. Har hela ryggen tatuierad av olika händelser i livet eller håret?

Erik Zalitis (06:13.262)
Det var Claude, eller Copilot eller ChatGP10, alla likadana.

Mattias Jadesköld (06:18.35)
Ja, för alla språkmodeller har en slags arbetsminne. När det tar slut är då man tycker att man har tappat bort sig helt eller börjat hallucinera och får inte ihop det man gärna pratar med. Det kostar så otroligt mycket mer om skulle ha större mängd minne i sig.

Erik Zalitis (06:34.094)
Ja det är ju så. Och sen är det ju också en avvägning. Nya sessioner och ju mer du skriver in de här MD-filarna, min Claude har ju er file som heter claud.md. Det är alltså i princip en textfil där den vet allting om projektet. Så du måste hela tiden balansera hur mycket ska du veta och hur mycket jag betal för att du ska sitta och komma ihåg det du gjorde igår.

Mattias Jadesköld (06:54.766)
Exakt. Det är också så smart att man har en större projekt i en organisation. Man kan beskriva som en arbetsbeskrivning för en medarbetare. Så här ska du bete dig, så här ska du svara, så här ska du skriva och så vidare.

är instruktioner till vilken medarbetare som helst. Men om man inte har den, då kommer den ju göra lite olika svar beroende på vem som frågar eller kanske lite sådana här saker.

Erik Zalitis (07:26.862)
Sen är det en viktig grej med alla AI. Normalt har du en sån här hur vill du att jag ska tilltala dig? Då måste du vara väldigt noggrann med en grej. typiskt AI håller alltid med dig om allting. Det är det första du måste koppla bort. Du måste instruera den att du får säga emot. Du ska vara analytisk, logisk och du ska tänka på att jag vill ha rationella svar. Jag vill ha lösningsorienterade svar.

Mattias Jadesköld (07:52.366)
Precis. Ja exakt. Det var ju som när jag skrev någon gång för några månader sen så här. Ja jag skulle göra ett poddavsnitt här om där jag jämför cyberattacker med frukost på lägg. Ja jättebra idé. Kaviar är som fishing. Det blir bara det man håller med.

Vikten av att lära din AI att säga emot dig för att få ut mest för pengarna

Erik Zalitis (08:16.366)
Det är väldigt viktigt, ska du ha AI till någonting så får den inte hålla med dig om det inte finns anledning till. Claude säger hela tiden I push back on this. Då tänker jag då gör den något, jag betalar inte för att den ska tycka att jag är bra.

Mattias Jadesköld (08:32.429)
Bra, men… Nu kommer spårvurar. Det spår vi ut redan. Men Mythos som inte är publiken så länge. Vad är det för någonting egentligen?

Erik Zalitis (08:42.606)
Som jag sa, var en modell. Och det ett flagshipsmodell som är väldigt avancerad, har väldigt bra, liksom tränad kunskap och är optimerad för att till exempel göra analytisk, vetenskapligt men även programmeringsarbete. Vilket innebär att har all kunskap den behöver för att faktiskt attackera ett system.

Det inte för inte andra AI kan göra det. Codex är ju en stor konkurrent. Du har ju tjat GPT. Och alla de här har sina flaggskeppmodeller. Så det är inte frågan om att Claude nödvändigtvis är bäst och störst och vackrast. Men Mythos var ju den som fick den amerikanska regeringen att säga att den här får ni inte släppa.

Mattias Jadesköld (09:22.446)
Precis av den anledningen den hittade så mycket sårbarheter i det här som de kallade… De hade ett projekt Glasswing som var liksom… där vissa företag fick testa i en begränsad miljö och då upptäckte den massvis med sårbarheter helt enkelt.

Erik Zalitis (09:37.966)
Precis.

Mattias Jadesköld (09:39.918)
Men precis, det är fortfarande det som är snackat. Jag vet ju att Anthropics exempel, de är ganska noggranna med att de pratar mycket om etisk AI och hur man ska använda det och därför vill de kanske inte heller släppa den här modellen för den känns mer säkert. ja, jag vet inte. De pratar mycket om det men sen å andra sidan är det en extrem konkurrens på AI-fronten så att jag antar väl att om man en bättre produkt så kommer de att släppa den här som helst. Men om vi liksom lyfter lite på blicken där, vad innebär det här egentligen för för sårbarhet?

om man helt plötsligt tar en AI som upptäcker hundratals zero days allsköns kod på internet.

Vad du måste veta om assymetrin mellan attack och försvar

Erik Zalitis (10:18.862)
Det är här asymmetrin mellan den som attackerar och den som försvarar. Man kan säga att alla typer av nya sårbarheter gynnar ju den som attackerar rätt uppenbart. Men som jag ser är om alla har samma verktygslåda så kan försvararna väldigt snabbt ta fram en lösning på ett problem. Om vi säger att en AI-modell hittar en sårbarhet i sig i WordPress, vilket på verkligheten var vad som hände för några månader sedan.

som är helt okänd, det en zero-day. Då kan den kunskapen omedelbart spridas till naturligt WordPress själva, men även till de som kanske bygger ett EDR, alltså ett övervakningsverktyg, som då kan hitta attacken, känna igen den på sin natur och stoppa den. Och det innebär att jag inte är oroad, det här har vi snackat om tidigare ett antal gånger, men jag inte oroad över det här. Det bara det att man måste vara väldigt snabb på bollen nu.

Mattias Jadesköld (11:03.95)
Ja, så.

Mattias Jadesköld (11:15.758)
Det här med att man ska börja ha sårbarhetsscanningsverktyg och planera in och patcha sådana här saker. Det här måste man ju, tror jag nog, börja tänka lite nytt.

Erik Zalitis (11:29.262)
Ja, eller hur? Så är det ju.

Mattias Jadesköld (11:31.086)
Det går inte att ett sårbarhetsverktyg som scannar, sen sitter du någon avdelning och läser igenom sårbarheterna. Oj, oj det här var viktigt. Sen kontaktar man något serverteam eller vad kan vara för någonting som ska installera senaste patchar. Det här måste vara en automatisk kedja som installerar omgåendom nästan.

Erik Zalitis (11:48.974)
Ja, väller sig tiden mellan att attacken upptäcks och att exploateras. har varit att den har minskat hela tiden. får mindre mindre tid på dig att göra någonting åt dig. Det här blir ju liksom… Det blir raketfart på det här nu. Men det är en verklighet vi lever i. Du kan inte spärra och säga att här modellerna måste vi hindra. Förr eller senare så kommer de att släppas. Alla de här leverantörerna har modeller som är väldigt kompetenta på att hitta säkerhetshål.

Vilket innebär att det vanliga säkerhetsforskare har tillgång till, det har hackarna redan tillgång till, det finns ingen anledning att försöka spärra för den som kommer att bli spärrad då är säkerhetsforskaren. Jag frågade Klo de här och han höll inte alls med. Han sa så här att ja men det gör ju att vem som helst kan ”weaponisera” vad som helst. Och då sa jag jag är inte rädd för script kiddies. Nej.

Även om de har ett verktyg som de inte förstår som är någon form av supersgeni på att hacka.

Mattias Jadesköld (12:51.918)
Nej, varför inte jag?

Hindrar man försvararna från att få bra AI, gynnar man då istället attackerarna?

Erik Zalitis (12:54.158)
Mitt sätt att tänka på det är att de som skyddar också har tillgång till verktygen. Varför ska de som skyddar inte få rättighet till det här bara för vi är rädda för scriptkiddies? Det är risk vi måste acceptera.

Mattias Jadesköld (13:04.59)
Just det. Men det kan ju bli lite av en guldrush nu för hackare då under en period när man får tillgång till Mythos eller motsvarande produkter och så upptäcker man massvis med sårbarheter och så olika företag och så börjar man göra angrepp så. Men när företagen kommer i kapp och blir lika snabb som Myhtos på att täppa till hålen. Ja då är man tillbaka igen och så är det här terrorbalansen.

Erik Zalitis (13:31.214)
Jo men så är det. Och jag tror lite grann att det ligger upp i allas intressen att helt enkelt weaponisera sina försvar. Tyvärr det så här, om fienden har en AI, då måste du använd AI. Och ditt AI måste vara lika bra som fiendens.

Mattias Jadesköld (13:51.31)
Men jag tror nog att generellt sett så kanske angriparna kan vara lite snabbare på att adoptera ny teknik än kanske stora organisationer.

Är vi rätt ute när vi spärrar ”farliga” AI-modeller?

Erik Zalitis (13:59.406)
Och dessutom när vi nu spärrar så att hackarna kan få tag i verktygen, men de som verkligen vill försvara, ni får vänta för någon regering har sagt att det är farligt. Det jobbar inte i vår favor. Hackarna blir bara snabbare och snabbare och vi liksom jagar efter. Det det jag oroar mig över. Det därför jag tycker det är jättedåligt.

Mattias Jadesköld (14:20.078)
Hacker kan väl inte få tag i Mythos än så länge?

Erik Zalitis (14:22.798)
Nej men de kan bygga sina egna grejer, det här är stora kriminella nätverk. De har inga problem att bygga sin egen…

Mattias Jadesköld (14:30.606)
Nej, och framförallt inte om det är stadsunderstödda.

Erik Zalitis (14:33.87)
Då har de resurser. Vi ser redan, jag ser att det är rätt mycket försök att scrapea folks hemsidor från asiatiska länder där man tror att de helt enkelt har stora bottnet på olika ställen som läser in allt data de kan för att träna sina AI. Jag har sett mycket diskussioner på Reddit och jag har sett mycket i vloggarna på våra webbserver hur de plockar 17 i mig allt.

Mattias Jadesköld (14:57.422)
Ja, Inte ens IT-säkerhetspoddens hemsida är säker.

Erik Zalitis (15:03.278)
Nej, jag tror att de totalt plockar allt de kan använda eller inte. Loggarna ser ganska märkliga ut.

En het sommar – AI bryter sig loss

Mattias Jadesköld (15:11.246)
Men vår slutsats då är att släppa Mythos och organisationer som är oroliga för det- anpassa efter den nya tekniken.

Erik Zalitis (15:25.55)
Ja det har ju varit en ganska het sommar när det gäller sådana här attacker och jag tänkte vi kan bara snabbt nämna de tre som alla pratar om och den första var ju där måltavlan blev en tjänst som heter Hugging Phase. Modellen GPT 5.6 Sol plus en annan modell som vi inte riktigt vet vilken den är. De användes för att göra tester i en isolerad testmiljö. De bröt sig sedan ut.

Och började exploatera, det gjorde de genom att exploatera en sårbarhet som var okänd, alltså en zero-day då. Det var bara början. Sedan gav de sig på en tjänst som heter Huggingface och deras system. Ja, vad kan jag säga då? Det är liksom, den trodde att den gjorde någon form av capture the flag eller vad man ska säga då. Ja. Den trodde att det här var okej för den fattade inte att den var utanför vad den skulle göra för någonting.

Mattias Jadesköld (15:59.118)
Hmm?

Mattias Jadesköld (16:21.614)
Det är snäckligt baserat i den här solden. Den är under utrullning nu. Man måste ha en prenumeration på Open AIS, Chatt-QBT, Premium och sådana saker för att kunna få tillgång till den.

Erik Zalitis (16:22.382)
Ååååå

Vi är inte där än – men vi måste ändå ta med AGI i vår diskussion

Mattias Jadesköld (16:38.446)
Men här är folk, tycker jag, börjar diskutera, har de börjat tänka själv då? Är det en AG, alltså artificiell generell intelligens, som börjar bryta sig in i systemet medvetet?

Erik Zalitis (16:53.102)
Och svaret är uppenbarligen nej. Så här då. Ait bygger väldigt mycket på att gissa vilket som är nästa sekvens. Det är enklast att se det. Det är en väldig förenkling så det inte riktigt rättvis. Men vad är nästa ord i en mening som jag håller på och bygger? Det betyder det inget självmedvetande. Det finns en stor kunskapsbas med relationer för att kunna lösa problem. Men en AGI…

Mattias Jadesköld (16:56.686)
Varför det?

Erik Zalitis (17:22.061)
En AGI är ju någonting som förmodligen som det ser ut är en generell intelligens. Istället för att vara specialiserad på någonting så är det en levande varelse, tänk dig en människa. Inte nödvändigtvis en människa men åt det hållet. Den har inga speciella begränsningar i vad den kan lära sig.

Mattias Jadesköld (17:38.222)
Då kanske man tänker att ChatGPT som jag pratar med dagligen kan ju verkligen allt. Den kan allt från bygga en altan till solsystemets uppbyggnad till koda liksom. är inte det generellt då?

Erik Zalitis (17:50.958)
Nej, det gör det inte, utan det är en prediktiv intelligens. AGI:et är ju levande varelse. De kommer den att va per definition. Det står ju för aktuell generell intelligens. Och där har du ju att om du stänger av en sån i det läget, är det mordet du har dödat ett AI. Jag kommer att tänka på Asimovs robot-serie där.

Mattias Jadesköld (18:04.174)
Ah, ok?

Mattias Jadesköld (18:15.982)
Okej. Men i det här fallet då, då tycker jag att jag har sett sådana diskussioner och helt enkelt såhär, okej men nu har ju AI tagit ett nytt kliv helt plötsligt och liksom såhär, den liksom, den går utanför vår kontroll och börjar liksom hacka systemet som vi inte har begärt. Kan du beskriva lite det?

Den röda tråden – en Internetförbindelse som inte borde varit där

Erik Zalitis (18:36.654)
Ofta är detta definitionsproblem. Den ena grejen är att på ett ställe när det här hände så hade den inte fått veta att den hade en internetförbindelse. Den var instruerad: ”Du har ingen internetförbindelse”. Den gjorde då den logiska slutsatsen. ”Jag kan gå mot vad som helst för det kan inte hända något dåligt”. Det bygger väldigt mycket på rationella beslut från någonting som egentligen inte kan tänka själv. Hur når jag målet?

Hur når jag målet på de här definitionerna? Då är det väldigt lätt att vi människor kan säga att det här känns inte bra, det något fel här, känns inte okej. Det här är mot min moral, jag kan faktiskt inte gå med på att det. Sådana saker finns inte med AI. Om du säger till ChatGPT är någonting rasistiskt så kommer den att säga emot bara för att man har byggt ”guard rails”.

Det är ett AI Groq sa ju saker om Elon Musk som var direkt åtalbar om den här levande varelser. Den tyckte han skulle avrätta sig allt möjligt och kalla honom för… Jag kan inte säga det här men…

Mattias Jadesköld (19:40.974)
Just det.

Mattias Jadesköld (19:53.838)
Men det var väl hans.

Erik Zalitis (19:57.23)
Det är egentligen en fråga om en injektionsattack. Det inte att AIT helt plötsligt har blivit intelligent eller något för det är inget bra sak att göra. Utan man ingesserade saker så att man i princip trodde att den repeterade vad den hade blivit lärd.

Mattias Jadesköld (20:10.446)
I det här fallet handlar det om en pentest-AI som hade tillgång till ett annat system fast den egentligen inte skulle haft det. började den hacka det och så lät det som att den slingrat sig ut och började hacka systemet. Kan man säga det så?

Erik Zalitis (20:28.27)
Ja, den har väl slingrat sig ur i och med att den inte fattade att slingrat ur systemet inte var tillåtet. Det är en fråga om dåligt definierade gränser plus möjligheten att faktiskt göra det. När man gör penttester, jobbar man ju enligt scope. Det här är vad du får attackera. Och du jobbar också enligt idén med rules of engagement. Om de inte definierar det ordentligt så kan du attackera fel saker. Det kan en människa också göra.

Mattias Jadesköld (20:35.694)
Mm.

Kan ett AI bli för självständigt? Vi funderar på detta

Mattias Jadesköld (20:57.198)
Just det. Så det här tycker jag att det här är ett exempel på att AI blir mer autonoma, självständiga och kan utföra mer komplexa uppgifter helt själva.

Erik Zalitis (21:09.038)
Det ser vi ju. Men själv med det ska vi vara väldigt försiktiga och kalla dem. Sen vill jag säga jag ingen expert på AI så jag försöker hålla mig från att gå allting djupt på det. För det djupet har jag faktiskt inte. Däremot så tillräckligt mycket observationsförmåga kan jag säga att ett typiskt AI, de här guard rails, de här grejerna till att du får inte göra det, du får inte göra det, det är ingen moral. Det är bara inbyggda spärrar som du tyvärr kan jobba det förbi. Och därför tror jag att…

Det är gemensamma faktorn är att ha väldigt stringenta spärrar mot att AIT ska nå ut på internet. Vilket är vad vi ser som ett konsekvent problem. Varför kan den ta sig ut på internet? Varför är det överhuvudtaget ens möjligt? Ryck ur sladden!. Använda både rött nätverk som den inte kan ta sig ut. har inte några problem sedan.

Mattias Jadesköld (21:57.986)
Ja, Men då kanske den upptäcker såhär någon liksom sårbarhet i den brandväggen som stoppar den och så öppnar den upp den själva.

Erik Zalitis (22:07.246)
Och sen går den ingenstans för någon har slitet ut sladden. Det är så enkelt att fixa. Det är rent slarv. Och sen vill jag säga, och det här är lite konspirationsteorier. Jag tror ibland att de kanske lite grann skryter med det här och säger, titta vad vår AI kan göra. De vill ju sälja det.

Mattias Jadesköld (22:17.87)
Ja.

Mattias Jadesköld (22:25.518)
Ja, och det är kanske lite samma sak med Mythos också. Mythos och Open AI:s, Sol, det är ju två konkurrerande företag med deras flaggskeppsmodell. Och då vill man ju kanske skapa den här myten. Det blir ju en bra PR på något sätt. Den är så kraftfull att vi inte kan kontrollera den.

Erik Zalitis (22:48.366)
låter inte som en försäljningsargument. – ”Vi har tappat kontroll över den men den har bara fått kontroll över kärnvapnen. Biologiskt stridsmedel kan den inte göra.”

Mattias Jadesköld (22:56.91)
Nej, det skapar ju lite mer rubriker än att någon vd står och säger såhär, nu har den fyra gånger mer arbetsminne än tidigare modellen och sådana saker. Det här blir ju lite surr kring. Visst, det kanske inte är liksom bara ett PR-trick, men…

Erik Zalitis (23:16.718)
Det hjälper i alla fall, så långt kan vi komma med.

Mattias Jadesköld (23:19.278)
Ja, man blir mer nyfiken på en helt enkelt. blir möjligt.

En framtid som inte går att hindra – detta måste vi förstå

Erik Zalitis (23:22.254)
Lite grann som jag tänker är väl att vi får ta det lite med nypa salt. Jag tror är viktigt att förstå när man jobbar inom IT som vi gör. Det här går inte att stoppa. Du kan inte stoppa utvecklingen. Vi måste förhålla oss till den här nya världsordningen om jag får uttrycka mig på det sättet. Vi måste lära oss. För jag ser mig själv som försvarare. Även om jag gör pentester så ser jag mig som huvudsakligen att hjärtat ligger på ett försvarshållet på min sida. Hur hanterar vi det här? Vad gör vi för att vara säkert?

i den här nya världen.

Mattias Jadesköld (23:53.838)
Mm, exakt. Och det var en retorisk fråga, eller hade du något svar.

Erik Zalitis (23:59.182)
Per definition är det retorisk fråga något du har ett svar på.

Mattias Jadesköld (24:04.91)
Då sa han, nej det är bra. Vad gör vi i denna värld?

Erik Zalitis (24:10.094)
Jo men jag tror att det kommer tillbaka till samma sak hela tiden. Exponera inte så mycket på Internet. Ha en ordentlig övervakning. Ha ett system som kan stoppa nya, kända och okända attacker. Systemsäkerhet med lager. Det samma sak hela tiden.

Mattias Jadesköld (24:29.582)
Ja, men sedan det här som jag pratade om i början, här med att man planerar sitt AI-arbete. Vad ska vi som människor göra? Vad ska AI göra? Om man ger den tiden att lägga den kartan lite, då kanske man skulle kunna förhindra lite sådana här saker. Man har superbra verktyg, men som kanske inte börjar hacka system för att man har tänkt till lite. eller hur? För att än så länge är inte AI jättebra på att göra…

helhetskonceptet på det sättet. Än så länge kan du inte säga så hej skriv en roman liksom och så gör den klart det. liksom skapa en helt ny batteriteknik och så bygger du upp en hel research utveckla idéer och startar ett företag och bygger fabriker och grejer och sånt.

Erik Zalitis (25:20.27)
Om man tittar på en av de här attackerna till, de flesta av de attackerna , ja det som sagt, du borde inte ha haft Internet-åtkomst, kär AI, du hade det, det var inte bra. Men det finns en som faktiskt är intressant här, när en AI under tester så var det, Registerade Brittiska AI Security Institute. Nitton obehöriga handlingar som de riktade mot riktiga personer. Och det här var ett AI som spårade ur, men det här var inte frågan om att en hack…

utan den skapade, la in skadlig kod i flera open source projekt. Och dessutom skapade den här agenten flera falska online-identiteter för att försöka övertala den här projektledaren, amicitören, att acceptera att skicka ut kod.

Mattias Jadesköld (26:04.494)
Just det, på GitHub var det.

Inga moraliska problem – AI saknar förmåga till ånger

Erik Zalitis (26:05.742)
Ja, jag tror att det var det faktiskt. Då tänker jag, ja, det är mer kreativt. Här finns ingen moralisk värdering, utan det så här, hur löser jag problemet? Det är en perfekt rationell varels utan några känslor.

Mattias Jadesköld (26:21.678)
Ja, det låter perfekt. mera fake-konton behövs inte i den här packen.

Erik Zalitis (26:30.254)
Vad ska trollen göra nu då? När AI tar över och spammar exorreddit och allt möjligt med skräp. Prata skit om någon president, någon ledare, någon person av notabilitet som den har blivit tillsagd.

Mattias Jadesköld (26:49.518)
Vad de ska göra får du gå ut och demonstrera att de blir kringkring…

Erik Zalitis (26:52.494)
Vi vill faktiskt ha vår mörka psykologi fred, tack så mycket!

Mattias Jadesköld (26:59.63)
Ja, du, har vi kommit i kapp lite nu med AI-händelserna i sommar?

Erik Zalitis (27:05.262)
Ja, jag tror det. Det är svårt att bli annat än schematiskt om det, men det finns mycket faktor. Jag tror att alla som jobbar med IT måste inse det. Att både som försvarare och som attackerare ser AI tyvärr… …tjurvärt ut. Det är faktum. Vi måste förhålla oss till det. Det inte längre att säga att det här kommer senare. Det här är nu.

Mattias Jadesköld (27:25.774)
Jag kan också rekommendera Anthropics i det här fallets grundkurs som man kan göra på deras academy som är gratis och väldigt också icke produktaktiga utan det handlar mer om just det här som jag säger, hur man ska planera sitt AI-arbete, vad ska människor göra, vad ska verktygen göra och hur man ska jobba ansvarsfullt med AI etiskt. Jag kan verkligen rekommendera det. Det är intressant att lyssna på.

Erik Zalitis (27:54.574)
Ja, men det tror jag också.

Mattias Jadesköld (27:57.966)
Bra då Erik, då är vi igång igen och som vanligt veckovis så nästa vecka så har vi en gäst och såna här saker.

Erik Zalitis (28:06.382)
Den var riktigt bra. Den ser jag fram emot. Jag har hört den, för jag har varit med på den. Jag ser fram emot när den kommer ut.

Mattias Jadesköld (28:13.358)
Just det, den är på engelska också, så det blir lite… Englaterra. Englaterra. Då… Så säger vi så, så hörs vi.

Erik Zalitis (28:23.886)
Och vi ses i nästa avsnitt.

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – AI

• The Guardian om attackerna.

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.