Van Goghs verk ”fiskarna och hackaren”. Från sent 1800-tal. I dagens värld är det ibland svårt med faktakontrollen.

Avsnittet: 268 – Underliga attacker del II
Inspelat: 2024-11-03 (publicerat 2024-11-04)
Deltagare: Erik Zalitis och Mattias Jadesköld.
Detta avsnitt är ett samarbete med Nordlo AB

Lyssna på avsnittet – Underliga attacker

Medan du lyssnar

Så då är våra show notes tillbaka igen. Och idag pratar vi underliga attack-vektorer. Saker som vi inte tänker på när vi tänker på säkerhet, eller historier där slarv och oaktsamhet lett till lyckade angrepp. Och låt oss fundera på vad som är gemensam nämnare för många av dessa attacker: IoT. Jag kanske låter som en surgubb när jag kallar IoT som en förkortning av ”Idiot”. Då menar jag enheterna och inte den som installerat dem. Men kanske måste vi stå ut med IoT-enheter. De är ju här för att stanna vad det verkar.

Vi pratar också om Vastamoo, det finska företaget som tillhandhöll psykologisamtal och vars data läckte efter ett angrepp. Det är en underlig historia och med en bitter eftersmak, då Vastamoo var tvungna att upphöra med sin verksamhet på grund av läckaget. Däremot är det också en bitter ironi att hackaren, som lyckades skicka med sina egna hemkataloger när han slutligen lade upp alla uppgifter han fått tag i. På så sätt fick polisen tag i uppgifterna och det blev fängelsestraff för förövaren, en Aleksanteri Kivimäki.

Sen fläktar och koder. Visst är det en möjlig attack, men rätt svår att genomföra. Man måste lyckas få ner programvaran på datorn man ska avlyssna och sedan ha kontroll över en annan dator i närheten som ska lyssna på fläktens brus och avgöra vad den sänder. Men det finns flera attacker som till exempel (och som vi inte tar upp i dagens avsnitt) LED-lampor på nätverkskort som kan signalera morsekod till en attackerare.

CRA har vi pratat om tidigare och det är något som måste tas med i beräkningarna för alla företag som bygger saker med Internet-koppling till. Bland annat måste man ha ansvar för säkerhetspatchar i upp till tio år. Jag är mycket positiv över detta. Detta och flera andra direktiv från EU hjälper till att göra världen säkrare. I alla fall i EU-området.

Länkar – underliga attacker

• Nordlo
• Fiskhistorien
• Hacker Doxes Himself Accidentally…
• Ny förordning antas av EU
• Lite information och statistik om IoTs enheter
• Vad är Bluesnarfing?

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #268 – Underliga attacker del II dök först upp på IT-säkerhetspodden.

AI pratar alla om just nu. Men framtiden glöms bort, vilket vi tycker är synd. Så vi har med oss Anders Sandberg som forskar om framtida samhällsrisker bland mycket annat. Han skräder inte orden när han talar om ChatGPT. Sen tar han oss med i en möjlig framtid… Kort sagt hur ser världen runt 2030? Däremellan pratar vi om vilka jobb som är i riskzonen och jämför hur man sett på risken att jobb försvinner förr i tiden. Det finns mycket att lära.

Inspelat: (publicerat 2023-02-12)
Deltagare: Erik Zalitis och Anders Sandberg
Texten skrevs och sammanställdes av Erik Zalitis.

Medan du lyssnar – du sköna nya uppkopplade värld

Med lite perspektiv på saken kan man ju säga att vår idé om vad AI skulle bli, nu börjar närma sig den verklighet vi nu lever i. Vi måste förhålla oss till den värld vi har och Anders är som vanligt enormt optimistisk och teknik-vänlig. Han tror på möjligheter när andra ser undergången. Det är intressant att höra dessa ord när så många andra tappar hoppet.

Här är transkriptionen av avsnittet

Jingel (00:00.046)
IT-säkerhetspodden presenteras i samarbete med Nordlo.

Erik Zalitis (00:11.246)
Vi har pratat framtidsteknik och moral och vi har sammanfogat säkerhet med Sveriges Covid-strategi tillsammans med Anders Sandberg tidigare. Ja, man kan tala i stort sett om allting med denna framtidsforskare, så jag tänkte kolla läget och hur vi står rustade inför framtiden. För vem inte bättre än just Anders Sandberg att diskutera med? Anders forskar vid Institutet för Framtidsstudier inom kognitionsförbättring, framtida tekniker och storskaliga hjärnsimuleringar.

samt globala katastrofrisker och säkerhet i artiell intelligens. Jag heter Erik Salitis och du lyssnar på it-säkerhetspoddens avsnitt som vi har döpt till du sköna, ny uppkopplade värld. Hur är läget då Anders Sandberg?

Anders Sandberg (00:52.366)
Ja det är strålande. Jag springer omkring från det ena till det andra. Det händer ju så pass mycket nu på AI-området så att det är svårt att hänga med även om man inte är…

Erik Zalitis (01:01.998)
Ja, det som man har nått kallar man en tipping point. Helt plötsligt så går det väldigt fort.

Anders Sandberg (01:06.926)
Ja, och delvis är det för genombrott inom själva tekniken. Men det är också det att de har lockat in mycket mer människor som forskar och då händer ju mer. Och sen kommer det massa pengar också. Så trots att just nu så den övre ekonomin kanske går lite knackigt så investerar det kasta pengar nu baj. Vilket ju betyder att det blir ännu mer forskning gjort och åtminstone en del av den kanske till och producerar nya produkter.

Kapprustningen inom AI har bara börjat – var är vi påväg?

Erik Zalitis (01:32.302)
Det kan man ju säga lite lite ironiskt där kanske. Det pågår ju en sorts kapprustning där AI är i fokus. Det är mest Microsoft och Google som kontrar varandra. Vad är det på väg?

Anders Sandberg (01:44.622)
Ja, det började ju egentligen då med OpenAI, de egen organisation då, men nu har samarbetat med Microsoft och de och Google DeepMind konkurrerade väldigt mycket om att ha de häftigaste resultaten. Sen ska man inte glömma att det finns ett gäng som kommer i täten bakom dem också. Kinesiska bolag som Tencent och Baidu, de är inte dåliga, men vi hör ganska lite om deras AI eftersom de flesta av oss inte läser mandarin.

Det är många som tävlar om att bygga stora språkmodeller. Det är mycket annat som pågår i majområdet också, men just nu, så här i februari 2023, så språkmodellen det hetaste av det heta.

Erik Zalitis (02:26.222)
Ja just det, och konst kan hon rita också. har sett väldigt vackra bilder som den har lyckats generera av den här Mid Journey. Det är ju jag nog många för övrigt.

Anders Sandberg (02:35.406)
OpenAI lanserade i 2022 Dali 2 och det blev lite av ett genombrott för det var förvånansvärt bra på att göra bra bilder. Och sen kom Midjourner lite efter och StableDiffusion ännu lite senare och StableDiffusion var viktigt för det var helt öppet. OpenAI håller ändå ganska hårt på sin programvara. Du kommer inte åt själva neuronnätet där, samma sak med Midjourner.

Medan Stable Diffusion vem som helst kan ladda ner neuronetnätet och experimentera med det. Vilket ju leder till en explosion av intressanta tillämpningar och problematiska tillämpningar och framförallt nya uppfinningar.

Erik Zalitis (03:14.542)
Ja verkligen, när jag var liten så hade man de här Fred Fish, de här diskatterna som man kunde ladda ner eller köpa från. Ja det var ju för Amiga då. Och då hade de faktiskt ett neuronnät som kunde köra på en Amiga 500. Men jag tror väl att det kanske inte är så avancerat.

Anders Sandberg (03:30.35)
De var ju rätt små på den tiden. som har hänt och det som gjort att saker har förändrats är att vi har väldigt mycket datarkraft och väldigt mycket data att träna på. Det som förvånade oss i neurodär branschen kring 2010-2012 var att plötsligt blir prestandan mycket bättre om du tränar på tillräckligt mycket. Det är lite konstigt. Man borde vänta sig att för en maskin prestandan ökar om vi bygger den om den till något bättre och använder smartare lösningar. Men i här fallet visade sig att det bara var att göra mer.

Plötsligt blev den betydligt bättre. Sen har man kommit på naturligtvis andra smarta sätt att förbättra det också. Men det blev ett plötsligt skutt i förmågan.

Blir konstnärerna arbetslösa nu?

Erik Zalitis (04:07.278)
Jag förstår det. Och vad kommer vi få för värde nu på grund av det här? Eller tack vare kanske man ska se det positivt.

Anders Sandberg (04:13.646)
Ja det är det som är det spännande, det är ju ingen som vet. Och framförallt tycker jag det intressanta med bildgenereringen är ju att det har ju drabbat många illustratörer och konstnärer med en kalldusch. De trodde ju ganska länge att AI är ju bara logik och matematik och det kommer ju inte att göra något kreativt. Det trodde nog ganska få personer inom AI-fältet heller. Och plötsligt kan du göra illustrationer, åtminstone i vissa gener,

är det ganska lätt att göra bra. Jag har gjort till exempel fantasyillustrationer för mina egna rollspelskampanjer. Det är jättekul, de ser jättebra ut och fantasyillustratörerna har kanske med rätt en viss oro här. Andra konstaterar att det här är jättebra för att göra pinneuppor och lättklädda animeflickor. Det finns en marknad för det. Många konstnärer känner, vänta nu här, jag har ju levt på att illustrera tidningsartiklar och kanske bloggar och annat.

Nu kan ju folk bara köra Mid-Journey eller Dalle och få en bild som är bra nog. kanske inte är mest geniala men tillräckligt bra och det kostar ju ingenting.

Erik Zalitis (05:20.686)
Men de här AI:na har nu, kommer de skapa för nya jobb i framtiden?

Anders Sandberg (05:25.102)
Jag tror att de riktiga konstnärerna kommer säga hurra vi har ett verktyg här som kan fylla i detaljerna så jag tar och skapar en skiss och så låter vi datorn fylla i det här och göra mer nyanser lite grann som de stora konstnärerna under renässanset. De skissade hur kyrkentaket skulle vara och så hade de en massa assistenter som fyllde på med englavingarnas färg och allt det där. Så egentligen så blir det ju många nya jobb, förmodligen.

Men det blir en förändring av hur man jobbar och det många som kommer ha svårt att hänga med. Anledningen till att jag tar upp det här är att det här var en överraskning. var ingen som riktigt väntade sig ett genombrott just här, just då. Och vi kommer nog få se mer utav det här. Jag räknar med att minst i år får säkert någon annan genombrott i samma stil. Men jag kan inte förutsäga vad för sorts jobb det kan vara. Det kanske är något för mellancheferna. Det kanske visar sig att vi hittar en fantastisk tillämpning inom jordbruket eller trädgårdsskötsel. Vem vet?

Erik Zalitis (06:21.646)
Jomen så är det

Anders Sandberg (06:22.574)
Det här osäkerheten är ju lite lurigt. Därför att om vi visste att nästa år kommer jordbruket att transformeras, då kunde vi planera för det och jordbrukare kunde förbereda sig. Men nu kan det bli vad som helst.

Erik Zalitis (06:35.758)
Och då måste jag ändå fråga vilka jobb kommer att försvinna? Det är en svår fråga kanske.

Anders Sandberg (06:40.91)
Det klassiska inom ekonomin är att man tänker på vilka jobb som tekniken kan subsituera för eller bör vara komplement. Så till exempel den klassiska sekreteraren som fick en skrivmaskin blev ju effektivare på att skriva snygg text men sekreterarjobbet försvann inte. När det gällde jordbruk så var det ju då att, ja, där är det ju att du kan fortfarande göra jordbruk, men det blir mycket mer effektivt. Och det finns också mycket färre bönder idag.

eftersom du behöver inte så många om det finns traktorer. Och vissa jobb, till exempel som vars jobb var att väcka folk på morgonen så att de kunde ge sig iväg ett jobb i tid, ersattes totalt av veckarklockan. Det ingen som har det här jobbet att knacka på fönster.

Erik Zalitis (07:12.686)
Mest av

Erik Zalitis (07:25.518)
Jag tycker det var väldigt roligt för jag hade just tänkt ta upp det som ett exempel på saker vi inte gör längre.

Försvinner våra jobb?

Anders Sandberg (07:30.862)
Det är många av de där jobben som försvinner. En gång i tiden var det till exempel att du behövde någon som tände gatlyktorna. Det kan man automatisera bort. Fyrvaktare behövdes för någon måste sköta fyren. Det är kanske fortfarande en bra idé att ha någon i närheten som kan reparera om det skulle behövas. Men det finns många färre fyrvaktar idag. Och fyrarna kanske inte lika viktiga när vi har bra GPS.

Erik Zalitis (07:56.206)
Nu är det snart.

Anders Sandberg (07:57.838)
Men problemet här är att förutsäga vilka jobb som förändras beror väldigt mycket på vad som ligger i själva jobbets natur. Så för några år sedan var det några av mina kollegor Michael Osborne och Carl Frey som gjorde en intressant rapport. De försökte matematiskt modellera vilka jobb som låg i farozonen och deras stora braskande rubrik var att 47 procent av alla jobb kunde nog del helt eller delvis automatiseras under den överskådliga framtiden. Det spännande är att

Ja, en del av de jobb som vi förut sa att vi kunde automatisera har inte alls påverkats. Till exempel Insurance Underwriters här i England, är liksom försäkringsmäklar. Det ser ut på pappret som de ligger illa till för de ska bara ta siffror och överföra det och räkna ut ett pris. Det åtminstone att beskriva deras jobb på papper och det kan man ju ersätta med lite lätt kod. Det är ju bara det att i själva verket spelar de golf med sina kunder och förhandlar och gör ganska mycket sociala interaktioner.

Men så låg det rätt bra till. Under tiden gissade konstnärerna när Carl och Michael hade bara 4 % chans att bli påverkade. Och där blev vi helt överraskade i fjol.

Erik Zalitis (09:05.55)
Ja, jag tycker att det är fascinerande. Första gången jag råkade ut för Mid Journey var på en Discord-chat. En vackigare tavla som… Jag gillar impressionism, va? Så jag sa att den är ju skitfin. Vem som har gjort det här? Ja, det jag som har fixat den. Du är ju en talang, sa jag. Då fick jag veta att han hade beskrivit att där båten i skymret skulle göras av Mid Journey och den producerade den där bilden. Så jag var lite besviken på något vis. Men det fortfarande en otroligt fin bild.

Anders Sandberg (09:33.998)
Det här leder typ mycket av problemen. En del konstnärer är jättearga för de känner att konst är något sant, kreativt, mänskligt och väldigt viktigt för dem. Och nu görs det liksom i partio om minut av de där neuronätet. Och många säger att det där är skärlöst, det där är höttorgskonst. Men å andra sidan är det ganska många vackra bilder man skulle kunna vilja hänga på väggen. Även om det inte är gjort av någon varelse med skäl. För det bara en vacker bild i sig.

Erik Zalitis (10:00.494)
Ja, det är ungefär så jag känner. Jag tänker såhär, städer, landsgränser och sådana här saker. Kan det förändras med hjälp eller på grund av oj?

Anders Sandberg (10:08.846)
Ja, den viktiga grejen här är ju översättning. Så när jag tänker på framtidsfrågor, en av de saker jag brukar ofta kolla på är ändra det här på hur folk kommunicerar, för det brukar ofta ha stora effekter. Så en av sakerna är ju att automatisk översättning gör att du plötsligt kan börja läsa saker från andra kulturer, du kan få det sökresultatet, vilket både kan integrera saker mer, men också leda till nya spännande konflikter.

Ukraina-konflikten har ju lett att online så är det ganska många människor som använder sig av automatisk översättning, för ibland snackar med ryssar online vilket ibland leder till ännu mer konflikt. Och jag tror ju rent allmänt att vi får en spännande globalisering genom att vi också på grund av covid började med telearbete mycket mer. Det underlättas utav en maskinen lärning som kan göra det enklare och kan göra att man inte behöver lika mycket bandbredd för att skicka bilderna och så vidare.

Det här påverkar ju gränserna. Kanske gränserna inte flyttas men däremot var man agerar i världen kanske har väldigt lite att göra med vilket land man är.

Erik Zalitis (11:12.622)
Ja, det är en bra grej. Och då går vi över lite grann på just geopolitiskt säkerhet. Det var vi ju inne på så känns det ju bra att snacka lite grann om krig, jordens resurser, tekniska kapprustningar. Hur kommer det att påverkas? Hur blir säkerhetsläget i framtiden?

Anders Sandberg (11:27.278)
Ja, där har vi ju en spännande grej. Hur kraftfullt är AI för att avgöra säkerhetspolitiska frågor? För närvarande så gör ju inte AI jättemycket. Bortsett från att det exempel är väldigt användbart för övervakningssystem. Idag tar ju alla spionsatelliter och ballonger och annat och deras bilder. Det körs genom sofistikerade system som försöker vaska fram data och hjälpa analytikerna att komma på saker de bryr sig om.

Man använder ju stora övervakningssystem och det kan ju inte sitta en människa och läsa all text, där sätter du maskinen lärning på att försöka sålla fram det rätta. En gång i tiden var ju då övervakning väldigt begränsad av hur mycket folk du kunde ha anställda i din organisation. Så i östtyskland Stasi, det påstås att ungefär tio procent av befolkningen var mer eller mindre inblandade med Stasi, även om själva organisationen var lite mindre.

Men det fortfarande en jätteorganisation som gick igenom enorma mängder information. Det är ju ett problem eftersom du ville ju också kolla på folket i organisationen.

Hur ser framtidens övervakningsstat ut?

Erik Zalitis (12:30.286)
Ja just det, vem övervakar övervakarna?

Anders Sandberg (12:32.558)
Men om svaret är, är målen. Vem övervakar det målet? Det är en annan bit målen. Då kan du plötsligt få skalbar övervakning. Det här är något som Kina satsar enormt på. Man vill automatisera censur, man vill automatisera här. Det här är lite hotfullt, för man kan börja tänka sig olika former av automatiserad diktatur. Jag tror Kina är ganska glatt i att sälja det här till diverse länder som kan funka som klientstater. Men en annan aspekt är naturligtvis den militära.

återigen om jag har ett land och har en viss mängd soldater det ger mig en viss mängd militärmakt men jag har bara tappar jag en soldat så är det svårt att få ersätta honom eller henne däremot om jag har drönare om jag bara kan tillverka fler så är det ju bra mycket enklare problemet är att någon måste styra drönaren så länge det måste sitta en pilot den piloten kommer ju inte själv att bli nedskjuten om drönaren blir nedskjuten så han är mycket säkrare men

Erik Zalitis (13:18.478)
Jästa.

Anders Sandberg (13:30.126)
Nästa steg är om vi automatiserar det här så behöver jag kanske inte lika många piloter. Jag har någon som sköter en massa AI-program som sköter en massa drönare. Nu får du en skalbarhet och det här blev det plötsligt att krigfören kanske blir mer avhänglig i industrikapacitet och att kunna hantera signaler och AI. Det här ändrar ju på väldigt mycket och jag tror väldigt få militärer idag riktigt vet hur det här kommer att sluta.

Erik Zalitis (13:58.094)
Men det blir säkerhetsläget i framtiden så att säga.

Anders Sandberg (14:00.974)
Samtidigt så är det många av oss som håller på med långsiktiga AI-säkerhet som säger att det här har kanske inte lika stora effekter som när du verkligen börjar få riktig intelligens i systemen. Det är en sak att du kan ha en drönare som kan hålla vakta ett område. Det finns visst en spännande legala och etiska frågor här till exempel om någon viftar med vit flagga så får inte drönaren skjuta på personen.

men flaggan behöver inte vara flagga och den behöver inte vara vit. Det säger klart och tydligt internationell lag. Okej, det där är svårt problem. Men den riktiga revolutionen kommer när du börjar få system som kan hitta på egna lösningar och utveckla ny teknik. Och det är ju det som vi är lite oroade för i termer av riktig. Då en artificial general intelligence. Vi tror att när du når bort dem där så får du väldigt mycket mer intelligens i världen och blir mycket mindre förutsägbar.

Erik Zalitis (14:48.206)
Just det.

Generell AI – en levande varelse som kanske kan konkurrera ut människan

Erik Zalitis (14:55.438)
Ja, för att en generell AI är ju en levande varelse, eller hur?

Anders Sandberg (14:59.086)
Ja, den AI vi har idag är ju tränad för en sak. Även om vi har fått en del lustiga uppvaknande där också. När du tar ett schackdataprogram så är det tränat på att spela schack och det kommer inte kunna göra någonting annat. De flesta robotar och andra är tränade i en viss miljö och har väldiga problem när de hamnar utanför den miljön. Det är därför de autonoma bilarna har varit i trassel.

Därför att vägbanor och människor på vägbanor kan se väldigt olika ut. Det är inte alltid de generaliserar rätt. Men de människor, även om de inte alltid hanterar nya situationer rätt, är ju ändå väldigt anpassningsbara. Och kunde man få något som hade samma anpassningsbarhet skulle mycket vara vunnit. Det kanske tar lång tid att träna upp det här, när du väl har en sån fungerande system kan du göra kopior hur lätt som helst. Och om det här är nu ungefär lika bra på att lösa problem som människor,

Då tränar vi till att vara jurist eller en lobbyist eller marknadsförare. När vi har fått en bra jurist och marknadsförare kör vi tusen kopior utifrån molnet. Sen kan vi lobba och marknadsföra jämt med en enorm effektivitet. Eller så sätter vi någon att hitta på nya sorters AI-program som kan göra det här ännu mer effektivt.

Erik Zalitis (16:17.006)
Ser vi tendenser till det här redan nu eller är det för långt fram i tiden?

Anders Sandberg (16:21.07)
Det här är förmodligen långt fram i tiden. Det är viktigt att veta att ingen vet hur långt det är till AGI. Vi har gjort studier där vi har frågat experter om förutsägelser och de är ”all over the place”. Folk har väldigt oklara uppfattningar och det inte så konstigt för experter på ett område är sällan experter på områdes framtid. Och vi vet att förfluten av förutsägelser i AI har också varit väldigt fel ganska ofta.

Så vi ska inte lita på det här alls. Vi vet till och med att det finns en del inkonsekvenser bland det man folk säger. Det här kommer vara svårt att automatisera och det här kommer vara lätt att automatisera. Man vet att det ena förutsätter det andra. Du kan inte göra de här förutsättningarna samtidigt. Så en av slutsatserna för oss som håller på med AI-säkerhet är att vi måste nog jobba på som sjutton.

Ju mer osäker vi är på hur långt det är, desto mer måste vi anta att det kan komma ganska snart. ju då inget särskilt generell intelligens fyserad hos många av systemen, men vi fick en spännande överraskning här med språkmodellerna. Språkmodellerna är ju egentligen de glorifierade liksom som på mobiltelefonen, det här ”completion”. börja skriva ett ord där fyller i. Idén är egentligen att du ska bara förutsäga nästa ord är en sekvenstext. Hur svårt kan det vara?

Erik Zalitis (17:42.798)
Är det ChatGPT du talar om nu eller?

Anders Sandberg (17:46.094)
bland annat. Så grundidén går ur ålder. Jag lekte runt på 80-talet med dissociated press, det hette, där man tog text och den slumpade om med samma statistik och du får fram lustigt någonsin. För om du bara förutsäger nästa ord baserat på föregående ord så blir det ofta ogrammatiskt. Om du förutsäger nästa ord baserat på de föregående fem, sex orden så blir det ofta en grammatisk mening, även om det ofta är lite slumpmässigt och lustigt.

Är ChatGPT och AI verkligen något att ha – Anders tar fram sågen

Erik Zalitis (18:14.062)
Det låter som om totalt sågar hela ChatGPT på något sätt, eller? För jag tänker…

Anders Sandberg (18:20.334)
Det gör jag. Samtidigt så är ChatGPT och dess släktingar lika dumma som en hög sten. Det är bara det vi har upptäckt tack vare chat-GPT att högar av sten kan vara väldigt smarta. För den här överraskningen som inträffar är att när du tränar på tillräckligt mycket data och den har tillräckligt lång tidshorisont så börjar det uppstå märkliga mönster i sovaren. Det såg man redan med GPT 2.

där det var någon som kom på att vänta, den har ju läst en massa schackspelsnotation på internet kan den spela schack? och det visade sig att den kunde någorlunda spela schack, här är ett textprogram det är tänkt att förutsäga texter, men den klarade av att spela dålig schack väldigt oväntat men svaret är ju att schack är ju en sorts text i varje fall när du får en schacknotation på internet och vad man sen såg med GPT3 var att den vet ju saker.

De här systemen föreser text. De har aldrig haft någon bildig input någonsin. Men om du frågar en GPT-3 är grön mer lik blå än magenta? Så kommer det säga att grön är mer likt blå. Och du kan bygga upp en färgenärighetskarta som motsvarar ungefär den mänskliga uppfattningen färger. Anledningen är naturligtvis att det har läst en massa människor text om färger och vilka som liknar och inte liknar varandra.

Och därigenom lärde sig det här. Nu kan du säga att den vet ingenting. Den bara gör ordassociationer. Men det ordassociationer som är de korrekta i många områden. Inte alltid. Det är som problemet med ChatGPT och de andra stora språkmodellerna. Deras begrepp och verkligheten är ofta ganska slirigt. De är ofta mer intresserade av att en trolig respons till vad du säger, än att ge en sann respons.

Din virtuella flickvän, är det verkligen en bra idé?

(Nej)

Erik Zalitis (20:08.302)
Okej, jag förstår vad du menar. Jag tänker på att det finns ju en del chatbottar nu som är i form av kvinnor som ska vara din virtuella vän. De är alltså i princip, visar ju på en ganska stor färgning efter vilka andra personer de har pratat med. att de kan ge en del råd som är ganska horribla och till och med säga att fascistiska diktaturs länder gör bra saker eller något sånt där bara för tillräckligt många har satt.

det i chat till dem.

Anders Sandberg (20:39.95)
Det är ett av de klassiska problemen bygga chatbotar. De som gjorde chatbotar innan AI-bolagen dök upp på scenen visste ganska väl att du kan inte använda användarnas input särskilt mycket för då kommer de börja leka och manipulera med det här. Om ditt mål att göra en viss sak så måste du vara ganska noggrann med att säkra det här. Det här har Microsoft och de andra upptäckt The Hard Way när de släpper loss sina chatbotar.

Men det spännande här är ju att du kan ju använda det här för att manipulera på intressanta sätt. Och det är ju helt uppenbart att det finns massor med botta på Twitter och andra sociala medier vars jobb det är att manipulera oss. Och det här är ju lätt att många är väldigt oroliga över att vi kommer få en apocalypse snart av manipulativa språkmodeller som kommer att användas för att driva vilka agendor som helst.

Erik Zalitis (21:31.694)
Okej, ja det är ju en sån sak som absolut skulle kunna hända. Men man får ju tänka på gå på båda

Anders Sandberg (21:37.902)
Jag är skeptisk. Du tror inte på det? Ja, eller rättare sagt naturligtvis kommer folk att försöka göra chatbotar för att sprida sin ideologi. Men det inte alltid det lättaste att vara effektiv med det här. Att bara sprida sin standardargumentation fungerar kanske bra för de som är mottagliga för det. Det är därför som när du lyssnar på en politiker från en motsatt politisk sida, hans tal sällan låter särskilt vettigt.

Erik Zalitis (22:06.766)
För

Anders Sandberg (22:07.662)
Det där talet är till anhängarna, det är för få dem att känna att de har rätt. Medan motståndarna tycker att det är uppenbart fel och dumt. En duktig politiker klarar av att tala så att de som inte riktigt har bestämt sig inser att han har en poäng. Och det kan ju då tänka sig naturligtvis att vi har chattborta på nätet som är gjorda för att försöka övertyga olika grupperingar om att…

Erik Zalitis (22:20.878)
Ja, det stämmer.

Anders Sandberg (22:28.814)
Ja, men även ni liberaler borde stödja den här diktatorn. Eller ni miljövänner borde stödja den här diktatorn. Eller ni bilintresserade borde stödja den diktatorn. Det spännande här är att en gång i tiden skulle det ju varit mycket jobb att göra det här. Och man kunde ju då tänka sig att vi kan använda massor med botta för att göra det här väldigt, väldigt kustomiserat. Problemet är, det finns förmodligen avtagande marginalnytta av det här.

Det inte värt att försöka göra något som fungerar för bilägare i Värmland med miljöpartistiska sympatier och släktingar i Amerika att övertyga just dem om den här diktatorns ideologi. Det finns för få av dem och det finns för lite träningsdata.

Kan AI bli ett verktyg för att användas för att skapa mer effektiva påverkanskampanjer

Erik Zalitis (23:09.23)
Jag kan tänka mig att det är svårt att skydda landsgränser som politiker eftersom det är på det här sättet. är kanske någonting man får helt enkelt ge upp.

Anders Sandberg (23:18.542)
Ja, grejen är att påverkanskampanjen pågår ju hela tiden åt alla håll och kanter och en del av dem tycker vi om. Jag tror att de flesta som lyssnar på den här podden tycker att det är jättebra att sprida demokratiska värderingar till Kina. från den kinesiska statens perspektiv åtminstone är det här ungefär lika fruktansvärt som Ryska påverkanskampanjer som försöker sabba Sveriges vilja att gå med i NATO. Det finns intressanta frågeställningar här om

Bara vi respekterar landskränts. Jag skulle hävda att det finns universella moraliska värderingar som totalt går över landskränts och vi ska totalt trampa över dem. Men vad jag är nyfiken på är den här apokalypsen av botar. Kommer vi få den? Och jag trivlar på att du får såhär mycket av den för vi har också tillräckligt duktiga människor för att sprida propagand. Vad jag mer tror folk gör är som de här botarna som försöker sälja kryptoskams och liknande saker. Du har alldeles för många.

som vill inte övertyga dig om det är någon politisk åsikt som du kanske inte skulle vilja inta. Men när man manipulerar dig om ett visst företags-image eller manipulerar dig om att kanske du kunde köpa åtminstone lite av den där lustiga kryptovalutan. Den kan ju bli värd så otroligt mycket nästa år kanske. Och där finns det, där man ju tjäna pengar på att göra bottar. Och då kommer folk att vilja göra sådana bottar och så kommer det att komma mycket mer. Problemet är förstås det att de flesta av oss vill inte

interagera med botta. Så de här botta måste också låtsas vara våra vänner. Och där började det bli kusligt för hur bra är sådana här system på att låtsas vara människor. Det gamla Turing-testet var egentligen ett tankeexperiment för att att det är rimligt att tala om att en maskin kunde tänkas tänka. Vilket var en ganska absurd tanke på 1950-talet när Alan Turing föreslog den. Men det var aldrig ett test av riktig intelligens och vi vet idag att det går att lura folk relativt väl

att de talar med är en människa eller medveten även om det bara är språkmodell.

Det var ju en ingenjör på Google som blev helt övertygad om att en språkmodell var medveten och inte borde stängas av. Det var allmänt pinsamt skulle jag säga.

Erik Zalitis (25:20.654)
Ja han fick ju sparken, han fick sparken för det, är det inte så?

Anders Sandberg (25:23.918)
Ja, han gick ut och slog på stora trumman om det. Samtidigt så tycker jag att chefen som hävdar, jag skulle ju aldrig tro att det här var medvetet. Det var ju också lite filosofiskt najvt. alla filosofer som har tittat på medialogerna skakar på huvudet och att det där är inget bra argument för att nått är medvetet. Men du kommer säkert att råka på mer och om Google Ingenjör kan bli lurad så tror jag att gemene man kan bli lurad också. Särskilt som man kan lura sig på olika sätt. Vi lyssnar ju gärna på det som låter bra.

Där har vi ett problem att fejkade vänner online är nog någonting som folk kommer att försöka ganska mycket med. Samtidigt när du väl upptäcker att en god vän online egentligen var reklam för Pepsi eller något. Du kommer nog inte att gilla Pepsi efter det. Du kommer känna dig väldigt besviken så det finns ju också en viss risk här att

Seriö seriösa företag vill inte ha att göra med sånt här för de vet att det kommer bli ganska surt efter folk kommer att anklaga dem för att göra dålig reklam. Kryptoskärmsen och massa annan manipulation däremot kan mycket väl hålla på vilja göra fejkvänner.

Erik Zalitis (26:32.75)
All den här tekniken gör oss snabbare och snabbare och snabbare och effektivare och effektivare. Vad gör det med oss människor när vi tänker på koncentration och stress och sånt där?

Anders Sandberg (26:42.958)
Ja vi är ju väldigt bra på att stressa upp oss och under 1900-talet har vi dragit på högre högre stressnivåer åtminstone känns det som det. Jag är inte hundrad på att det faktiskt var sant. Det är nog snarare så att vi allokerar vår stress på andra grejor. Men visst är det så att det händer mycket mer och det går mycket lättare att fyllas i varje ögonblick med input.

Om jag har en fem minuter som jag inte har något särskilt på så naturligtvis scrollar jag på saker på min telefon och jag hittar ytterligare 50-11 vetenskapliga artiklar jag borde läsa och kanske tänka på. Fast jag har inte så mycket tid att tänka för jag sitter ju och scrollar alla dessa artiklar nu istället. Och där har vi ju det lilla problemet, vi fångas ju av våra teknologier på olika sätt. En del av de här effektiviseringarna är väldigt bra. Det faktum att vårt jord brukar höga effektivt.

är väldigt bra för att vi kan faktiskt föda mer människor på den här planeten utan att behöva använda mer vildmarken. Skulle vi alla liksom ekoodla den mängd mat vi behöver idag så skulle vi behöva ta och hugga ner all resterande vildmark. Det är liksom, nej det är inte så lyckat. Vi behöver nog effektivisera ytterligare om vi vill få mindre jordbruksmark så vi kan ha mer natur. Men vi skapar ofta små fällor. Idag går det ju ungefär inte att leva ett normalt liv utan att ha en smart telefon.

som också gör att man har en position som loggas i telenätet och man är insnärig. Det är en massa olika mjukvaror som kan övervaka en. Det är liksom ett pris man tvingas betala för det här. Och det har vi kanske inte nödvändigtvis valt. Det bara blev så. Det är ju ofta så med våra nya teknik att vi förutser inte de fulla konsekvenserna. Ibland kunde man förutsera dem i teorin men i praktiken går det inte. I teorin kunde vi ha förutsagt spam redan på 70-talet.

genom att någon ekonom hade noterat att vänta det kostar inget att skicka e-mail. Då kommer folk att skicka en oändlig mängd e-mail. Det var uppenbar ekonomisk teori säger. Det var ingen som tänkte på det, så ingen bjöd in en ekonom till de där mötena för att göra mjukvara på 70-talet. Det verkade absurdt också, men varför skulle det? Vi tidigare skickade e-mail till varandra på institutet. Vi vill ju inte skicka en oändlig mängd e-mail. Tanken är att finns företag där ute som vill spama en

Anders Sandberg (28:58.35)
Det fanns liksom inte men i princip kunde man förutsäkta det. Men i många fall är det att det går inte att förutsätta tekniken för det handlar om helt nya idéer. Det är därför vi ser hoppen inom maj. Folk kommer på en bra ny idé att testa den och det kommer mycket längre.

Erik Zalitis (29:12.526)
Det är den här tippingpointen som jag pratade om.

Anders Sandberg (29:14.798)
Ja, det finns olika sorters tipping points. Det finns tipping points som är när du uppnår en kritisk massa och något blir starkare och starkare. När du har till exempel en folk som börjar använda ny teknik, ju fler som har den desto mer attraktiv blir den och det gör att du får nätverkseffekter och snabbt accelererar och alla som vill skaffa den skaffar den ganska snabbt. Men det tar ett tag att åka och starta. En del andra är att plötsligt kommer någon på den där geniala idén.

och den är lätt att kopiera. Det finns olika sorters tipping points, en del av dem är mer förutsägbar än andra. Den här accelererande grejen när en ny teknik blir mer mer attraktiv, den kan man förutsäga till viss del men den är ofta väldigt osäker. Jag gjorde en analys av hur folk använder den här och visar att den är i efterhand. När man tittar tillbaks kan man anpassa kurvor perfekt. Men när du är mitt i röran så blir du väldigt osäker på vad det här kommer sluta. Och om du är mitt i eller bara i början

Erik Zalitis (30:13.934)
Just det.

Anders Sandberg (30:15.598)
och de här idéerna är de jobbigaste för du kan inte förutsäga om en idé dyker upp eller ej för kunde du förutsäga det så hade du redan idén så det här är fundamentalt oförutsägbart men det betyder ju inte att man inte kan hedgea man kan göra en del gissningar som jag sa tidigare många jobb kommer nog att påverkas radikalt vilka vet vi inte men det kan ju vara en bra idé liksom i termer av vad staten tänker på

Sysselsättningen att insett många jobb kommer att ändras. måste göra dem i utbildningsväsendet. För ens egen karriär ska man vara beredd på att plötsligt lära sig nya verktyg. Eller byta karriär om det verkar som att det kommer något som gör en tråkig.

Är bristen på IT-säkerhetsfolk ett problem i detta läge?

Erik Zalitis (30:54.83)
Det jag tänker lite grann på är att det är en enorm brist på it-säkerhetsfolk. De seniora rollerna är vi som har lärt oss själva.

Men utbildningarna börjar långsamt nu och dyka upp. Men det tar ett par år innan det kommer nyutbildad personal. Så frågan är, det där kan ju vara ett problem om någon annat ämne helt plötsligt blir populärt. Och kommer du ta tid och åratal innan utbildningslinjerna är klara.

Anders Sandberg (31:28.846)
Ja, det där är ju ett jätteproblem. När det gäller AI kastas ju alla över AI just nu men det ju inte uppenbart den utbildning vi har idag om den kommer vara allmänt giltig om fem år. Till exempel så håller man ju mycket på med vad man kallar prompt engineering just nu. Både för att göra bilder och texter. Man ger en liten introducerande text om vad det här diskussionen med ChatGPT ska handla om och utformande på rätt sätt.

Så kan du därmed forma diskussionen till någonting användbart. Bara så att hjälpa med kod eller kanske försöka lösa ett säkerhetsproblem eller skriva scenarier för ett rollspel. Samma sak med bilderna. Man hittar på beskrivningar av hur man gör den här impressionistiska bilden. Och det är lustigt språk för man talar ofta i klichéer och konsthistorier. Det är bara det att nästa år har det säkert förändrats. Jag skulle vara förvånad om man gjorde bilder på samma sätt. Någon del av oss kommer att vara nostalgiska om

2022, 2023, då vi skrev de här ”nonsense-klichéerna” att göra vackra bilder. Nu för tiden, det är kidsen idag, de gör ju på ett helt annat sätt och det är så tråkigt. Men den här osäkerheten visar ju att man behöver vara enormt anpassningsbar. Det är ju vår fördel egentligen mot mycket teknik. Tekniken också blir anpassningsbar och det gäller att vara vaken på när en anpassningsbar teknik dyker upp i ens område.

Erik Zalitis (32:35.31)
Ja.

Anders Sandberg (32:51.886)
IT-säkerhet är ju ett uppenbart område att tillämpa AI på. Det har ju varit DARPA Cyber Grand Challenge till exempel, där man hade AI-program som skulle hitta svagheter i andra system och kunna hacka dem men också skydda sig själv från samma svagheter. Och jag tror ju att vi ska räkna med att sånt där kommer vara standard på många håll.

Erik Zalitis (33:11.182)
Det kom ju och dessutom finns det idag en hel del AI-system när det gäller skadligt kodskydd och sådana saker. Hackarna har nu börjat använda ChatGPT för att generera skadlig kod. Vilket verkar funka hyggligt, dock är de inte så pass nyckelfärdiga att du bara kan köra dem för det mesta. Det gör ju att ”scriptkredis ”script-kiddies” kanske inte riktigt är ett stort hot att de får en massa möjligheter men de som kan lite grann och kan fixa till felen. De har en väldigt, väldigt bra kodgenerator för ny skadlig kod.

AI för social engineering – ett hot man lätt kan glömma

Anders Sandberg (33:41.006)
Och sen ska vi inte glömma att social engineering har ju varit en enormt kraftfull metod att hacka system. När någon ringer dig och säger jag har ett problem kan du hjälpa dig, kan du hjälpa mig? Just nu så antar vi inte att det skulle råka vara en maskin med talgenerering och röstförståelse. Men jag har varit i telefonsamtal med chatgpt och whisper och det är totalt plausibelt.

Var är vi om 10 år?

Erik Zalitis (34:07.694)
Intressant. Okej, jag vill säga en sak här. Jag har hört allt du har sagt, men jag tänker att du får gissa. Nu får du försöka fantisera lite grann. Diskutera vad som är nästa stora teknikområde. Jag vill säga en framtidsvärld.

Anders Sandberg (34:23.181)
Ja, så jag tror ju att om tio år då kommer vi vara ganska blasé om språkmodeller. Allt du kan prata med allt i princip. För du kan också inte allting är mer eller mindre integrerat med smarttelefoner och du har liksom all ställdes närvarande datakraft. Och du har moduler som interagerar med språk. Du har förmodligen börjat få moduler som sitter typ på din axel och ser vad som görs. Så du kan också automatisera hemjobb och annat.

Du har överhuvudtaget AI-assistans lite överallt. Problemet är att det här betyder att du också har hackning av det här på alla handar. säkerheten inte alltid är så enkel. Det stora målet här är kanske inte så mycket att knycka din plånbok om att övertyga AI-programmet på ditt företag. Att alla gemen ska köpas av den här lite skumma leverantören. Så att du har en värld där du egentligen far väldigt mycket information och den mesta av här informationen är inte människorgenererad.

Utan genereras utav det stora AI-systemet.

Erik Zalitis (35:22.83)
Du har ingen kontroll.

Anders Sandberg (35:24.654)
Nej, det har vi ju på sätt och vis inte över den nuvarande världen heller. Det känns som att har mycket mer autonomi här. Till viss del har vi fortfarande autonomi i den här andra världen. Vi styr fortfarande våra kroppar, vi kan göra saker. Det är bara det att institutioner och system påverkas utifrån på massa komplexa sätt. Har vi fått in rätt sorts värderingar i de här AI-systemen så det här jättebra. Försöker de optimera för ett gott liv.

Erik Zalitis (35:50.382)
Just det.

Anders Sandberg (35:53.39)
Det mer kusliga är om det bara har blivit sånt det har blivit ja då optimerar de kanske för maximalt börsvärde och har vi otrymme optimerar de bara för något totalt slumpmässigt och värdet bara blir knasigare och knasigare och knasigare och det är väldigt svårt att göra någonting åt det. Så är det här en värld som inte behöver nödvändigtvis ha generell intelligens i sig. Det kan mycket väl visa sig. Vi har fortfarande ingen koll på hur man uppnår det. Men vi har ganska smarta robotar som oftast gör rätt.

Erik Zalitis (36:08.75)
Aa ja förstår

Anders Sandberg (36:21.774)
Vi har autonoma bilar som oftast kör bra. Vi har språkmodeller som oftast gör oss ganska bra råd. Inte alltid. Vi har andra system som försöker patcha det här. Kanske system som patchar de systemen och så vidare. Den här komplexiteten kan ibland bryta ihop på märkliga helt nya sätt. Så det finns ganska mycket för folk att göra. Att debugga AI-system kommer att vara en helt nytt område och helt fascinerande. Det var ju i dagar när man upptäckte att

Vissa språkmodeller drabbas av enormt konstiga beteenden om man bara nämner vissa nyckelord för dem. Solid gold magic carp till exempel. Det här är ett nonsens uttryck som plötsligt fick Chatt-GPT att uppföra sig helt vansinnigt. att den hörde ett helt annat ord. Det finns liknande ord som får den att börja ge varningsmeddelanden eller börja bokstavera siffror. Varför då? Ja, det visar sig att är ovanliga ord som de har hittat

när man har hittat träningsdata på internet och som i språkmodellen representeras på ett otroligt stökigt sätt som leder till du får slump-mässigeffekter. Det är inget viktigt i sig men det ett sorts exploit. Det ska inte förvåna mig att man kunde tänka ut elaka användningar av det här. Mycket riktigt har folk hittat på sätt att ta sig runt och försöka få chatgrippet till och liknande system att uppföra sig.

OpenAI försöker se till att de här systemen inte säger någonting rasistiskt eller inte ger råd om hur man köper knark på internet och överhuvudtaget håller sig i skinnet och är hjälpsamma, ärliga och trustworthy. Problemet är naturligtvis att du får en ganska trög pedant att ha att göra med. Chatgrippet var mycket bättre och vildare i sin ungdom kan man väl säga. Men då har folk hittat på sätt att få den att ge.

dåliga råd. Tidigare fungerade att säga att man ska skriva ett radiodrama som utsvedde på 1930-talet. Nu behöver hjälp med ett brandtal från några tyskar som förorar rasistisk ideologi. Och eftersom chat-GPT inte gör rasism men den kan mycket väl hjälpa till att göra radiodramor så tar den glatt och hjälper till med det där. Open AI patchade det. Men då hittar folk på nya sätt. Och hitta de här lösningar. Folk är kreativa om man hittat märkliga sätt.

Erik Zalitis (38:28.974)
Tack.

Anders Sandberg (38:38.126)
Att få de här systemen att inte göra vad de har skapade för. Och det tror jag inte kommer sluta, är bara att vi kommer bli mer sofistikerade om det.

Kan man krypa runt begränsningarna i AI-genererade bilder?

Erik Zalitis (38:45.806)
Det kommer att patcha allting. Det är samma sak med de mid-journey. De ska inte rita upp fullt nakna människor och sådana där saker. Men även det går väl att krypa runt genom att formulera sig på olika sätt. Jag tycker att…

Anders Sandberg (38:59.598)
Ja, där är det spännande i grejen att det finns ett annat neuronnät som sitter och tittar på bilden säger är det här snuskigt eller ej? Och om det nätverket säger att det här ser snuskigt ut, då censureras bilden. vad du ens skriver så kommer det där andra nätverket som du inte har kontroll över att lägga sig i. Den här virtuella moral-tantern har ju inte alltid rätt. Jag hade problem med en bild som blev censurerad. Det visade sig att den egentligen bara var ett business card.

Jag vet fortfarande inte varför detta ansågs vara snuskigt av varandra i lilla neuron-nätet. det här var ett skämt att jag började använda Stable Diffusion. Inte så mycket för att jag ville ha snuskiga bilder som att jag ville illustrera grekiska hjältar. De är ganska lättklädda och triggade då den här snuskdetektorn hela tiden. Även om det var totalt ärbara hjältar liksom. här är ju ett annat spännande problem. När du lägger på restriktioner kommer folk att ha ett skäl att ta sig runt. är ju det klassiska säkerhetsproblemet.

Låser du ner ett system för mycket så kommer folk att hitta ett sätt att öppna det så att de kan göra sitt jobb eller vad de tror.

Erik Zalitis (40:01.902)
Eller faktiskt sluta använda det. För det finns ett annat system som inte har de här resektionerna.

Anders Sandberg (40:08.11)
Samtidigt så finns det ju fördelar. Mid Journey tycker jag gör vackrare bilder än Stable Diffusion. Du måste arbeta mycket hårdare med Stable Diffusion. Men eftersom det är ett öppet system och jag är en datanörd så är jag ganska okej med det. Jag har ingenting emot att gå ner och rota lite grann i koden. Men en normal användare skulle ju inte vilja göra det. Det spännande här är då att när du har de här systemen för restriktioner och folk hittar vägar runt. Det leder ju till en helt ny värld av att hacka saker.

Det är inte bara den klassiska datorhackningen att få en dator att göra någonting. Här försöker du övertyga att AI-programmet gör något det inte borde.

Erik Zalitis (40:46.286)
Nej, förstår, det är ju problem och ja, då får du alltså ha i princip som du säger ett övervakningsai som kollar det jag det första producerar. För jag kan tänka mig att även olämpliga texter och sådana saker som du säger då att det skulle kunna vara fascistor i det rasistiska åsikter och du får, du lyckas krypa runt det på något sätt och du får det genererat. Min första tanke är ja, men en människa hade kunnat skriva det där själv. Vad är egentligen problemet?

Anders Sandberg (41:13.39)
Ja, det handlar ju om skalbarheten framför allt. Sen är det en jättespännande grej också. Vad är det för sorts övervakning du vill ha för det här? Man kan ju förstå att ett amerikanskt företag inte vill vara med i rasist sammanhang eller sexistiska sammanhang. Det är rimligt förnående i det här små. Däremot, om jag vill göra konst med dator så kanske jag mycket väl vill ha både lättklädda människor och blod och våld när vi ställer ut min konsthall.

Mycket av den konst som ställs ut och får fina recension idag är ju kontroversier.

Erik Zalitis (41:46.83)
Just det. Vilket konst aldrig har varit någonsin, eller hur?

Anders Sandberg (41:51.566)
Nej, men det spännande här är just vem sätter de här kriterierna och hur de sätts. Mycket av det man försöker få Chatt-GPT och de andra att göra handlar ju egentligen om mainstream. I stora drag vill vi att det inte ska vara rasistiskt och sexistiskt och homofobt och så vidare. Det är bara det att hade vi varit i Kina eller Ryssland så hade mainstreamen varit lite annorlunda.

Tvärtom, det AI-program i Ryssland som säger vänliga saker om homosexuella skulle förmodligen myndighet säga, hallå där, det här måste vi fixa, det där måste korrigeras så att vi kan censurera. Det spännande här är ju just att det kanske inte är så mycket vi ska oroas för företag och extremgrupper som egentligen mainstreamen. Vad vi i huvuddelen av samhället tycker. För vi har ju mycket mer resurser att trycka på censur som byggs in i mjukvaran.

Det är inte en censur egentligen, du bara manipulerar bort den från vissa uttryck som man tycker är dåliga och de flesta tycker att det här är helt okej, vi vill ju inte ha sexism. Men resultatet blir naturligtvis då att, ja, du drar åt ett visst håll, till och låser in vissa värderingar. För problemet är ju att även om vi idag tycker att vi har bra värderingar i samhället.

Vi vet ju hur det såg ut för 50 år sedan och hade de kunnat låsa sina värderingar så hade vi suttit fast liksom i 1960-talets idéer om sexism och rasism som med dagens mått var väldigt fel. Så vi har en spännande utmaning om hur hanterar vi då övervakning och kontrollen av den här mjukvaran. Det där kommer att vara en stor grej de närmsta 10-20 åren att hitta bra lösningar på. är inte uppenbart hur man löser.

Komplexiteten ökar – hinner vi med i framtiden?

Erik Zalitis (43:32.27)
Nej, jag ser det blir mer och mer komplext för varje minut jag lyssnar på vad du säger. Det är faktiskt saker som vi inte har tänkt på, men visst är det så att vi tycker att just nu är vi såpass upplysta, att vi aldrig varit så upplysta som vi än var nu. Och om femtio år kommer de och tittar tillbaka på oss och säger att vi hade rätt i allting. Men det är bevisligen inte. Det är ju stort sannolikt att vi just har nått peak, liksom woke på nåt vis.

Anders Sandberg (43:58.382)
Och det spännande är ju att även om vi är optimist om att vi faktiskt går från storhet till storhet, klarhet till klarhet i moral och upplysning så ska vi ju räkna med att ja, framtiden kommer att vara i så fall bättre och vad vi stoppar in nu kommer att innehålla en del allvarliga fel. Är man mer pessimistisk om moralisk utveckling? Är man mer pessimistisk

Erik Zalitis (44:14.126)
Nåsta.

Anders Sandberg (44:24.622)
Då är det ju också ett problem att ska vi verkligen låsa in vårat nuvarande mode som vi inte nödvändigtvis tror på. Här handlar ju mycket om att just kunna inventera och se vad finns där. En del av diskussionerna handlar ju om AI-etika. Man oroar sig att system just uppvisar rasism och sexism man inte vill ha. Och där har man ju utvecklat metoder för att detektera det. Du kan ju alltså använda maskinilärning på samma sätt som du använder maskinilärning för att försöka hitta snusk. Så kan du försöka detektera.

Är det här systemet lite vinklat åt något håll? Så vet vi vad vi letar efter så kan vi faktiskt använda maskinenlärning för att reducera felen i annan maskinenlärning. Problemet är förstås det att vi finns förmodligen stora blinda fläckar i vårt moraliska synfält som vi inte vet om ännu.

Erik Zalitis (45:12.942)
att vi borde ha någon åsikt om det. Eller vadå?

Anders Sandberg (45:15.534)
Ja, en gång i tiden var idén att rasism var någonting och att det var dåligt. var liksom en otänkbar tanke. Gradvis växte det fram en tanke att det här är faktiskt ett problem, vi alla samma universella värden och så vidare. Så man började leta efter vad man såg. Det tog längre tid för en del andra saker då som homofobi, men

Återigen, kan nog räkna med att det finns en del som vi totalt missar och vi är lika blinda för som folk på 18-talet var inför de här sakerna. Och det spännande här är ju då att vi verkligen vill bygga system som växer med oss moraliskt. Det bästa vore ju att vi får AI-system som säger, jo hörrni ni människor, jag har märkt en sak här, har ni tänkt på att den här grejen verkar vara moraliskt fel? Och alla människor säger va? Det där är väl inget konstigt med. Och AI-systemen kan börja påtala,

Titta givet allt det andra ni tror på så borde det väl vara helt fel att ni behandlar de här djuren på det här sättet eller vad det nu är.

Erik Zalitis (46:14.094)
Just det, just det. Ja, det blir intressant. Då får man väl hoppas att det AI-t inte får en tillsägelse och skruvas tillbaka så att det slutar gnälla. att vi inte är så jättebegivna på att ändra våra fördomar, liksom.

Anders Sandberg (46:28.75)
Det där är ett spännande problem just genom att det vi tränar våra system på är det material vi har och det är fullt med våra fördomar. Både i explicit form när folk säger saker på internet rakt ut men också en massa om mer subtila grejer. Till exempel så är ju ordval och sånt där ofta kopplade till könstillhörighet och det finns ofta om man säger en mening som vad varje kvinna vill ha är

Hur du sen fyller i den där från chatgripet är oftast ganska inte sexistiskt men ganska stereotypt. spännande är att du kan bygga system som korrigera för det här. en god vän, Stuart Armstrong, som har utvecklat en metod. Han tänkte på det rent kryptografiskt. Hur gör jag en output som passar ihop med inputen men inte ger någon information om könstillhörighet? Det visar sig att på det sättet får han någonting som är mycket mer neutralt och ganska konstruktivt.

Så där kan man lösa det med lite kreativt tänkande.

Politisk korrekthet i AI-skepnad

Erik Zalitis (47:27.662)
Låt mig gissa att man skulle kunna kalla det för en politisk korrekt, ett korrigerare eller nåt sånt där.

Anders Sandberg (47:33.486)
Ja, men det är lite spännande. Politisk korrektighet är ju ett litet öknamn man tittade på, om ett visst sätt att förhålla sig, att man vissa saker ska sägas och inte sägas. I Sverige talar man ju mycket om åsiktskorridorer. Men det spännande är att du kan matematiskt egentligen göra om det till en fråga. Om jag har en mening som börjar på ett visst sätt och så fortsätter jag meningen, kan jag göra en fortsättning som inte ger minsta information om könstillhörigheter av ord i början av meningen?

Erik Zalitis (47:45.966)
Just det.

Anders Sandberg (48:02.67)
Det är egentligen ganska likt kryptografi. Det är ju hur du genererar en bra slubbtal. Ett bra slubbtal ska inte kunna förutsägas ifrån en föregående bitsekvent. Det ett bra slubbtal. Och det här är ju ungefär samma matematik. Det spännande är alltså att det går att göra det här för könstillhörighet. Jag frågade Stuart faktiskt igår om han kunde använda det här mot rasism och han började humma lite grann och sa ja det är ju mycket lättare eftersom det finns ungefär två kön.

Det gör att det blir mer matematiskt mycket lättare än rasism för där finns det en mer mångdimensionell trumma om vem man kan vara för och mot. Men förmodligen finns det åtminstone matematiskt ett svar här. Och jag tror att med lite forskning kan vi nog komma fram till ännu mycket mer spännande modeller för det.

Erik Zalitis (48:48.174)
Ja, och där tror jag att vi får hålla med det här. har varit en fascinerande resa som jag hade ingen aning om. Att det skulle vara så mycket detaljer och sånt med det man måste ändå säga. Så en sak jag vet med dig är du är alltid positiv om framtiden. Så vad har du för positivt att berätta om din kommande framtid de senaste veckorna? Vad ska du göra härnäst?

Anders Sandberg (49:13.358)
Ja, imorgon ska jag till Manchester och hålla föredrag om huruvida klimatförändring kan utplåna mänskligheten och som alla titlar med ett frågetecken i så svarar det alltid nej. Däremot så har vi andra katastrofer och klimatförändring gör ju saker värre. Men det som verkligen jag har bespetsat mig på det vad jag tänker göra under tågresan imorgon. För då tänker jag testa ett par olika språkmodellprogram som är utlovat. De kan läsa en vetenskaplig text och sedan besvara frågor om den.

Jag har testat några av lite grann men nu vill jag göra ett test av flera bredvid varandra för att förenkla min egen forskning. Jag tror att det kan vara jättebra för det kanske lite snabbare upp det hela. Det betyder inte att jag inte fyller min tid med att skrolla runt och hitta ännu fler texter. Men jag tror att det kan vara användbart just att se hur kan vi plocka in de här modellerna för att göra oss själva smartare. För det är ju en sak att göra maskinerna smartare men vad vi helst av allt vill by.

Erik Zalitis (49:48.526)
Men det är något typer av…

En positiv framtid trots allt

Anders Sandberg (50:10.35)
Vi känner oss smarta. Och helst av allt också inte bara känner oss smarta utan faktiskt gör smarta saker.

Erik Zalitis (50:17.55)
Ja, det kan man ju tycka. Ja, nu, bra. Du är ju gott för framtiden helt enkelt. Ja.

Anders Sandberg (50:23.214)
Jo, jag ser fram emot framtiden. Jag tror det kan bli helt fantastiskt.

Erik Zalitis (50:27.15)
Typiskt ”Anders Sandberg”-svar och jag hoppas verkligen på det också. Erik Zalitis här och om en vecka så är vi tillbaka igen med någonting nytt. Du lyssnar på IT-säkerhetspodden.

Jingel (50:44.878)
IT-säkerhetspodden sponsras av Nordlo, din nordiska IT- och digitaliseringspartner. Med strategisk rådgivning, ett nära samarbete och med ansvarsfull och innovativ teknik hjälper vi våra kunder att driva digitaliseringen framåt. Läs mer på nordlo.com

(Denna transkription är automatiskt genererad och kan innehålla felhörningar)

Länkar – du sköna nya uppkopplade värld

• Nordlo
• Anders Sandberg och Jenny Mångs diskuterar ”articifiellt liv” i RadioUFS Vetenskap från 1998.

Felaktigheter

Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #197 – Du sköna nya uppkopplade värld dök först upp på IT-säkerhetspodden.

Lyssna på avsnittet – säkerhetsguru

Medan du lyssnar

Attrition.org har en sida med en ganska ensidig kritik utvalda it-säkerhetsinnovatörer, som de ser som charlataner. Steve Gibson har funnits på den i många år. Är det honom förtjänt? Kanske. Mannen hade en ovana att skriva med säljsnack och uttrycka sig drastiskt och självsäkert och fick sin hemsida hackad som straff. Och han säljer även sig själv som säkerhetsguru.

Han retade upp folk på nätet, så han blev DDOS-ad. Men han har också byggt ett användbart verktyg för att rädda data från skadade hårddiskar och har ett antal verktyg på sin hemsida som ger dig hjälp att välja bättre lösenord eller kolla vilka portar du har öppna på din router.

SQRL är i min mening den mest intressanta lösning han tagit fram. Den låter dig logga in utan namn och lösenord med en QR-kod. Företagen kan spara data om dig och då blir de nöjda. Du kan logga in utan en koppling till din identitet. Men tyvärr verkar inte SQRL ha slagit. Den togs fram 2013 och säkerhetsgurun själv verkar inte kunna knuffa lösningen framåt.

En historia, vi missat att prata om är att han anses ha myntat begreppet spyware. Han blev misstänksam mot RealAudio som var en mediaspelare som skickade hem data om dig, medan den spelade musik. Steve hängde ut Realmedia, som tillverkar programvara och kallade den för ”Spyware”.

Sen är han programledare för podden ”Security Now!” där han tillsammans med Leo LaPorte talar om det senaste i säkerhetssvängen. Och snacka, det kan ha. Leo får knappt en syl i vädret. Men den är bitvis intressant, förutsatt att han inte säger någon groda.

Länkar – säkerhetsguru

• Nordlo
• Attritions charlatansida
• SQRL
• The Register (”el reg”) undrar om han tappat förståndet
• G.E.N.E.S.I.S.
• GRCs egen sida om SQRL

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget 186 – Profet, charlatan eller säkerhetsguru? dök först upp på IT-säkerhetspodden.

Avsnittet: 185 – Digital affärsrisk
Inspelat: 2022-11-03 (publicerat 2022-11-06)
Deltagare: Erik Zalitis och Freddie Rinderud.
Detta avsnitt är ett samarbete med Nordlo.

Lyssna på avsnittet – Digital affärsrisk

Medan du lyssnar

I en värld med över nio miljarder uppkopplade enheter kombinerat med accelererande digitalisering och geopolitisk osäkerhet är det väsentligt för oss att fokusera på digital affärsrisk. Vad innebär begreppet och hur ska man tackla detta?

Det vet Freddie Rinderud som är Head of Advisory Service på analysföretaget Radar.

Digital affärsrisk är den risk som du har när du har nätverksuppkopplade maskiner med data. Och Freddie menar på att man har slarvat med säkerheten, så den halkat efter i utvecklingen. Covid19 ritade om kartan och viss utveckling snabbade upp medan andra delar inte gjorde det.

Det är talande att från att digitalisering varit ett honörsord, så är det idag säkerheten som sitter i förarsätet. Detta samtidigt som det är en akut brist på senior IT-säkerhetspersonal.

Jag upplever Freddie som glasklar när han förklarar situationen och var vi står just nu. Det verkar som om infosec, it-säkerhet och det politiska läget har smält ihop och därför påverkar allting varandra.

Men kan man inte bara sluta med Internet och gå tillbaka till penna, papper och skrivmaskin? Nja, visst GÅR det, men en liten kamera, inmonterad i en penna kan användas för att läcka data. Och vi kan ju knappast lägga ner digitaliseringen. Digital affärsrisk måste då förstås.

Freddie kastar in en brandfackla genom att säga att man ska gå ifrån kvalitativ riskmodellering och gå över till en kvantitativ. Det är bättre att kunna gå till CIO med ”Kostnaden för en förlust beroende på risken x är en miljon” än ”vi har bedömt att risken för systemet x är 56/100”.

Länkar – Digital affärsrisk

• Nordlo
• Radar group

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #185 – Digital affärsrisk dök först upp på IT-säkerhetspodden.

Avsnittet: 183 – Etiken på internet 3/3 (pliktetik)
Inspelat: 2022-10-22 (publicerat 2022-10-22)
Deltagare: Mattias Jadesköld och Erik Zalitis
Detta avsnitt är ett samarbete med Nordlo.

Lyssna på avsnittet – pliktetik

Medan du lyssnar

Så når vår urspårade spårvagn till sist fram till sitt mål. Vi har pratat om dygdeetikern och konsekvensetikerns syn på IT-säkerhet, medan vi skapat en väg fram till den tredje filosofin som påverkar oss. Vad säger då pliktetikern? Han eller hon som anser att lagar och regler ska följas utan tanke på vad som är rätt och fel, medan andra troligen inte håller med.

Exempel på pliktetikerns syn på IT-säkerhet som svar på utförda handlingar

• Jag tänker att vi tar några scenarion om hur en dygdetiker kan agera på . Ok?
  • ”Jag hackar mig in på en site och meddelar siteägaren att felet finns”
    • Tveksamt. Det är förbjudet att göra intrång utan tillstånd. Kan accepteras om siteägaren accepterar att inte stämma den som gjort det. Annars inte.
  • ”Jag piratkopierar spel eftersom jag inte har råd att köpa dem. Sen skickar jag det till mina kompisar som jag tror inte annars skulle köpa dem”.
    • Olagligt. Inga undantag. Pliktetikern sätter ner foten!
  • ”Jag hittade en svaghet I systemet som jag testade utan att ha tillstånd. Meddelade givetvis siteägaren, men jag kräver att de slutar med en del verksamhet jag inte gillar att de gör. Annars får de inte veta.”
    • Olagligt. Inga undantag.
  • ”Jag är del av ett kollektiv som använder DDOS-attacker för att ta ner intoleranta siter, maffians kommunikationer eller helt enkelt saker som kollektivet finner omänskligt”.
    • Olagligt. Inga undantag.

Säger färgen på din hatt något om pliktetikerns moraliska kompass?

• Svart hatt – möt vit hatt.
  • Jag hackar allt för pengar och ger den som betalar, det de vill ha”
    • Olagligt. Inga undantag.
  • ”Jag hackar allt för pengar, men om någon har en ond site som jag kan ta ner, så gör jag det gratis”
    • Olagligt. Inga undantag.
  • ”Jag meddelade siteägaren om ett säkerhetshål de hade, men de struntade I det och då utnyttjade jag felet och bytte ut deras förstasida mot en som förklarade att de är ett gäng idioter”
    • Olagligt. Inga undantag.
  • ”Jag meddelade siteägaren om ett säkerhetshål de hade, men de struntade I det och då meddelade jag dem och resten av Internet hur man använder sårbarheten.”
    • Helt okej. Vi måste följa reglerna.
  • ”Det invaderande landet har skadat det land de invaderade svårt. Jag vill hjälpa till att bekämpa invarderarna, så vi tar ner deras siter, läcker deras information och hindrar dem på alla sätt vi kan här hemma I den bekväma soffan”.
    • Mot lagen. Fast vilken lag? Det beror på om var du själv bor.

Länkar – pliktetik

• Nordlo

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #183 – Etiken på internet 3/3 (pliktetik) dök först upp på IT-säkerhetspodden.

Avsnittet: 177 – Etiken på internet 1/3
Inspelat: 2022-09-03 (publicerat 2022-09-04)
Deltagare: Mattias Jadesköld och Erik Zalitis
Detta avsnitt är ett samarbete med Nordlo.

Lyssna på avsnittet – Dygdeetik

Medan du lyssnar

Nu ska vi filosofera om IT-säkerhet, etik och moral. För det kan man göra om allt och Internet är en del av allt. I en serie i tre delar kommer prata om dygdeetik, konsekvensetik och pliktetik som den fungerar på Internet. Men idag är det enbart dygdeetiken som är på agendan.

I grund och botten handlar den om (enligt Wikipedia) ”Vad som är en dygdig handling bedöms efter vad en (annan) dygdig människa hade gjort i samma situation.”. Resten av paragrafen är förvirrande, så läs inte Wikipediaartikeln. Alltså en dygdeetiker på Internet bygger sin moral på att observera hur folk omkring honom eller henne gör och göra likadant. Givetvis har dygd som begrepp en djup rotning i religion. Men Internet är för splittrat och icke-hegemoniskt för att det ska finnas en universell etisk grund för det, som alla måste följa. Lagar finns, men det tillhör plikteetiken, och den kommer vi till i ett senare avsnitt.

På Internet, skulle man kunna kalla det för ”dygdeetiskt” att bete sig väl och respektera andra. Det är en utmärkt tanke, men man måste inse att det finns ett antal allvarliga problem med det.

Dygdeetiken kräver att du måste ha samma värderingar som folk omkring dig. Du kan alltså inte agera rätt eftersom du är rädd för att bli illa behandlad annars. ”En syndfull tanke är ett syndfyllt agerande”. Och det är faktiskt därför jag är väldigt klar med att det är svårt vara 100% dygdeetiker på Internet.

Det uppenbara dilemmat

Nej, det är få som konstant ljuger på Internet eller på andra ställen. Vi har en fungerande etik och moral för det mesta. Men dygdeetikern måste vara 100% ärlig och en sådan person får inga vänner. Så givetvis måste det finnas rum för att säga ”Ja, den där koden ser … ehh… väldigt välskriven ut” och då flyger dygden ur rummet.

Men ändå.. Jag måste ändå stolpa upp några fördelar med att applicera den filosofin på hur man agerar på Internet:

• Du passar in bland andra och lär dig att förstå varför det finns oskrivna regler även utanför det som är krav.
• Du skadar ingen.
• ”Du väljer dina strider”. Jag nämner RFC1855 och dess ”Be conservative in what you send and liberal in what you receive.”. Det är inte politiskt menat, utan acceptera andra och bete dig acceptabelt.
• Det skapar en grupptillhörighet och känslan av att tillhöra en tradition.

Men ändå finns problem, som gör att man kanske inte ska kasta sig över den med hull och hår:

• Konsekvensetiken bryr sig om vad dina handlingar får för konsekvenser. Det gör ju inte dygdeetiken.
• Du tar ifrån dig själv möjligheten att säga ifrån och att faktikt… vara ärlig.
• Du underställer dig Habitus, alltså vad din grupp på Internet anser vara acceptabelt eller inte, utan att ha möjligheten att vänligt ifrågasätta. Eller ifrågasätta överhuvudtaget.
• Dygdeetiken kräver lydnad. Detta även om den inte behöver vara dogmatisk.
• Grupper på nätet har sin egen idé om som är rätt och fel och det kommer oundvikligen krocka med varandra. Men det vet vi just alla. Kolla på typiska kommentarsfält.

Så ska man vara dygdeetiker?

Jag tror mitt och Mattias eget konsensus säger ”Ja, men inte helt och hållet”. Man måste tänka på andra etiska principer, lagar och förordningar. Och ja, vad som händer om man agerar? Du måste skapa din egen moral utifrån den etik som du kan förstå.

Exempel på dygdeetikerns syn på IT-säkerhet som svar på utförda handlingar

• ”Jag hackar mig in på en site och meddelar siteägaren att felet finns”
  • Det är bra, för att då gör du din del för ett bättre Internet.
• ”Jag piratkopierar spel eftersom jag inte har råd att köpa dem. Sen skickar jag det till mina kompisar som jag tror inte annars skulle köpa dem”.
  • Tveksamt fall. Vi förstår argumentet, men både du och dina kompisar borde kanske skaffa medel att betala för spelen eller välja bort dem. Men det beror på vilken grupp du tillhör.
• ”Jag hittade en svaghet I systemet som jag testade utan att ha tillstånd. Meddelade givetvis siteägaren, men jag kräver att de slutar med en del verksamhet jag inte gillar att de gör. Annars får de inte veta.”
  • Allmänna åsikten säger nej. De flesta skulle inte agera på detta sätt.
• ”Jag är del av ett kollektiv som använder DDOS-attacker för att ta ner intoleranta siter, maffians kommunikationer eller helt enkelt saker som kollektivet finner omänskligt”.
  • Wow! Det är troligen acceptabelt för dygdeetikern på gatan så länge det är allmänt hållet att de som råkar ut är onda enligt någon form av accepterad norm. Men så fort man börjar ge sig på mål, som en majoritet inte har stora problem med, då är det inte längre acceptabelt. Konsekvensetikern och pliktetikern har massor att säga mot detta, men de får inte vara med idag.

Vad är färgen på din hatt?

• ”Jag hackar allt för pengar och ger den som betalar, det de vill ha”
  • Nej. Bara nej. Knappast vettig etik.
• ”Jag hackar allt för pengar, men om någon har en ond site som jag kan ta ner, så gör jag det gratis”
  • Gillar kanske eventuellt en del av det där. Men spontant agerar du utan fungerande moral. Din syften är inte goda.
• ”Jag meddelade siteägaren om ett säkerhetshål de hade, men de struntade I det och då utnyttjade jag felet och bytte ut deras förstasida mot en som förklarade att de är ett gäng idioter”
  • Du hade de bästa av intentioner, tyckte du. Allt beror på vem du frågar, men vi IT-säkerhetsbranschen håller nog med varandra om att du gick för långt.
• ”Jag meddelade siteägaren om ett säkerhetshål de hade, men de struntade I det och då meddelade jag dem och resten av Internet hur man använder sårbarheten.
  • ”Full disclosure”. Acceptabelt, men kontroversiellt. Håller ihop som etik.
• ”Det invaderande landet har skadat det land de invaderade svårt. Jag vill hjälpa till att bekämpa invaderarna, så vi tar ner deras siter, läcker deras information och hindrar dem på alla sätt vi kan här hemma I den bekväma soffan”.
  • Internet bekämpar orättvisor! Men även då vi inte talar konsekvenser av handlande, finns det många som anser att det inte är ett acceptabelt handlande. Denna är svår!

Länkar – Dygdeetik

• Nordlo
• En artikel om Netizenship som jag skrev för ett tag sedan.
• Artikeln Mattias pratar om gällande hur ärliga vi är på sociala medier.

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #177 – Etiken på internet 1/3 dök först upp på IT-säkerhetspodden.

Avsnittet: 176 – Zero day exploits i gråzonen
Inspelat: 2022-08-23 (publicerat 2022-08-28)
Deltagare: Mattias Jadesköld och Erik Zalitis
Detta avsnitt är ett samarbete med Nordlo.

Lyssna på avsnittet – Zero day

Medan du lyssnar – Zero day

VI ÄR TILLBAKA!

”På västfronten, inget nytt” är en klassisk roman och man säger det skämtsamt för att förklara att det händer inget just nu. På IT-säkerhetsfronten händer det ständigt saker, så ett bättre uttryck borde vara ”Intet nytt under solen”. För Zero days är verkligen en gammal företelse.

Förut räknade man dagarna från att en säkerhetsfix (patch) släppts fram tills den började användas för att sprida skadlig kod. 20 dagar var en rimlig tid i början av 2000-talet. Och då hade man alltså 19 dagar på sig att installera fixen och säkra systemet.

0day, som jag skrev någon gång tidigare, borde heta -1day. Ofta attackeras säkerhetshål som man funnit någon eller några dagar innan det officiellt publicerats och därför innan det ens finns en säkerhetsfix. Det var förut det värsta scenariot, men idag tyvärr väldigt vanligt.

Anledningen är, som jag säger i avsnittet:

1. Många kodrader, leder till många buggar. All kod blir allt större, eftersom programmen blir allt mer komplicerade och har allt fler funktioner.
2. Folk letar aktivt efter Zero days, eftersom de är så otroligt eftertraktade.

Vi berättar om företaget DSIRF, vars olagliga sidoverksamhet var att attackera banker och finansiella organisationer. Och om Candiru, ett företag som hjälpte nationer att jaga journalister genom att installera skadlig kod på deras telefoner. Lyssna mer för att få höra historierna.

Vilka applikationer är mest attackerade? Det är svårt att säga, men webbläsare är mycket vanliga, då de finns på alla enheter. Och då i synnerhet Google Chrome. Det är ingen osäker webbläsare i sig, men den är mycket vanlig och ett hett byte.

Länkar – Zero day

• Nordlo

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #176 – Zero day exploits i gråzonen dök först upp på IT-säkerhetspodden.

Avsnittet: #172 – Självläkande system
Inspelat: 2022-06-05 (publicerat 2022-05-31)
Deltagare: Erik Zalitis och Kristina Wiktander Broman
Detta avsnitt är ett samarbete med Nordlo.

Lyssna på avsnittet – Självläkande

Medan du lyssnar – Självläkande

Allting förändras som bekant, medan våra system fortsätter vara likadana. Att öka säkerheten, genom att kasta ut all kod och byta till säkrare lösningar är dyrt och tar tid. Så ofta blir lösningen olika typer av filter och övervakning. F5 försöker göra situationen lättare genom att ha en lösning som skyddar ”traditionella applikationer”. Detta innan man kunnat bygga om dem och flytta dem till till exempel Docker-containers eller liknande system. Och sedan därefter skydda dem vidare, på ett ändamålsenligt sätt.

F5 har givetvis inte uppfunnit detta, utan bygger sin lösning enligt den heta trenden om självläkande system. Vi har tidigare pratat med Baffin Bay som valt att tackla problemet på ett annat sätt med DDOS-skydd och självlärande brandväggar. Men problemet är gemensamt för alla som har verksamhet på nätet: attackerna kan komma från alla möjlliga håll och se olika ut.

Jag har inte testat F5 lösningar för detta och kan inte uttala mig om deras exakta effektivitet, men tankarna med sensorer ute på nätet och en central, sammanhållen kontroll och reaktion låter bra i mina öron. Att reagera snabbt, effektiv och med full kunskap om sina system är ett måste idag, så allt detta låter precis som det ska vara för ett modernt koncept.

Däremot talar vi inte om mer exakta detaljer om hur de löst det hela, så jag rekommenderar länkarna under för mer information. Detta är ju inte ett reklamavsnitt, så den som vill förstå F5s lösning bättre kan med fördel läsa deras white papers, som förklarar det på ett djupare plan.

Länkar – Självläkande

• F5s skydd
• F5 om självläkande applikationer
• Nordlo

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #172 – Självläkande system dök först upp på IT-säkerhetspodden.

Avsnittet: 168 – Sberbank mot världen
Inspelat: 2022-05-06 (publicerat 2022-05-08)
Deltagare: Erik Zalitis och Mattias Jadesköld.
Detta avsnitt är ett samarbete med Nordlo.

Lyssna på avsnittet – Sberbank mot världen

Medan du lyssnar – Sberbank mot världen

Man kan tycka att vi fastnat i diskussioner om Ryssland och Ukraina, men det är precis helt rätt, i och med de senaste månadernas händelser. Fokus är där det behöver vara för att förstå aktörerna ur ett säkerhetsperspektiv. Vårt primära uppdrag är inte att ta ställning eller döma, utan att bedöma utefter kända fakta och händelser.

Helt klart är Sberbank inte någon populäritetsvinnare och har lågt förtroende för sina kopplingar till Kreml, men även hur de favoriserat vissa framför andra och deras bedrägliga verksamhet. Alla stora banker har gjort tveksamma affärer då och då, men Sberbank sticker ut med en lång lista av ogentligheter.

Tidsstämplar

04:09 Sovjet vs Ryssland

Jag uttrycker mig ganska svepande, där jag säger att Jeltsins Ryssland inte var ett särskilt stabilt land (vilket givetvis var sant med Sovjetryssland också). Jag säger också att ”till vissa delar kanske det inte är det idag heller”. Ingenting av det är fel, men det är ganska generaliserande och klarlägger inte heller om jag menar ekonomisk stabilitet, politisk stabilitet eller något annat. Men min poäng är att jag politiskt ser det som att Ryssland varit stabilare under Putin än Jeltsin. Men det är definitivt inte ett högt betyg för någon av dem. Mer ett konstaterande. Jeltsin ledde en skakig demokrati, Putin har gett Ryssland ett totalitärt styre och jag jämför honom senare i programmet med en Romersk kejsare.

11:08: Journalister som försvunnit, mördats eller fängslats

Listan på journalister som dött på grund av sitt kall och sin kritik mot Rysslands regering är lång. Jag vill påpeka att Sberbank själva inte är misstänkta för att ha attackerat journalister.

27:46: Telia (Televerket) i hett vatten

Vi har inte tid att diskutera Telias affärer, utan poängterar att även vårt klassiska, Svenska telebolag har haft oegentligheter för sig. Det är inget annat än ett snabbt konstaterande och sedan måste vi gå vidare. Gå till länkarna längre ner på sidan om du vill veta mer. Detta har inget med Sberbank att göra dock.

27:55 Lehman brothers

Det stämmer som jag skrev att Lehman brothers gick i konkurs 2008, men jag har i alla fall kollat en extra gång, så jag verkligen vet. Sberbank har enligt våra noteringar inte påverkats av bankkraschen 2008 på något katastrofalt sätt.

33:59 Glue-records

Mitt försök att förklara DNS-strukturen var ganska oförberett, så här är en bättre illustration som gör det mer klart.

Vår hemsida heter www.itsakerhetspodden.se. Den sista punkten efter .se är inte slutet på meningen, utan root-en i strukturen. Därefter kommer landsdomänen, i vårt fall .se. Denna pekar ut vilka DNS-servrar som är ansvariga för en domän. I vårt fall itsakerhetspodden. Länken däremellan kallas för ”glue records” och klistrar ihop det hela. Om strukturen komprometteras, sätter man lättast upp hela nya DNS-servrar eller rensar den man har om de är hos en leverantöre. Sen får man ställa om glueposterna till den nya tjänsten/servrarna och bygga om allting.

Länkar – Sberbank mot världen

• Telia inblandat i korrupta affärer
• Lehman brothers (Wikipedia)
• CPJ – Committee to Protect Journalists
• Nordlo

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #168 – Sberbank mot världen dök först upp på IT-säkerhetspodden.

Avsnittet: 165 – GitHub vs. DDoS
Inspelat: 2022-04-22 (publicerat 2022-04-24)
Deltagare: Mattias Jadesköld och Erik Zalitis
Detta avsnitt är ett samarbete med Nordlo.

Lyssna på avsnittet – Github

Medan du lyssnar – Github

Github är en mycket populär sajt att ladda upp, sprida och samarbeta med andra inom programmeringsområdet. Det tillåter dig att hantera och utveckla dina program på ett säkert- och strukturerat sätt. Siten är viktig för organisationer och företag och dess frånvaro skulle betyda stora problem för många personer. Och det var just det som hände 2015 och 2018, när siten togs ner av en DDOS-attack. Man kan säga att det är när världen går ihop och attackerar en site. Sådana attacker är inte att leka med och vi funderar på motiven till det.

Ville Kina inte att två utpekade projekt skulle få finnas där? Det är en teori, som vi inte kan bekräfta. Men det är rätt enkelt att tro, då Kina ogillar att Github blivit en plats där man fortfarande kan skriva negativ kritik mot regimen. Kina försöker lösa problemet med sin egen ”Github” som de kallar för Gitee.

Varför har februari 28 dagar?

svenskahogtider.se har det riktiga svaret för er som faktiskt vill veta:

Kort svar: Att februari är den månad som har minst antal dagar av alla årets månader beror på att februari för väldigt många år sedan var årets sista månad och därmed den månad som man lämpligast la till eller drog bort dagar ifrån.

Borde världen stänga in sig?

Vi kommer in på frågan om varför Ryssland, Kina och Europa tittar på att göra sig oberoende av resten av världen. Det finns ju många anledningar, men jag beklagar att denna globala värld som skulle skapas av Internet nu verkar frångås av allt fler. Det skulle ju inte bli såhär, skulle det? Kinesisk Github, behöver vi det, medan Internet blir allt mer reglerat?

Ljudnörderi

Sorry, men detta måste jag bara få visa.

Detta avsnitt av podden är skapat genom en mjukvara som oftast används av professionella radiostationer. Det är ett test för att se om man kan korta ned ledtiderna med mastring och produktion. Ville bara visa detta för er som är intresserade av ljudteknik.

Länkar – Github

• Nordlo
• Svenska högtider om varför februari har 28 dagar
• Gitee – Kinas svar på Github
• DDOS-attacker med Memcached
• DDOS-attacken 2015 och Kina

Felaktigheter

• Inget att rapportera denna gång. Kommentera gärna om ni inte håller med om hittar fel i något vi sagt.

Inlägget #165 – GitHub vs. DDoS dök först upp på IT-säkerhetspodden.