tisdag 19 september 2017

Michael Shermer fails in his attempt to argue that AI is not an existential threat

Why Artificial Intelligence is Not an Existential Threat is an aticle by leading science writer Michael Shermer1 in the recent issue 2/2017 of his journal Skeptic (mostly behind paywall). How I wish he had a good case for the claim contained in the title! But alas, the arguments he provides are weak, bordering on pure silliness. Shermer is certainly not the first high-profile figure to react to the theory of AI (artificial intelligence) existential risk, as developed by Eliezer Yudkowsky, Nick Bostrom and others, with an intuitive feeling that it cannot possibly be right, and the (slightly megalomaniacal) sense of being able to refute the theory, single-handedly and with very moderate intellectual effort. Previous such attempts, by Steven Pinker and by John Searle, were exposed as mistaken in my book Here Be Dragons, and the purpose of the present blog post is to do the analogous thing to Shermer's arguments.

The first half of Shermer's article is a not-very-deep-but-reasonably-competent summary of some of the main ideas of why an AI breakthrough might be an existential risk to humanity. He cites the leading thinkers of the field: Eliezer Yudkowsky, Nick Bostrom and Stuart Russell, along with famous endorsements from Elon Musk, Stephen Hawking, Bill Gates and Sam Harris.

The second half, where Shermer sets out to refute the idea of AI as an existential threat to humanity, is where things go off rails pretty much immediately. Let me point out three bad mistakes in his reasoning. The main one is (1), while (2) and (3) are included mainly as additional illustrations of the sloppiness of Shermer's thinking.
    (1) Shermer states that
      most AI doomsday prophecies are grounded in the false analogy between human nature and computer nature,
    namely that humans have emotions, while computers do not. It is highly doubtful whether there is a useful sense of the term emotion for which a claim like that holds generally, and in any case Shermer mangles the reasoning behind Paperclip Armageddon - an example that he discusses earlier in his article. If the superintelligent AI programmed to maximize the production of paperclips decides to wipe out humanity, it does this because it has calculated that wiping out humanity is an efficient step towards paperclip maximization. Whether to ascribe to the AI doing so an emotion like aggression seems like an unimportant (for the present purpose) matter of definition. In any case, there is nothing fundamentally impossible or mysterious in an AI taking such a step. The error in Shermer's claim that it takes aggression to wipe out humanity and that an AI cannot experience aggression is easiest to see if we apply his argument to a simpler device such as a heat-seeking missile. Typically for such a missile, if it finds something warm (such as an enemy vehicle) up ahead slightly to the left, then it will steer slightly to the left. But by Shermer's account, such steering cannot happen, because it requires aggression on the part of the heat-seeking missile, and a heat-seeking missile obviously cannot experience aggression, so wee need not worry about heat-seeking missiles (any more than we need to worry about a paperclip maximizer).2

    (2) Citing a famous passage by Pinker, Shermer writes:

      As Steven Pinker wrote in his answer to the 2015 Edge Question on what to think about machines that think, "AI dystopias project a parochial alpha-male psychology onto the concept of intelligence. They assume that superhumanly intelligent robots would develop goals like deposing their masters or taking over the world." It is equally possible, Pinker suggests, that "artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no desire to annihilate innocents or dominate the civilization." So the fear that computers will become emotionally evil are unfounded [...].
    Even if we accepted Pinker's analysis,2 Shermer's conclusion is utterly unreasonable, based as it is on the following faulty logic: If a dangerous scenario A is discussed, and we can give a scenario B that is "equally possible", then we have shown that A will not happen.

    (3) In his eagerness to establish that a dangerous AI breakthrough is unlikely and therefore not worth taking seriously, Shermer holds forth that work on AI safety is underway and will save us if the need should arise, citing the recent paper by Orseau and Armstrong as an example, but overlooking that it is because such AI risk is taken seriously that such work comes about.

Footnotes

1) Michael Shermer founded The Skeptics Society and serves as editor-in-chief of its journal Skeptic. He has enjoyed a strong standing in American skeptic and new atheist circuits, but his reputation may well have passed its zenith, perhaps less due to his current streak of writings showing poor judgement (besides the article discussed in the present blog post, there is, e.g., his wildly overblown endorsement of the so-called conceptual penis hoax) than to some highly disturbing stuff about him that surfaced a few years ago.

2) See p 125-126 of Here Be Dragons for my attempt to explain almost the same point using an example that interpolates between the complexity of a heat-seeking missile and that of a paperclip maximizer, namely a chess program.

3) We shouldn't. See p 117 of Here Be Dragons for a demonstration of the error in Pinker's reasoning - a demonstration that I (provoked by further such hogwash by Pinker) repeated in a 2016 blogpost.

fredag 15 september 2017

Thente och de två kulturerna

Sedan minst fem år tillbaka har jag retat mig på DN-skribenten Jonas Thentes benägenhet att se ned på kunskap inom det för honom så främmande matematisk-naturvetenskapliga ämnesfältet; han personifierar det kunskapsläge och den inställning som C.P. Snow ondgjorde sig över redan 1959 i sin klassiska De två kulturerna. Följande passage i en DN-artikel av Thente för ett par veckor sedan gjorde inget för att milda mitt sinne.

Det är såklart sant att det finns många människor som inte intresserar sig för skönlitteratur, men det skulle förvåna mig väldeliga om denna egenhet skulle visa sig korrelera positivt med naturvetenskaplig bildning eller dito yrkesval. Om Thente vill hävda något sådant borde han belägga det med statistik. Tills han gör det kommer jag att fortsätta betrakta den här sortens utfall som fördomsfullt hittepå och physics envy.

Ulf Danielsson svarar Thente i dagens DN, och framhåller det önskvärda i att ta del av båda de kulturer Snow åsyftar, och att låta dem korsbefruktas i huvudet. Därmed är han inne på Snows linje, och jag kan bara instämma.

söndag 3 september 2017

Om existentiell risk i dagens DN

I DN denna söndagsmorgon bjuds på en stort uppslagen intervju med Anders Sandberg och mig om de olika existentiella hot mot mänsklighetens överlevnad som föreligger, och om det tvåmånaders gästforskarprogram om saken som vi precis dragit igång på Chalmers och Göteborgs universitet. Artikeln finns även elektroniskt, dock bakom betalvägg.

Kom gärna på programmets officiella invigning i morgon måndag klockan 17.30!

(Obs klockslaget, 17.30 - inte 18.30 som jag tidigare felaktigt skrev.)

torsdag 31 augusti 2017

I morgon börjar det

I morgon börjar det gästforskarprogram vid Chalmers och Göteborgs universitet med rubriken Existential risk to humanity som jag arrangerar. Läs gärna det pressmeddelande om programmet som Chalmers idag gått ut med!

Och missa inte vare sig
  • programmets officiella öppning på måndag där vår särskilt inbjudne gästprofessor Anders Sandberg håller en populärvetenskaplig föreläsning över ämnet "Existential risk: how threatened is humanity?", eller
  • workshopen på torsdag-fredag i nästa vecka, där både Anders och ett dussin andra spjutspetsforskare på området delar med sig av sina preliminära synpunkter på vilka risker mänskligheten står inför och vad vi kan göra åt dem.

tisdag 22 augusti 2017

Bör konsumenter undanhållas information om konsumtionens miljöpåverkan?

Den fråga jag ställer i bloggpostrubriken kan förefalla löjlig, och jag kan verkligen förstå den läsare som inte kan föreställa sig att någon faktiskt skulle besvara den jakande. Men det är exakt vad Expressen-skribenten Naomi Abramowicz gjorde i en krönika häromdagen. Jag rekommenderar inte läsning av krönikan, som är så urbota dum att man som läsare riskerar drabbas av hjärnblödning, men här är dess budskap i kort sammanfattning:
    Det är skittråkigt att som konsument få reda på vilken miljöpåverken ens konsumtion har. Därför bör denna miljöpåverkan hemlighållas.
Den som verkligen böjer sig bakåt för att försvara Abramowicz kan måhända peka på att hon ju egentligen inte motsätter sig informationen, utan bara vill ha budskapet mer positivt paketerat: hellre morot än piska, och berätta inte om nackdelen med att köra SUV och semestra i Thailand utan hellre om fördelen med att avstå! Well, bästa Naomi Abramowicz, du har inte lyssnat ordentligt, för fördelen ligger i öppen dager: du besparar miljön och vår planet ett stycke skadlig miljöpåverkan! Och om du underkänner denna fördel för att den inte tillfaller dig personligen, så blir jag tyvärr tvungen att stämpla dig som en primitiv och antisocial egoist.

Det absoluta lågvattenmärket i Abramowicz krönika nås i följande sandlådemässiga passage:
    Det ständiga predikandet kan väcka en sorts trotsighet. Nu ska jag köra min bil till mataffären, bara för att jag kan! Ha, där fick du! Jag tillhör själv gruppen som, nästan på pin kiv, lockas att göra tvärtom bara för att trotsa de gröna glädjedödarna.
Själv lockas jag att illustrera Abramowicz förhållningssätt med följande fabel, och den läsare som vill försöka sig på det omöjliga kan prova att antingen (a) försvara Abramowicz agerande i fabeln, eller (b) finna någon relevant disanalogi mellan fabeln och den inställning hon torgför i Expressen.
    Abramowicz (A) står och slår, för sitt eget höga nöjes skull, med piska på en åsna (Å) som visar tydliga tecken på smärta. En djurvän (D) kommer förbi.

    D: Men vad gör du, människa?

    A: Va?

    D: Du står och slår på åsnan - ser du inte hur illa du gör den?

    A: Skit i det du! Och om du nu trots allt behöver ta upp saken, var inte så negativ, utan berätta istället vad som vore vunnet på att jag slutar piska åsnan!

    D: Åsnan skulle slippa lida!

    A: Meh, pucko, jag skiter väl i åsnan, berätta nu vad JAG skulle tjäna på det!

    D: Snälla, kan du inte bara sluta piska åsnan?

    A, slåendes ännu hårdare: Ser du nu hur det går när du kommer och neggar på det där viset? Jag blir så förbannad!

    Å: Aaaaaaaaaaaj...

tisdag 15 augusti 2017

Bostroms bok nu på svenska

Min entusiasm då jag 2014 recenserade Nick Bostroms då nyutkomna Superintelligence: Paths, Dangers, Strategies kan illustreras med hur jag avslutade recensionen med bedömningen att boken...
    may turn out the most important alarm bell since Rachel Carson's Silent Spring from 1962, or ever.
Därtill hade jag så mycket att säga om boken att det räckte till en lång rad bloggposter utöver själva recensionen, och man kan lugnt konstatera att bortsett från mitt skamlöst envetna propagerande för min egen bok Here Be Dragons så finns ingen annan bok som jag ägnat så mycket uppmärksamhet här på bloggen som Superintelligence. Och jag står fast vid min bedömning att den är viktig.

Nu finns Bostroms bok i svensk översättning med titeln Superintelligens: Vägar, faror, strategier, och jag har nyss fått hem ett exemplar. Jag kan utan större överdrift berömma mig om att behärska bokens argumentation i stort sett utan och innan, och jag vill därför inte lägga tid på att läsa den svenska utgåvan, men jag har gjort några lite slumpartade nedslag i den och finner översättningen vara tillfyllest. I den mån det finns en läsekrets av personer som bryr sig om mänsklighetens framtid, som är beredda att följa tankegångar en bit utanför mainstreamdiskursens snäva box, och som föredrar att läsa på svenska framför engelska, så är detta en värdefull utgivning.

fredag 11 augusti 2017

Om empati och kärnvapen

Titeln på den amerikanske psykologen Paul Blooms senaste bok Against Empathy provocerar, men det är en läsvärd och intressant bok, med en beaktansvärd huvudpoäng som jag tangerat i en tidigare bloggpost: vår empatiska förmåga begränsar sig till inkännande med en eller några få personer åt gången, vilket skapar en bias för just dessa personer - en bias som ofta leder till dåliga beslut när olika intressen behöver vägas mot varandra. Bloom förespråkar en mer rationellt kalkylerande medkänsla. Den unge skotske filosofen William MacAskill är i sin bok Doing Good Better: How Effective Altruism Can Help You Make a Difference (som är ännu bättre än Blooms!) inne på en liknande linje, men han lägger mindre kraft på själva psykologin och mer på att ge råd och anvisningar om vilka beslut som faktiskt är kloka. (Båda dessa utmärkta böcker kom jag att läsa tack vare författarnas medverkan i varsitt avsnitt av Sam Harris podcast Waking Up.)

Blooms betoning av empatins negativa sidor är förståelig med tanke på hur ensidigt empatin prisats genom åren, men frågan är om den mörka bild av empatin han därmed tecknar är riktigt rättvis. Här är ett klassiskt förslag (som känns extra aktuellt just nu med den pågående besinningslösa upptrappningen i retoriken mellan Norkoreas juvenile ledare Kim Jong-Un och USA:s dito Donald Trump) av den amerikanske juridikprofessorn Roger Fisher om hur empatin skulle kunna användas för att åstadkomma bättre beslut i internationella storkonflikter.

Jag gillar Fishers förslag, dock med reservation för att det kanske inte fungerar just i fallet då USA:s president heter Donald Trump.