Tulevaisuuden kehityskaari voi pian olla kiveen hakattu. Uudessa tutkimuksessa tarkastelen mekanismeja, joiden avulla pitkän aikavälin tulevaisuuden kulku voisi määräytyä elinaikanamme. Näitä ovat AGI:n pakottamien instituutioiden luominen, maailmanlaajuinen vallan keskittyminen, avaruuden laajalle levinnyt asuttaminen, ensimmäiset kuolemattomat olennot, uusien olentojen laajalle levinnyt suunnittelu ja kyky muokata itseään merkittävillä ja kestävillä tavoilla. En ole kovin varma, että tällaisia tapahtumia tapahtuu, mutta mielestäni ne ovat todennäköisesti tarpeeksi arvokkaita, jotta työ niiden ohjaamiseksi parempiin suuntiin on erittäin arvokasta. Otetaan kukin mekanismi vuorotellen. Ensinnäkin AGI-pohjaiset laitokset. Kun AGI on käytössä, päätöksentekijät voivat: - Perustaa instituutio ja yhdenmukaistaa AGI niin, että se ymmärtää perustuslain ja asettaa sen toimeenpanon tavoitteekseen. - Anna AGI:lle kyky valvoa perustuslakia. - Säilytä kopiot AGI:n hermopainoista useissa paikoissa, jotta voit vähentää minkä tahansa kopion tuhoutumisriskiä. - Lataa alkuperäinen perustuslaillinen AGI uudelleen tarkistaaksesi, että kaikki AGI:t, joiden tehtävänä on varmistaa perustuslain noudattaminen, noudattavat alkuperäisiä tavoitteitaan, kun AGI:t oppivat ja päivittävät hermopainonsa ajan myötä. Se olisi ikään kuin sen sijaan, että korkein oikeus tulkitsisi Yhdysvaltain perustuslakia, voisimme loihtia esiin Madisonin ja Hamiltonin haamut ja kysyä heiltä suoraan - ja heidän näkemyksensä olivat ratkaisevia. Kun nämä ovat paikallaan, tämä AGI:n toimeenpanema perustuslaki voisi toimia loputtomiin. Toiseksi, kuolemattomuus. Kautta historian kuolema on toiminut luonnollisena jarruna minkä tahansa tietyn arvojoukon tai valtarakenteen pysyvyydelle. Ajan myötä vakiintuneimmatkin arvot muuttuvat lopulta, kun uudet sukupolvet korvaavat vanhat. AGI:n jälkeinen tekniikka voi muuttaa tätä dynamiikkaa perusteellisesti. Digitaaliset olennot olisivat luonnostaan immuuneja biologiselle ikääntymiselle; Yhdistettynä täydelliseen replikointiin ja laitteiston siirtoon pystymme luomaan mieliä, joiden tarkat arvot ja päätöksentekoprosessit voivat säilyä muuttumattomina loputtomiin. Samanlainen dynamiikka voisi päteä biologiseen kuolemattomuuteen. AGI:n ajama teknologinen räjähdys voisi dramaattisesti pidentää tai tehokkaasti poistaa ihmisen eliniän biologisia rajoituksia ikääntymisen perusmekanismeihin kohdistuvien teknologioiden avulla. Kolmanneksi, olentojen suunnittelu. Historian aikana muutos on tapahtunut osittain siksi, että peräkkäiset sukupolvet eivät peri samoja arvoja kuin esi-isänsä. Mutta tämä dynamiikka voi muuttua AGI:n jälkeen. Luultavasti suurin osa luomistamme olennoista on tekoälyä, ja ne ovat suunnittelun tuotteita – voimme valita, mitä mieltymyksiä heillä on. Ja riittävällä teknologisella kyvyllä pystyisimme todennäköisesti valitsemaan myös biologisten jälkeläistemme mieltymykset. Vaikka ihmiset päättäisivät olla elämättä ikuisesti, heidän arvonsa voivat säilyä täydellisen sukupolvelta toiselle siirtymisen kautta. Neljänneksi, vahva itsensä muokkaaminen. Tulevaisuudessa ihmiset voivat luultavasti muokata omia uskomuksiaan ja mieltymyksiään niin, että he voivat valita tarkasti, mitä uskomuksia ja mieltymyksiä heillä on. Joten nykyiset ihmiset eivät vain pysty hallitsemaan yhteiskunnan tulevia arvoja elämällä ikuisesti; he pystyisivät myös hallitsemaan tulevan itsensä arvoja. Uskonnollinen kiihkoilija voi halutessaan olla horjumattoman varma siitä, että hänen suosimansa uskonto on totta; Ideologinen ääriliike voi valita peruuttamattoman ja horjumattoman etusijan poliittiselle puolueelleen minkä tahansa muun kustannuksella. Sen lisäksi, että luodaan uusia mekanismeja, jotka mahdollistavat jatkuvan polkuriippuvuuden, AGI:n jälkeinen maailma voisi myös vähentää häiriöiden syitä. Kautta historian yhteiskunnallisia muutoksia ovat usein ajaneet teknologiset innovaatiot, jotka häiritsevät olemassa olevia valtarakenteita. Kuitenkin, kun sivilisaatio lähestyy teknologista kypsyyttä – hypoteettista pistettä, jossa kaikki tärkeimmät teknologiat on keksitty – tämä häiriön lähde katoaisi. Kehittynyt teknologia auttaisi estämään myös muunlaisia häiriöitä. Se parantaisi dramaattisesti ennustekykyä: kehittyneet tekoälyjärjestelmät voisivat käsitellä huomattavasti enemmän tietoa, mallintaa monimutkaisia järjestelmiä tarkemmin ja ennustaa tuloksia pidemmällä aikavälillä. Joten olisi paljon epätodennäköisempää, että ihmiset luopuisivat vaikutusvallastaan vain tekemällä jonkin virheen. Lopuksi, AGI:n jälkeiselle maailmalle voisi olla ominaista määrittelemätön puolustusvalta, joka mahdollistaa pysyvästi vakaan vallan keskittymisen. Erityisesti määrittelemätön puolustusvalta voi syntyä laajalle levinneen avaruusasutuksen seurauksena. Jos tähtijärjestelmät ovat vahvasti puolustusvaltaisia, tähtijärjestelmien alkujakaumaa voitaisiin periaatteessa pitää kiinni loputtomiin. Voi olla, että alkuperäisen allokoinnin jälkeen käydään kauppaa tai lahjoitetaan joitakin tähtijärjestelmiä; Mutta vaikka olisikin, polkuriippuvuus olisi silti erittäin vahvaa, koska tähtijärjestelmien lopulliseen allokaatioon vaikuttaisi suuresti lähtöallokaatio. Nämä ongelmat saattavat tuntua kaukaisilta huolenaiheilta - mutta tiedustelu ja teollisuuden räjähdykset tekevät niistä lyhyen aikavälin huolenaiheita. Luulen, että yli yksi kolmesta näkee älykkyysräjähdyksen, joka alkaa seuraavan 10 vuoden aikana. Ja jos kehittynyt tekoäly johtaa räjähdysmäiseen teknologiseen kehitykseen ja teolliseen laajentumiseen, monet uusista pysyvyyden mekanismeista saapuvat nopeasti peräkkäin.

Paperi täällä: