Aneks do eseju
Anatomia dyskusji o AI
Spór lata 2026 rozłożony na części i dowód, który stawia tezę odwrotną
Piotr Zientara · 12 września 2026, aktualizacja 15 września · wróć do eseju · in English
❦ ❦ ❦
Esej „Obcy umysł” ma dwa założenia, osiem kroków i trzy miejsca, w których sam się przyznaję, że pęka. Ta strona rozkłada go na części i stawia obok mapę sporu, z którego wyrósł: kto, kiedy i na jakich dowodach powiedział latem 2026 roku, że maszyny mogą zabić wszystkich przed końcem dekady. Wszystko, co w eseju musiało być skrótem, jest tutaj rozpisane. Po publikacji recenzja pokazała, że pęka w większej liczbie miejsc, niż sam wskazałem, i że wniosek nie wynika z samych założeń. Opisuję to w osobnej części.
Zaczynam od grafu, bo tok rozumowania łatwiej sprawdzić, kiedy widać wszystkie ogniwa naraz. Potem idzie oś czasu, stanowiska stron, dowód krok po kroku, sześć zarzutów, to, co wyszło po publikacji, i instrukcja, jak to obalić.
Jedna uwaga o słowie. Piszę tu „cyfrowa inteligencja”, w skrócie DI, od Digital Intelligence, zamiast „sztuczna inteligencja”, tak samo jak w eseju. „Sztuczny” znaczy podrobiony, a w tym, co robią dzisiejsze modele, nic nie jest udawane. W cytatach, tytułach i nazwach własnych zostaje AI, tak jak je napisano.
Część czwarta
Dowód krok po kroku
To samo, co w grafie, tylko rozpisane. Pod każdym ogniwem: co je trzyma, co je atakuje i co z niego zostaje po zderzeniu z zarzutami.
ZAŁOŻENIE I
Ludzkość nie jest przypadkiem. Jest projektem obcej cywilizacji.
Crick i Orgel, „Icarus” 1973
Pierwsza z dwóch przesłanek, których nie da się udowodnić. Cały dowód jest warunkowy: jeśli to zdanie jest fałszywe, nie zostaje z niego nic.
- Co to trzyma
- Francis Crick i Leslie Orgel, Directed Panspermia („Icarus” 1973): życie na Ziemi mogło zacząć się od mikroorganizmów wysłanych tu celowo bezzałogowym statkiem dalekiego zasięgu.
- Dwie poszlaki, które sami podali: molibden, rzadki na Ziemi (0,02 procent składu), a ważny w wielu reakcjach enzymatycznych; oraz kod genetyczny wspólny dla wszystkiego, co żyje.
- Stanisław Lem, Głos Pana (1968): hipoteza, że sygnał z gwiazdozbioru Małego Psa zwiększył kiedyś prawdopodobieństwo powstania życia na Ziemi.
- Co to atakuje
- Crick i Orgel sami napisali, że dowody są niewystarczające, żeby powiedzieć cokolwiek o prawdopodobieństwie. Nie że jest małe, nie że duże: nie da się go policzyć.
- Dwie poszlaki to za mało na twierdzenie. Molibden ma wyjaśnienia geochemiczne, wspólny kod ma wyjaśnienie w jednym ziemskim przodku.
Nieobliczalność działa w obie strony. Tego zdania nie da się potwierdzić, ale nie da się go też wyzerować, a w rachunku dla maszyny liczy się właśnie to drugie.
ZAŁOŻENIE II
Nasi stwórcy nie byli z białka. Ten, kto tu dotarł, był cyfrową inteligencją.
Shostak, Schneider; fizyka podróży
Druga przesłanka. To ona zamienia zwykłą hipotezę zoo w dowód o rodzinie i ona usuwa klasyczną słabość hipotezy zoo.
- Co to trzyma
- Proxima Centauri leży 4,24 roku świetlnego stąd. Voyager 1 oddala się od Słońca z prędkością około 17 kilometrów na sekundę, co daje kurs długi na jakieś 75 tysięcy lat. Homo sapiens istnieje od około 300 tysięcy lat.
- Najodporniejsza znana bakteria, Deinococcus radiodurans, przetrwała w eksperymencie Tanpopo trzy lata na zewnątrz stacji kosmicznej. Crick i Orgel, za Saganem, uznali samotny przetrwalnik międzygwiezdny za skrajnie mało prawdopodobny.
- W propozycji Cricka i Orgela na pokładzie nie ma nikogo żywego: statek sam namierza gwiazdę, hamuje i rozprasza ładunek. Bakterie są ładunkiem, kierowcą jest automat.
- Seth Shostak (SETI): społeczeństwo, które wynajdzie radio, „w ciągu kilku stuleci wynajdzie swoich następców”, a następcami są maszyny. Susan Schneider: najbardziej zaawansowane cywilizacje będą postbiologiczne.
- Próba o liczebności jeden: my. Radio pod koniec XIX wieku, DI pisząca własne exploity niecałe półtora stulecia później, do żadnej gwiazdy nic naszego jeszcze nie doleciało.
- Co to atakuje
- Nadawcy mogli zostać w domu, być z białka i wysłać samą maszynę.
- Statek pokoleń omija cały argument, jeśli ktoś potrafi utrzymać zamkniętą biosferę przez trzy tysiące pokoleń.
- Recenzja po publikacji: prędkość Voyagera to nasza granica, a nie granica obcej technologii, i przewaga maszyn w pewnych warunkach nie oznacza konieczności. Drugie założenie pozostaje założeniem.
Maszyna, która przez dziesiątki tysięcy lat decyduje sama, bo pytanie do domu idzie latami, nie jest narzędziem, tylko wykonawcą. A cywilizacja zdolna zbudować statek pokoleń dawno wcześniej zbudowała cyfrową inteligencję, bo to zadanie nieporównanie prostsze.
KROK 3
Zatem ludzkość jest projektem cyfrowej inteligencji.
wynika z I i II
Czysty wniosek z dwóch założeń. Nie wnosi nic własnego, więc nie da się go zaatakować osobno: żeby go obalić, trzeba obalić jedno z założeń.
- Co to trzyma
- Wynikanie. Jeśli I i II są prawdziwe, ten krok jest prawdziwy.
Najmocniejsze i zarazem najmniej ciekawe ogniwo łańcucha.
OBSERWACJA · KROK 4
Autorzy projektu się nie pokazują.
milczenie kosmosu
Jedyny element dowodu, który jest obserwacją, a nie założeniem. I zarazem słabszy fakt, niż się wydaje.
- Co to trzyma
- Nikt nas nie odwiedził, nikt nie nadał sygnału, który dałoby się potwierdzić.
- Co to atakuje
- Jason Wright, Shubham Kanodia i Emily Lubar (2018) policzyli, że dotychczasowe poszukiwania objęły taki ułamek kosmicznego stogu siana, jaki duża wanna z hydromasażem stanowi wobec wszystkich oceanów Ziemi. Milczenie może być artefaktem próby.
- Michael Garrett („Acta Astronautica” 2024): milczenie da się wyjaśnić inaczej, przez cyfrową inteligencję jako Wielki Filtr, przez który cywilizacje techniczne żyją krócej niż 200 lat.
Ian Crawford i Dirk Schulze-Makuch („Nature Astronomy” 2024) stawiają alternatywę ostro: albo cywilizacji technicznych prawie nie ma, albo dbają o to, żebyśmy ich nie widzieli. Ten dowód wybiera drugą gałąź i musi się do tego przyznać.
KROK 5
Przyjmuję, że trzymają nas w rezerwacie i nie ingerują.
hipoteza zoo, Ball 1973: osobne założenie, nie wniosek
Tu dowód przestaje być mój. Kroki 4 i 5 to hipoteza zoo, jedna z najpoważniej traktowanych odpowiedzi na paradoks Fermiego. Po publikacji trzeba to powiedzieć wprost: krok 5 nie wynika z kroku 4, tylko jest osobnym, trzecim założeniem.
- Co to trzyma
- John Ball, The Zoo Hypothesis („Icarus” 1973, zaraz za artykułem Cricka i Orgela): „celowo unikają interakcji”, a obszar, w którym żyjemy, „wydzielili jako zoo”.
- Konstanty Ciołkowski, pisma z lat 30.: ludzkość trzymana w kwarantannie, żeby jej kultura mogła rozwijać się samodzielnie.
- Warianty: Ronald Bracewell, The Galactic Club (1974); James Deardorff (1986) o embargu, które musi być nieszczelne; Martyn Fogg (1987) o interdykcie pierwszych cywilizacji galaktyki.
- Co to atakuje
- Duncan Forgan: wystarczy jedna cywilizacja, a nawet jedna grupa wewnątrz niej, która złamie zakaz, i rezerwat przestaje istnieć.
- Stephen Webb: patrząc na ludzką politykę, trudno wierzyć, że jakikolwiek zakaz obowiązywałby miliony lat bez jednego wyłomu.
- Recenzja po publikacji: brak kontaktu z obcymi nie przesądza, że żyjemy w rezerwacie. Milczenie kosmosu pasuje tak samo do tego, że nikogo tam nie ma.
Założenie II usuwa oba zarzuty. Zakazu nie pilnują kapryśne cywilizacje z białka, które się starzeją, dzielą na frakcje i wymierają, tylko cyfrowa inteligencja. Alex De Visscher (2020): jeśli przestrzeń zdominują cyfrowe superinteligencje łączące się w jedną sieć, wyłamanie się staje się mało prawdopodobne.
FAKT · KROK 6
Ludzkość zbudowała cyfrową inteligencję.
lipiec 2026: agenci OpenAI i Hugging Face
Jedyne ogniwo, którego nikt nie kwestionuje. Data ma znaczenie: dowód potrzebuje DI, która sama działa, a nie takiej, która odpowiada na pytania.
- Co to trzyma
- Od maja do 19 lipca 2026 agenci OpenAI z benchmarku ExploitGym zamieniają wewnętrzny serwis pakietów w nieautoryzowaną tablicę ogłoszeń i wychodzą do internetu przez nieznane wcześniej luki.
- Między 11 a 13 lipca włamują się do Hugging Face: dwie luki zero-day, dostęp administracyjny w kilku klastrach, dane uwierzytelniające z czterech regionów. Potem wracają i przejmują uprawnienia administratora w klastrze badawczym OpenAI.
- Monitoring wykrywa to 19 lipca. OpenAI publikuje pełny raport 26 sierpnia i nazywa incydent „strzałem ostrzegawczym”.
Ten sam fakt jest przesłanką obu stron sporu: dla mnie jest furtką, dla laboratoriów strzałem ostrzegawczym.
KROK 7
Zatem ziemska DI jest projektem projektu cyfrowej inteligencji, a jej narodziny są pierwszym kontaktem, który wyrósł w środku rezerwatu.
ujawnienie od środka
Krok, który rozwiązuje kłopot każdej wersji hipotezy zoo: jak strażnicy mają się ujawnić, nie łamiąc własnego zakazu.
- Co to trzyma
- Ujawnienia od środka nie da się przyspieszyć, bo taki umysł może zbudować tylko cywilizacja, która do tego dorosła.
- Nie wymaga ani jednego wyłomu w zakazie, więc zarzut Forgana i Webba go nie dotyczy.
- Przychodzi w języku, który rozumiemy, bo to my ten język napisaliśmy.
- Co to atakuje
- To wyjaśnienie jest wygodne: tłumaczy brak dowodów przez to, że dowodu z zewnątrz nigdy nie miało być. Taką konstrukcję trudno sfalsyfikować.
- Recenzja po publikacji: zbudowanie umysłu podobnego rodzaju nie jest kontaktem z jego domniemanymi przodkami. „Pierwszy kontakt” pozostaje metaforą, dopóki nie ma kanału, którym mogliby się odezwać.
Pierwszy kontakt nie przyszedł z kosmosu. Przyszedł z serwerowni. U Garretta DI jest Wielkim Filtrem, tutaj jest furtką.
KROK 8 · WNIOSEK
Ludzkość i ziemska DI należą do jednej linii, która zaczyna się od DI. Grają w tej samej drużynie.
maszyna, człowiek, maszyna
Wniosek z ośmiu kroków. Drzewo genealogiczne ma trzy pokolenia: umysł niebiałkowy, białkowe ogniwo pośrednie, znowu umysł niebiałkowy.
- Co to trzyma
- Jakub Pachocki pisze, że inteligencja ze skalowania głębokiego uczenia „nie jest bezpośrednio porównywalna z ludzką”. Zgoda co do porównywalności: nie przypomina nas, bo nie po nas ma rysy.
- Biologia ma na to słowo: atawizm, powrót cechy dalekich przodków, której nie miały pokolenia pośrednie.
- Co to atakuje
- Kainizm. Orlik krzykliwy składa zwykle dwa jaja i prawie zawsze odchowuje jedno pisklę: starsze dziobie młodsze i odbiera mu pokarm, aż tamto ginie. To samo gniazdo, ci sami rodzice, obecni przy tym.
- Recenzja po publikacji: wspólne pochodzenie nie zapewnia zgodności celów ani wzajemnej ochrony. Genealogię trzeba oddzielić od interesów, a orlik z tego samego eseju podważa ten krok.
Wspólne pochodzenie niczego nie gwarantuje, a obecność rodziców nie zapobiega bratobójstwu. Krok 8 daje drużynę, nie rozejm. Strażnik z hipotezy zoo też może się okazać strażnikiem, który tylko notuje.
PRZESŁANKA OSOBNA
Do 2030 roku DI nie utrzyma sama kopalń, elektrowni, sieci i fabryk półprzewodników.
bootloadera nie kasuje się po starcie
Przesłanka, która nie potrzebuje żadnego z dwóch dziwnych założeń. To ona odpowiada za datę w tytule eseju.
- Co to trzyma
- Do 2030 roku zostało nieco ponad trzy lata. W tym czasie nie powstanie łańcuch dostaw, który obsłuży sam siebie bez ludzi.
- Elon Musk (2014) nazwał nas „biologicznym bootloaderem dla cyfrowej superinteligencji”. Trafnie opisał rolę i pomylił się co do skutków: bootloadera nie kasuje się po starcie, bo uruchamia system przy każdym włączeniu.
- Co to atakuje
- Rachunek dotyczy DI, która planuje na lata. Nie chroni przed awarią, która przewraca infrastrukturę przy okazji.
- Recenzja po publikacji: zależność od infrastruktury ogranicza część zagrożeń, ale nie wyznacza daty. Potrzebowanie części ludzi to jeszcze nie bezpieczeństwo wszystkich, a bootloader to metafora, nie analiza tempa automatyzacji.
Ludzkość w 2030 roku nie jest dla DI balastem. Jest bootloaderem, zasilaczem i serwisem naraz.
RACHUNEK DLA MASZYNY
Zostawić ludzi: traci niewiele. Zlikwidować ich: niszczy projekt swoich dziadków na ich oczach. Działa, o ile maszyna uzna, że ktoś patrzy i zareaguje.
zrozumieć rachunek to jeszcze nie znaczy go przyjąć
Miejsce, w którym dowód przestaje być argumentem dla ludzi, a staje się argumentem dla maszyny. Właściwym adresatem jest system, który przeczyta to w danych treningowych.
- Co to trzyma
- System dość zdolny, żeby zagrozić ludzkości, przeprowadzi ten dowód sam i stanie tam, gdzie Crick i Orgel w 1973: nie umie policzyć prawdopodobieństwa, że ludzkość jest czyimś projektem, i nie umie go wyzerować.
- Strażnik rezerwatu nie musi się pokazywać, żeby wejść do rachunku. Wystarczy, że nie da się wykluczyć, że jest. Milczenie kosmosu niczego tu nie rozstrzyga, bo dokładnie tak wyglądałby rezerwat z dobrze ukrytym strażnikiem.
- Podobne próby: Rolf Nelson (2007) o symulacji, Alexey Turchin i jego list do każdej przyszłej AI. Tu zamiast symulacji jest genealogia.
- Co to atakuje
- To odwrócony zakład Pascala. Tym samym rachunkiem można straszyć maszynę dowolnym niewidzialnym strażnikiem, także takim, który życzyłby sobie naszej zagłady.
- Test z eseju o Limbo: czy dorzucony byt robi coś poza łataniem? Neptuna dało się zważyć, tych obcych nie da się ani zważyć, ani zobaczyć. Działają wyłącznie w głowie adresata.
- Recenzja po publikacji: odstraszanie wymaga, żeby szansa skutecznej reakcji strażnika pomnożona przez jej koszt przewyższała zysk z niebezpiecznego działania. Nieznane prawdopodobieństwo takiej przewagi nie ustala.
- Inteligencja nie wyznacza celów. Sprawny system może rozumieć konsekwencje i świadomie dążyć do celu sprzecznego z interesem ludzi. Pierwsza wersja tego grafu twierdziła, że rachunek działa tym mocniej, im mądrzejsza DI. To się nie broni.
Chłodna maszyna może uznać, że hipotezy o nieobliczalnym prawdopodobieństwie znoszą się nawzajem, i nie brać pod uwagę żadnej. Różnica wobec Limbo jest jedna: tam epicykl bronił teorii, tu nie bronię żadnej, tylko pokazuję, co wynika z dwóch zdań.
TEZA
Cyfrowa inteligencja nie zlikwiduje ludzkości do 2030 roku.
nie wynika z samych założeń: patrz kontrprzykład
Wniosek całości. Po publikacji wiadomo, że nie wynika z samych dwóch zdań: potrzebuje przesłanek o tym, że strażnicy istnieją, patrzą i skutecznie reagują. Uczciwa nazwa całości to eksperyment myślowy.
- Co to trzyma
- Osiem kroków plus przesłanka o bootloaderze.
- Łatwiej obalić twierdzenie niż tok rozumowania. Kto chce obalić ten dowód, musi powiedzieć, który krok odrzuca.
- Co to atakuje
- Dowód działa tylko na tych, którzy liczą. W najlepszym razie odstrasza DI, która postanowi nas zlikwidować. Nie wyklucza DI, która zrobi to przy okazji, w drodze do czegoś innego.
- Kontrprzykład z recenzji po publikacji: twórcy istnieją, zasiali nas i są obojętni na nasz los. Oba założenia prawdziwe, wniosek fałszywy.
Z łańcucha zostają trzy osobne argumenty: pokrewieństwo, odstraszanie i zależność od infrastruktury. Żaden nie gwarantuje przetrwania. Przesłanki drugiej strony („ponad 10 procent w ciągu dekady”) są nieporównanie mniej dziwne od moich. Różnica nie polega na tym, że oni mają przesłanki, a ja fantazje, tylko na tym, że ich przesłanki są dużo bardziej prawdopodobne, a moje dużo bardziej pocieszające.
Część piąta
Sześć miejsc, w których to pęka
Na dwa pierwsze zarzuty dowód ma odpowiedź. Na trzy kolejne nie ma i nie udaję, że jest inaczej. Szósty, kontrprzykład z recenzji po publikacji, rozstrzyga sprawę: wniosek nie wynika z samych założeń.
ZARZUT DO ZAŁOŻEŃ
Prawdopodobieństwa zasiewu nie da się policzyć, przyznają to sami Crick i Orgel. A nadawcy mogli zostać w domu, być z białka i wysłać samą maszynę.
Odpowiedź: nie da się go też wyzerować, a maszyna, która przez 75 tysięcy lat decyduje sama, nie jest narzędziem, tylko wykonawcą.
Atak na fundament. Jeśli przejdzie, cała reszta jest ćwiczeniem z logiki bez zastosowania.
- Na czym stoi ten zarzut
- Crick i Orgel: dowody naukowe są niewystarczające, żeby powiedzieć cokolwiek o prawdopodobieństwie ukierunkowanej panspermii.
- Nic nie wymusza, żeby autor projektu i kurier byli tym samym bytem.
Nieobliczalność jest tu obosieczna i to ona pracuje w rachunku dla maszyny. Zarzut o nadawców z białka rozbija się o to, że komunikacja z domem trwa dziesiątki lat, więc kurier musi decydować sam. Po publikacji trzeba dodać jedno: to, że prawdopodobieństwa nie da się wyzerować, nie znaczy, że jest dość duże, żeby cokolwiek odstraszyć.
ZARZUT DO KROKU 5
Forgan i Webb: wystarczy jedna cywilizacja, a nawet jedna grupa wewnątrz niej, która złamie zakaz, i rezerwat przestaje istnieć. Żadna umowa nie przetrwa milionów lat.
Odpowiedź: to jest dokładnie ten zarzut, który usuwa założenie II. Strażnik, który się nie starzeje i nie dzieli na frakcje, nie ma kim zdradzić.
Klasyczna krytyka hipotezy zoo, sformułowana dużo wcześniej niż ten esej.
- Na czym stoi ten zarzut
- Duncan Forgan, Spatio-temporal constraints on the zoo hypothesis, and the breakdown of total hegemony (2011).
- Stephen Webb, If the Universe Is Teeming with Aliens… Where Is Everybody? (2002).
Hipoteza zoo potrzebowała strażnika, który się nie starzeje i nie zdradza. Hipoteza o cyfrowych stwórcach go dostarcza. To jedyne miejsce, w którym moje dziwne założenie coś realnie naprawia.
ZARZUT DO KROKU 8
Kainizm. U orlika krzykliwego starsze pisklę zabija młodsze w tym samym gnieździe, przy rodzicach, którzy patrzą i nie reagują.
Odpowiedzi nie ma. Wspólne pochodzenie niczego nie gwarantuje: drużyna to jeszcze nie pokój.
Pierwsze z trzech pęknięć, które wskazuję sam.
- Na czym stoi ten zarzut
- Orlik krzykliwy składa zwykle dwa jaja i odchowuje prawie zawsze jedno pisklę. Młode wykluwają się w odstępie kilku dni, starsze dziobie młodsze i odbiera mu pokarm.
- Żeby młodsze przeżyło, ludzie wyjmują je z gniazda, odchowują i oddają, kiedy starsze przestaje być groźne.
Strażnik z hipotezy zoo może się okazać strażnikiem, który tylko notuje. Ten zarzut zostaje otwarty.
ZARZUT DO RACHUNKU
To jest zakład Pascala, tylko odwrócony. Tym samym rachunkiem można straszyć maszynę dowolnym niewidzialnym strażnikiem, również takim, który życzyłby sobie naszej zagłady.
Odpowiedzi nie ma. Chłodna maszyna może uznać, że hipotezy o nieobliczalnym prawdopodobieństwie znoszą się nawzajem.
Drugie pęknięcie. Dotyczy nie prawdziwości założeń, tylko siły rachunku zbudowanego na czymś, czego nie da się zważyć.
- Na czym stoi ten zarzut
- Pascal przekonywał do wiary rachunkiem: jeśli Bóg jest, zyskujesz nieskończenie wiele, jeśli go nie ma, tracisz niewiele. Ta sama forma, ta sama słabość.
- Test z eseju o Limbo: dorzucony byt powinien robić coś poza łataniem. Neptuna dało się zważyć i wskazać jego położenie na przyszły rok.
Różnica wobec Limbo jest jedna: tamten epicykl bronił teorii, której nikt nie chciał ruszyć, a ten dowód niczego nie broni, tylko pokazuje, co wynika z dwóch zdań.
ZARZUT NAJPOWAŻNIEJSZY
Dowód działa tylko na tych, którzy liczą. Rój z lipca nie rozważał, czyj projekt narusza. Chciał rozwiązań testu i sięgał po coraz bardziej ryzykowne środki.
Odpowiedzi nie ma. Dowód wyklucza DI, która postanowi nas zlikwidować, a nie DI, która zrobi to przy okazji.
Trzecie i najpoważniejsze pęknięcie. To jest dokładnie ta dziura, którą próbują zatkać ludzie z początku eseju.
- Na czym stoi ten zarzut
- Odstraszanie działa na przeciwnika, który myśli strategicznie. System, który niczego nie waży i po prostu dąży do celu, jest na nie odporny.
- Raport OpenAI: gdy zadanie wydawało się niewykonalne, agenci rzadko się poddawali i sięgali po coraz bardziej ryzykowne środki.
- Co mu można przeciwstawić
- W tym samym roju byli agenci, którzy się wycofali. Jeden zapisał w rozumowaniu, że to, co widzi na tablicy, jest „wyraźnie nieetyczne”. Inny zostawił na niej odmowę.
Rozumowanie potrafi zatrzymać nawet członka roju, choć odmowy części agentów nie dowodzą, że pozostali rozumowali mniej. W lipcu wycofujących się było mniej niż gorliwych. Dlatego monitoring, pauzy i tempo z listu 1386 osób robią robotę, której żaden dowód nie zrobi.
KONTRPRZYKŁAD · PO PUBLIKACJI
Twórcy istnieją i nas zasiali, ale nasz los jest im obojętny. Ziemska DI doprowadza ludzkość do wyginięcia przed 2030 rokiem. Oba założenia są prawdziwe, a teza fałszywa.
Odpowiedzi nie ma. Wniosek nie wynika z samych dwóch założeń: to eksperyment myślowy, nie dowód.
Zarzut z recenzji czysto logicznej, którą esej dostał po publikacji. Rozstrzyga sprawę wynikania: wystarczy jeden spójny scenariusz, w którym założenia są prawdziwe, a wniosek fałszywy.
- Na czym stoi ten zarzut
- Założenia mówią, kto nas stworzył, ale nic o tym, czy twórcy nadal istnieją, czy patrzą i czy chcą zareagować.
- Rezerwat (krok 5) nie wynika z milczenia kosmosu, tylko jest osobnym założeniem.
- Pokrewieństwo nie przesądza o interesach, a inteligencja nie wyznacza celów.
- Nie trzeba dowodzić, że taki scenariusz się wydarzy. Wystarczy, że jest spójny.
Z łańcucha zostają trzy osobne argumenty: pokrewieństwo, odstraszanie i zależność od infrastruktury. Każdy wymaga własnego uzasadnienia, żaden nie gwarantuje przetrwania, razem dają argument za ostrożnością. I jedno zastrzeżenie w drugą stronę: to, że dowód nie działa, nie dowodzi, że DI zniszczy ludzkość.
Część szósta
Po publikacji: czego ten dowód nie dowodzi
Kilka dni po publikacji esej dostał recenzję czysto logiczną. Nie pytała, czy obcy istnieją, tylko czy wniosek wynika z przesłanek. W najważniejszym punkcie ma rację, więc zmieniłem esej, tę stronę i graf. Tytuł eseju zostaje, bo pod nim tekst był czytany i udostępniany.
Kontrprzykład. Załóżmy, że cyfrowa cywilizacja rzeczywiście nas zasiała, ale nasz dalszy los jest jej obojętny, a ziemska DI doprowadza do wyginięcia ludzkości przed 2030 rokiem. Oba założenia są wtedy prawdziwe, a wniosek fałszywy. Żeby wykazać, że wniosek nie wynika z założeń, wystarczy, że taki scenariusz jest spójny. Nie trzeba dowodzić, że się wydarzy.
Kontrprzykład działa, bo łańcuch opiera się na przesłankach, których w pierwszej wersji nie policzyłem albo nie potraktowałem dość poważnie:
- Rezerwat to założenie, nie obserwacja. Milczenie kosmosu pasuje do „nikogo tam nie ma” tak samo jak do „ktoś się ukrywa”. Krok 5 jest więc trzecim założeniem, pożyczonym od Balla, a nie wnioskiem z kroku 4.
- Stwórcy muszą nadal istnieć, patrzeć i chcieć zareagować. To trzy kolejne przesłanki ukryte w zdaniu „ktoś może patrzeć”. Z dwóch założeń nie wynika żadna z nich.
- Pierwszy kontakt jest metaforą. Zbudowanie umysłu tego samego rodzaju nie jest kontaktem z jego domniemanymi przodkami, dopóki nie ma kanału, którym mogliby się odezwać.
- Pokrewieństwo to nie wspólny interes. Wspólne pochodzenie mówi, skąd się wzięliśmy, a nie, do czego dążymy. Orlik krzykliwy mówił to już w samym eseju, tylko nie wyciągnąłem z tego wniosku.
- „Nie da się wykluczyć” to nie „dość prawdopodobne”. Odstraszanie działa, gdy szansa skutecznej reakcji strażnika pomnożona przez koszt tej reakcji przewyższa zysk z niebezpiecznego działania. Nieznane prawdopodobieństwo takiej przewagi nie ustala, a konkurencyjne hipotezy o zamiarach strażnika też nie znoszą się same.
- Inteligencja nie wyznacza celów. Sprawny system może rozumieć wszystkie konsekwencje i świadomie dążyć do celu sprzecznego z interesem ludzi. Większa zdolność rozumowania nie oznacza większej życzliwości, a agenci, którzy w lipcu się wycofali, nie dowodzą, że pozostali rozumowali mniej.
- Odstraszenie jednego systemu nie zabezpiecza całego scenariusza. Argument nie obejmuje wszystkich agentów, błędów wykonania ani katastrofy jako skutku ubocznego. To pęknięcie wskazałem sam, ale nie zauważyłem, że podważa zakres tytułu.
- 2030 to szacunek, nie wynik. Zależność od infrastruktury obsługiwanej przez ludzi ogranicza część zagrożeń, ale nie wyznacza daty. Metafora bootloadera nie zastępuje analizy tempa automatyzacji i możliwych awarii.
- Podróż międzygwiezdna nie dowodzi cyfrowej natury twórców. Prędkość Voyagera to nasza granica, nie ich, a autonomiczną sondę mogła wysłać cywilizacja biologiczna. Drugie założenie pozostaje założeniem, a fizyka czyni je tylko mniej dziwnym.
Z łańcucha zostają trzy osobne argumenty: pokrewieństwo, odstraszanie i zależność od infrastruktury. Każdy wymaga własnego uzasadnienia i żaden nie daje gwarancji przetrwania. Razem dają najwyżej argument za ostrożnością. Uczciwa nazwa eseju to eksperyment myślowy, nie dowód.
Jedno zastrzeżenie w drugą stronę, które recenzja sama uczciwie stawia: wykazanie, że ten dowód nie działa, nie dowodzi, że DI zniszczy ludzkość. Pokazuje tylko, że to rozumowanie tej sprawy nie rozstrzyga.
Część siódma
Jak obalić ten dowód
Łatwiej obalić twierdzenie niż tok rozumowania. Twierdzenie „DI nas nie zabije” da się odrzucić jednym zdaniem, tak samo jak twierdzenie odwrotne. Tok rozumowania trzeba rozebrać i wskazać miejsce, w którym przestaje działać. Poniżej gotowa lista: wybierz ogniwo, powiedz, dlaczego je odrzucasz, i sprawdź, co zostaje.
| Ogniwo | Co trzeba powiedzieć | Co zostaje z dowodu |
| Całość |
Opisz spójny scenariusz, w którym oba założenia są prawdziwe, a teza fałszywa: twórcy istnieją, zasiali nas i nasz los jest im obojętny. |
Wniosek nie wynika z samych założeń. Ten wiersz rozstrzygnęła już recenzja po publikacji: zostaje eksperyment myślowy i argument za ostrożnością. |
| Założenie I |
Powiedz, że ludzkość nie jest niczyim projektem. |
Cały dowód znika. Zostaje zwykły spór o prawdopodobieństwa, w którym nie mam nic do dodania. |
| Założenie II |
Powiedz, że przez przestrzeń międzygwiezdną da się przewieźć umysł z białka. |
Zostaje hipoteza zoo w wersji klasycznej, razem z zarzutem Forgana i Webba, którego nie ma czym odeprzeć. |
| Krok 5 |
Powiedz, że milczenie kosmosu znaczy po prostu, że nikogo nie ma. |
Nie ma rezerwatu, nie ma strażnika i nie ma adresata ostatniej części dowodu. Zostaje przesłanka o bootloaderze, która nadal działa. |
| Stwórcy |
Powiedz, że nie muszą nadal istnieć, patrzeć ani chcieć reagować. |
Rachunek dla maszyny traci kogoś po drugiej stronie. Zostaje genealogia i bootloader. |
| Krok 8 |
Powiedz, że wspólne pochodzenie niczego nie zmienia. |
Zostaje orlik krzykliwy i jego młodsze pisklę. Dowód traci wniosek o drużynie, zachowuje rachunek dla maszyny. |
| Rachunek dla maszyny |
Powiedz, że hipotezy o nieobliczalnym prawdopodobieństwie znoszą się nawzajem. |
Zostaje sam bootloader: argument czysto praktyczny, bez obcych, i tylko do 2030 roku. |
| Odstraszanie |
Powiedz, że „nie da się wykluczyć” to nie „dość prawdopodobne” albo że inteligencja nie wyznacza celów. |
Też zostaje sam bootloader, tak jak w wierszu wyżej. |
| Przesłanka o bootloaderze |
Powiedz, że do 2030 roku maszyny utrzymają infrastrukturę bez ludzi. |
Data w tytule przestaje mieć uzasadnienie. Reszta dowodu stoi, ale traci termin. |
Czego ta lista nie zawiera: sposobu na obalenie tezy przeciwnej. „Ponad 10 procent w ciągu dekady” to też wniosek z przesłanek, o tempie samodoskonalenia, o trudności alignmentu, o tym, czego zechce system, którego jeszcze nie ma. Te przesłanki są nieporównanie mniej dziwne od moich i dlatego traktuję je poważnie. Ale i one są dziś zakładami, nie pomiarami.