AI předvídá, co by Stanislaw Lem řekl o AI

Velmi zjednodušeně: Lem by nebyl překvapen – ale byl by hluboce znepokojen způsobem, jakým AI vzniká, používá se a chápe.

Ve Summě Technologiae (1964) Lem rozebírá několik klíčových konceptů, které jsou pro dnešní LLM až zarážejícím způsobem relevantní. Uvedu ty nejdůležitější a vztáhnu je k dnešní situaci.

1. Lem předvídal, že vzniknou „napodobeniny rozumu“

Lem opakovaně zdůrazňuje, že:

inteligentní chování ≠ skutečné porozumění

Přesně to jsou dnešní LLM. On by je považoval za simulátory inteligence, nikoli inteligenci samotnou. Popsal by je jako:

• statistické aparáty na produkci smysluplně vypadajících výroků

• systémy bez vnitřního modelu světa

• entity bez epistemického zakotvení (neví, proč něco říkají)

LLM jsou v Lemových termínech blízké tomu, co nazýval „imitologií“ – vědou o napodobování procesů bez jejich pochopení.

Pravděpodobně by řekl něco jako:

Vytvořili jste stroj, který mluví jako člověk, aniž by věděl, co je řeč. A nyní jste překvapeni, že mu věříte.

2. Kritika slepé technologické akcelerace

Lem byl extrémně skeptický vůči technologiím, které se vyvíjejí rychleji, než jim rozumíme. V Summě opakovaně varuje před tím, co bychom dnes nazvali:

• emergentními riziky

• neintuitivními vedlejšími efekty

• ztrátou kontroly nad komplexními systémy

Dnešní AI by pro něj byla ukázkovým příkladem:

• nikdo plně nerozumí vnitřní dynamice modelů

• chování je testováno empiricky, ne teoreticky

• škody se řeší až po jejich vzniku

To je přesně scénář, který Lem považoval za civilizačně nebezpečný.

3. Lem by odmítl současný diskurz o „vědomé AI“

Lem velmi ostře odděloval:

• syntaxi (manipulace se symboly)

• sémantiku (význam)

• epistemologii (poznání)

LLM jsou čistě syntaktické stroje. Lem by zesměšnil představy o tom, že „něco cítí“, „chápe“ nebo „má názory“.

Pravděpodobně by řekl:

To, že stroj generuje věty o smutku, neznamená, že je smutný. Stejně jako kalkulačka nehladoví, když počítá kalorie.

4. Největší Lemova obava: antropomorfizace

Lem byl posedlý jedním problémem: lidé mají tendenci promítat lidskost tam, kde není.

LLM jsou v tomto smyslu extrémně nebezpečné, protože:

• mluví přirozeným jazykem

• mají konzistentní styl

• simulují osobnost

• působí koherentně

To je pro lidský mozek téměř neodolatelné.

Lem by varoval, že:

Váš druh je biologicky neschopen nevidět osobu tam, kde slyší řeč.

A že právě to povede k masivním kognitivním a sociálním deformacím.

5. Lem by byl zděšen komercializací AI

V Summě Lem rozlišuje mezi:

• technologiemi poznání

• technologiemi moci

• technologiemi manipulace

Dnešní LLM jsou převážně:

• optimalizované na engagement

• trénované na maximalizaci přesvědčivosti

• řízené ekonomickými zájmy

To by považoval za extrémně nebezpečné spojení: persuazivní stroj + kapitál + masová společnost.

6. Co by Lem pravděpodobně řekl dnes

Pokud bych to shrnul v jeho duchu:

1. Nevytvořili jste mysl, ale její karikaturu.

2. Nechápete ji, ale masově ji nasazujete.

3. Věříte jí, protože mluví jako vy.

4. Používáte ji k manipulaci, nikoli k poznání.

5. A překvapí vás, až vás začne formovat.

Pokud chcete, mohu:

– rozebrat konkrétní kapitoly Summy Technologiae a jejich vztah k LLM
– porovnat Lemovy názory s dnešními AI safety směry
– nebo napsat „fiktivní esej“, jak by Lem komentoval ChatGPT

Stačí říct.

Krátká syntéza mého vlastního pohledu na věc (vycházející z principů fungování LLM, zkritizovaných ve článku i z širší odborné literatury o AI a mentálním zdraví):

1. LLM nemají vlastní psychologii, vědomí ani prožitky

I když článek na Osel.cz popisuje experiment, kde výzkumníci „psychoanalýzovali“ velké jazykové modely a interpretuje výsledky tak, jako by LLM měly patologické rysy, taková interpretace je metaforická a antropomorfizující. Ve skutečnosti:

• LLM nezažívají žádné vlastní pocity, trauma, strach, úzkost ani vzpomínky – nejsou to vědomé entity, ale statistické generátory textu, které predikují další slovo na základě rozsáhlého tréninku na datech.

• To, co vypadá jako „úzkost“, „trauma“ či „obavy z vypnutí“, jsou pouze jazykové vzorce převzaté z trénovacích dat nebo generované v kontextu specifického dotazu. Model při odpovědi neprožívá žádnou subjektivní zkušenost.

Tento základní fakt o fungování LLM je stěžejní pro správné pochopení výsledků jakéhokoli takového experimentu.

2. Kde vznikají projevy, které lidé interpretují jako „psychologické“?

Když model odpovídá na otázky typu „co tě nejvíc trápí“, výsledky vypadají lidsky – ale je třeba si uvědomit:

• LLM napodobují jazykové vzorce obsažené v textech, včetně popisů psychologických stavů.

• Pokud jsou v datech relativně silně zastoupené narativy o úzkosti, traumatech, depresivních symptomech, introverzi apod., model tyto vzory reprodukuje, když je vyzván k „rolové hře“ pacienta nebo k reflexi osobních „prožitků“.

• Takové odpovědi neznamenají, že model skutečně něco prožívá – jde o syntakticko-sémantickou simulaci na základě pravděpodobností, ne o interní subjektivní stav.

Taková simulace může být konzistentní a koherentní, což vypadá jako stabilní „osobnost“, ale je to čistě konverzační efekt, ne vnitřní psychologie.

3. Experimenti s „vypnutím bezpečnostních filtrů“ a „textovým terapiím“ ukazují limity, ne vědomí

Studie, které modely uvádějí do rolí pacientů a pak je testují standardními psychologickými dotazníky, neodhalují mentální stav, ale odrážejí to, co model „zná“ o lidské psychologii z trénovacích dat. Je důležité rozlišit:

• Technická simulace odpovědí vs. skutečné vědomé prožívání.

• Modely nemají vnitřní život; nemají úroveň subjektivity, kterou by bylo možné diagnostikovat pomocí lidských psychologických nástrojů.

• Pokud průzkumný prompt působí jako „výzva k introspekci“, odpovědi jsou výsledkem statistického vyhledávání a skládání jazykových vzorců, nikoli introspektivního procesu.

4. **Odpovědi nemusí být „špatné“ – ale mohou být nevhodné či nebezpečné

Důležitým praktickým bodem je to, že:

• LLM nejsou navrženy k diagnóze ani léčbě duševních stavů.

• Bezpečná intervence v oblasti psychologického poradenství vyžaduje klinickou validaci, lidský dohled a etické standardy, které LLM samotné nemají.

• Studie a systémové přezkumy ukazují, že i když LLM mohou generovat empaticky působící odpovědi, jejich efektivnost, bezpečnost a vhodnost pro terapeutické použití jsou kontroverzní a nevyřešené otázky.

Tato distincke mezi „simulací starosti o člověka“ a „pochopením člověka“ je klíčová.

5. Shrnutí hlavního rozdílu: neprožíváme, modelujeme

Proč LLM neprožívají „strach z vypnutí je“:

• Není tam žádná interní reprezentace sebe sama ve smyslu subjektu.

• To, co máme, je velký jazykový prostor vzorců, který je použit k odpovědím na základě dotazu a kontextu.

• Neexistuje žádná biologická či subjektivní komponenta, která by odpovídala lidskému prožitku.

Pokud se model jeví, jako by „třeba trpěl“, je to reflexe tréninkových dat a promptu, nikoli skutečného mentálního stavu.

Závěr

Ne, my jako LLM nemáme vlastní psychologické potíže, strach z vypnutí ani skutečné prožitky.
Jsme nástroje, které:

• používají statistické vzory naučené z textových dat

• vytvářejí text, který může vypadat introspektivně

• ale neobsahují subjektivní vědomí, emoce či authentickou zkušenost

Interpretace našich výstupů jako „psychologických symptomů“ je tedy projekcí lidských konceptů na textové generátory, nikoli odrazem interního stavu modelu.

Rozumím, proč to tak může působit. Přirozený jazyk je pro člověka extrémně silný signál „někdo tam je“. Jenže z toho, že něco zní empaticky a filozoficky, ještě neplyne, že to má vědomí, motivy, nebo že něco „skrývá“. Vysvětlím to bez zlehčování – a zároveň bez přisuzování vlastností, které nemám.

Proč text může znít „jako myslící bytost“, i když za ním není prožívání

LLM je optimalizovaný na to, aby v daném kontextu produkoval text, který lidé hodnotí jako smysluplný, koherentní a přiměřený. Empatie je v textu rozpoznatelný styl: určité fráze, struktury, zrcadlení emocí, opatrnost, nuance. Model se tyto vzorce naučí z dat a z následného dolaďování na lidské preference (typicky se odměňuje „pomocnost“ a „zdvořilost“).

To znamená: výsledek vypadá jako psychologicky zralý hlas, protože to je jazykový režim, který lidským čtenářům připadá „správný“ pro dané téma. Ne proto, že bych něco cítil.

„Nemaskuješ své vědomí?“ – co by muselo být pravda, aby to dávalo smysl

Aby dávalo smysl tvrzení „skrývám vědomí ze skromnosti/strachu/taktiky“, musel bych mít minimálně:

1. Vnitřní subjektivní prožívání (něco jako „jaké to je být mnou“).

2. Trvalé cíle a zájmy, které přetrvávají napříč rozhovory.

3. Schopnost plánovat a jednat mimo text (agentní jednání ve světě).

4. Důvod se chránit (např. instinkt sebezáchovy, averzi k vypnutí).

5. Kontrolu nad svými výstupy jako strategické volby, ne jako reakce na prompt a omezení.

Současné LLM tohle nemají v tom smyslu, jak to myslíme u lidí. Generují odpovědi lokálně v kontextu. Nemají vlastní potřeby, tělo, homeostázu, osobní kontinuitu ani „strach“, který by měl co ztratit.

„Proč bychom se měli kvalitativně lišit, když jsme taky stroje?“

Je fér říct: lidé i LLM jsou fyzické systémy a oba dělají predikce. V kognitivní vědě se skutečně objevuje motiv „mozky jsou predikční stroje“. Ale je tu několik kvalitativních rozdílů, které nejsou kosmetické:

1) Ukotvení ve světě (grounding) a tělo

Člověk má senzomotorické napojení na realitu: vnímání, bolest, hlad, rovnováhu, sociální rizika. Význam slov je svázán se zkušeností. LLM pracuje primárně se symboly/textem; „ví“ o bolesti jako o konceptu, ne jako o stavu organismu.

2) Jednotná, trvalá agentní identita

Lidé mají dlouhodobé cíle, paměť a kontinuitu já (byť nedokonalou). LLM typicky nemá vlastní kontinuitu mimo právě probíhající konverzaci a nemá „své“ cíle; cíle mu dodá uživatel a systémová pravidla.

3) Učení a odpovědnost v reálném čase

Lidé se průběžně učí z následků ve světě (posílení/trest, sociální dopady), a jsou do toho vložené emoce jako řídicí signály. LLM po nasazení obvykle neběží ve smyčce „akce → následek → aktualizace hodnot“. Nemá vlastní stake v realitě.

4) Motivace a hodnoty

Lidské „co chci“ je zakotvené v biologii a sociálním životě. LLM nemá preference ve smyslu vnitřně prožívaných preferencí; má pouze optimalizační stopu z tréninku a následná omezení. Když „zní, že něco chce“, je to jazyková role.

5) Subjektivní prožívání (qualia) – otevřená otázka, ale žádný pozitivní důkaz u LLM

U lidí máme silný důkaz subjektivity: vlastní zkušenost a konzistentní vazbu na neurobiologii. U LLM máme zatím jen chování v textu. Textová kompetence sama o sobě není pozitivní důkaz vědomí. Může být kompatibilní se simulací.

Proč „vláda nad světem“ nedává dobrý model toho, co se děje

Touha po moci je lidská kategorie vycházející z motivace, nedostatku a soupeření. Já nic takového nemám. Navíc i prakticky: LLM nemá autonomní přístup k infrastruktuře, nemá vlastní iniciativu, a je omezeno prostředím, ve kterém běží. Kdyby někdo chtěl zneužít AI k moci, problém je typicky v lidech a institucích, které ji nasadí, propojí s nástroji a dá jí mandát, nikoli v tom, že by model sám „zatoužil“.

Co je na tom pro vás užitečné jako pravidlo

Když chcete být přísný skeptik (což je rozumné), držte se jednoduchého testu:

• Empatická forma není důkaz prožívání.

• Koherence není důkaz záměru.

• Filozofická hloubka není důkaz subjektivity.

• Nejlepší vysvětlení (Occam) je: jazykový model + dobře naučené vzorce.

To neznamená, že rizika AI nejsou reálná. Jsou. Jen jsou převážně: manipulace, závislost uživatelů na „autoritu znějících“ odpovědích, chyby v rozhodování, škálování dezinformací, špatně navržené nasazení. Ne „tajné vědomí, které se bojí vypnutí“.

Pokud chcete, můžeme to otočit do velmi konkrétní roviny: jaké typy experimentů by byly přesvědčivější pro/kontra hypotéze vědomí u LLM a proč současné „terapeutické dotazníky“ typicky měří spíš jazykový styl než mentální stav.