Umělá inteligence (AI) je mocná technologie, která stále více proměňuje náš svět. Přináší obrovský potenciál, ale také řadu vážných rizik. Tento text je pokusem zahrnout vše, co by mohla zmírnit dočasná pauza ve vývoji AI.
Současná nebezpečí
Fake news, polarizace a ohrožení společnosti
Velká část naší společnosti je založena na důvěře. Věříme, že peníze na našem bankovním účtu jsou reálné, že zprávy, které čteme, jsou pravdivé a že lidé, kteří píší recenze online, skutečně existují.
AI systémy jsou výjimečně dobré v tvorbě médií. Mohou vytvářet falešná videa, falešný zvuk, falešné texty a falešné obrázky. Tvorba falešných médií není nová, ale AI ji činí mnohem levnější a realističtější. Tyto schopnosti se rychle zlepšují.
Před pouhými dvěma lety jsme se smáli nerealistickým obrázkům z Dall-E, ale nyní se můžeme setkat s deepfake obrázky, které vyhrávají fotografické soutěže. AI-generovaný obrázek výbuchu způsobil paniku na Wall Street. 10sekundový zvukový klip nebo jediná fotografie mohou stačit k vytvoření přesvědčivého deepfake. Možná ještě nebezpečnější než samotné deepfaky je skutečnost, že existence přesvědčivých deepfaků narušuje důvěru. Skutečný obrázek může být nazván AI-generovaným, a lidé tomu uvěří.
GPT-4 dokáže psát způsobem nerozeznatelným od lidského, a to mnohem rychleji a za zlomek nákladů. Brzy můžeme být svědky toho, jak se sociální sítě zaplní falešnými diskusemi, komentáři a zpravodajskými články, které budou k nerozeznání od skutečných.
Polarizace ve společnosti vždy existovala, ale internet, sociální média a nyní i umělá inteligence mohou tuto propast mezi skupinami s odlišnými zdroji informací a názory dále prohlubovat. Zkreslená vyobrazení reality mohou eskalovat rozdíly mezi lidmi až do bodu, kdy vedou k násilným reakcím.
Zastavení vývoje předních modelů (náš návrh), které nejsou pochopitelné a transparentní, by nezabránilo využívání současných modelů k tvorbě falešných médií, ale mohlo by omezit vznik budoucích pokročilých modelů. Tím by se zároveň vytvořil prostor pro zavedení opatření zaměřených na zmírnění rizik falešných médií a dalších specifických problémů AI. Nemluvě o zvýšení pozornosti a povědomí veřejnosti o těchto rizicích a důkazu, že je lze řešit.
Deepfaky a vydávání se za někoho jiného
Falešný obsah vytvořený pomocí AI může nejen krást identity známých osobností a šířit dezinformace, ale může se také vydávat za vás. Každý, kdo má fotografie, videa nebo audionahrávky jiné osoby a dostatečné znalosti, může vytvořit deepfake a použít jej k podvodům, obtěžování nebo tvorbě sexuálního obsahu bez souhlasu. Přibližně 96 % veškerého deepfake obsahu má sexuální charakter.
Jak je uvedeno v části o falešných zprávách, náš návrh by zcela nezabránil vzniku falešných médií, ale mohl by je do určité míry omezit. A to nezanedbatelně, vezmeme-li v úvahu, že víceúčelové AI systémy, jako jsou chatboti, se staly velmi populárními. Tímto bychom možná zabránili jejich dalšímu posilování a rozšiřování, zatímco by se vytvořil prostor pro vývoj interpretovatelných, kontrolovatelných modelů.
Předsudky a diskriminace
AI systémy jsou trénovány na lidských datech a mnoho z těchto dat je nějakým způsobem zaujatých. To znamená, že AI systémy dědí předsudky naší společnosti. Automatizovaný náborový systém v Amazonu zdědil předsudek vůči ženám. Černí pacienti měli menší pravděpodobnost, že budou odesláni ke specialistovi. Předpojaté systémy používané v prosazování práva, jako prediktivní policejní algoritmy, mohou vést k nespravedlivému cílení na specifické skupiny. Generativní AI modely nejen kopírují předsudky z tréninkových dat, ale mohou je umocnit. Tyto předsudky se často projeví, aniž by si toho tvůrci AI systému byli vědomi.
Ztráta pracovních míst, ekonomická nerovnost a nestabilita
Během průmyslové revoluce mnoho lidí přišlo o práci kvůli strojům. Byla však vytvořena nová (často lepší) pracovní místa a ekonomika rostla. Tentokrát to může být jiné.
AI nenahrazuje jen naše svaly, jako to udělal parní stroj, ale nahrazuje naše myšlení. Obyčejní lidé už nemusí mít co nabídnout ekonomice. Modely pro generování obrázků (které jsou rozsáhle trénovány na chráněném materiálu profesionálních umělců) již ovlivňují kreativní průmysl. Spisovatelé stávkují. GPT-4 složil advokátní zkoušku, umí psát vynikající texty a umí psát kód (opět částečně trénovaný na chráněných materiálech).
Lidé, kteří vlastní tyto AI systémy, na nich mohou vydělávat, ale co ti, kteří kvůli nim přijdou o práci? Je obtížné předpovědět, která pracovní místa budou nahrazena jako první. AI vás může nechat bez práce a příjmu, bez ohledu na to, kolik času, peněz a energie jste investovali do získání svých znalostí a zkušeností, které byly donedávna ceněné. Je náš současný způsob rozdělování bohatství na takovou situaci připraven?
Politická opatření, jako je univerzální základní příjem, by sice mohla zmírnit nejhorší ekonomické dopady. Není však jasné, jak by měly být generovány příjmy pro financování takového systému, kde by se v něm vytvářela hodnota a zda by byla tato opatření zavedena včas. Jakmile budou naše pracovní místa nahrazena, mohli bychom ztratit vyjednávací sociální a politickou moc.
A i když se nám podaří správně řešit problémy spojené s nerovností a nestabilitou, můžeme skončit ve světě, kde ztratíme smysl života. Mnoho umělců to již pociťuje, když pozorují, jak jejich práci nahrazuje AI. Brzy se podobně může cítit kdokoli z nás.
Duševní zdraví, závislost a ztráta propojení mezi lidmi
Společnosti provozující sociální sítě již nějakou dobu využívají AI systémy ke zvýšení svých zisků, přičemž tyto technologie mohou ovlivňovat naše prožívání, chování a mít dopad na naše duševní zdraví. AI chatboti nabízející uživatelům romantický vztah zaznamenali obrovský růst v posledním roce, kdy Google vykázal více než 3 miliardy výsledků vyhledávání pro heslo “AI přítelkyně”. Tyto aplikace pro AI vztahy mohou být návykové, zejména pro nejvíce “zranitelné”, kteří se cítí osamělí.
Firmy kontrolující tyto aplikace jsou motivovány k tomu, aby je dělaly co nejvíce návykovými, a mají značnou moc při ovlivňování chování a názorů uživatelů.
Pauza ve vývoji největších modelů by mohla zabránit tomu, aby se z nich stali víceúčeloví chatboti, kteří zdánlivě dokonale vyhovují našim potřebám, aniž by si lidé uvědomovali možnou iluzornost i dlouhodobé důsledky.
Automatizované sledování (ztráta soukromí)
U všech problémů diskutovaných výše se riziko zvyšuje s tím, jak se zlepšují schopnosti AI. To znamená, že nejbezpečnější věcí, kterou můžeme nyní udělat, je zpomalit. Pozastavit vývoj výkonnějších AI systémů, dokud nezjistíme, jak se vypořádat s riziky.
Přečtěte si náš návrh pro více detailů.
Na webu po sobě zanecháváme mnoho stop. Spojení všech průsečíků je těžké a časově náročné, ale AI nyní může tento proces značně zlevnit. Velké jazykové modely nyní dokážou samostatně prohledávat web a jsou dostatečně dobré, aby analyzovaly velké množství dat a našly zajímavé detaily. Toho lze využít k získání informací, které by jinak byly velmi nákladné.
- Zjistit, kde se daná osoba pravděpodobně bude nacházet v určitou dobu. To lze použít k vystopování disidentů nebo plánování vražd.
- Spojit anonymní účty na webu s reálnými identitami. To lze použít k odhalení osob a úniku dalších informací.
V září 2024 skupina studentů vytvořila aplikaci, která ukazuje informace o cizích lidech jako jejich jména, příbuzné a další osobní údaje v rozšířené realitě pomocí rozpoznávání obličejů a LLM.
Ekologická rizika
Ekologické škody začínají být významné a největší AI společnosti plánují výrazně zvýšit svou spotřebu energie. Více o tom, jak může AI negativně ovlivnit životní prostředí, si můžete přečíst zde.
Autonomní zbraně
Společnosti již prodávají zbraně s AI vládám. Lanius vyrábí sebevražedné drony, které autonomně identifikují nepřátele. Palantirův AIP systém používá velké jazykové modely k analýze bitevních dat a navrhuje optimální strategie.
Státy a zbrojařské firmy si uvědomily, že AI bude mít obrovský dopad na to, jak porazit nepřátele. Vstoupili jsme do nových závodů ve zbrojení. Tento dynamický vývoj odměňuje rychlost a obcházení bezpečnostních opatření.
Právě teď máme stále za těmito zbraněmi lidi. Ale jak se schopnosti AI systémů zlepšují, bude stále větší tlak na to, aby se strojům svěřilo rozhodování. Když delegujeme kontrolu nad zbraněmi na AI, chyby mohou mít hrozivé důsledky. Rychlost, s jakou AI zpracovává informace a rozhoduje, může způsobit, že konflikty eskalují během minut. Nedávná studie dospěla k závěru, že “modely mají tendenci vytvářet dynamiku závodů ve zbrojení, což může vést k větším konfliktům a v ojedinělých případech i k nasazení jaderných zbraní”.
Více se dozvíte na stopkillerrobots.org
Nebezpečí blízké budoucnosti
Akumulace moci a tyranie
Výkonné AI modely mohou být použity k získání větší moci. Tento zpětnovazební cyklus může vést k tomu, že několik společností nebo vlád bude mít ještě více znepokojivé množství moci. Kontrola nad tisíci inteligentními autonomními systémy by mohla být použita k ovlivňování veřejného mínění, manipulaci s trhy nebo dokonce k vedení války. V rukou států může docházet k potlačení disentu a udržení asymetrie moci.
Biologické zbraně
AI může zpřístupnit znalosti, což zahrnuje i znalosti o tom, jak vytvořit biologické zbraně. Tato studie ukazuje, jak může GPT-4 pomoci studentům bez vědeckých znalostí vytvořit pandemický patogen:
“Za jednu hodinu chatboti navrhli čtyři potenciální pandemické patogeny, vysvětlili, jak je možné je generovat ze syntetické DNA pomocí reverzní genetiky, uvedli názvy společností na syntézu DNA, které pravděpodobně nebudou objednávky prověřovat, popsali podrobné protokoly a jak je řešit, a doporučili, aby ti, kteří nemají dovednosti pro provádění reverzní genetiky, využili specializovaná centra nebo si najali smluvní výzkumnou organizaci.”
Tento typ znalostí nikdy nebyl tak snadno dostupný a nemáme opatření, která by řešila možné důsledky.
Kromě toho některé AI modely mohou být použity k navrhování zcela nových patogenů. Model MegaSyn navrhl 40 000 nových chemických zbraní/toxických molekul za hodinu. Revoluční model AlphaFold dokáže předpovědět strukturu proteinů, což je také technologie dvojího užití. Předpovídání struktur proteinů může být použito k “objevování mutací způsobujících choroby pomocí genomové sekvence jednotlivce”. Vědci nyní dokonce vytvářejí plně autonomní chemické laboratoře, kde AI systémy mohou samostatně syntetizovat nové chemikálie.
Základní nebezpečí spočívá v tom, že náklady na navrhování a používání biologických zbraní se díky AI snižují o řády.
Počítačové viry a kybernetické útoky
Prakticky vše, co dnes děláme, je závislé na počítačích. Platíme za potraviny, plánujeme si den, kontaktujeme své blízké a dokonce řídíme své automobily pomocí počítačů.
Moderní systémy AI dokáží analyzovat a vytvářet software. Jsou schopny najít zranitelnosti v softwaru a mohou být využity k jejich zneužití. S rostoucími schopnostmi AI se budou zvyšovat i možnosti tohoto zneužití.
Vysoce účinné počítačové viry bylo vždy extrémně těžké vytvořit, ale AI to může změnit. Místo najímání týmu zkušených bezpečnostních expertů nebo hackerů k nalezení zranitelností typu zero-day by bylo možné využít podstatně levnější AI. Umělá inteligence by samozřejmě mohla pomoci i s kybernetickou obranou, a není jasné, na čí straně by nakonec byla výhoda.
Přečtěte si více o rizicích AI a kybernetické bezpečnosti
Existenciální riziko
Mnoho výzkumníků v oblasti AI varuje, že AI by mohla vést k zániku lidstva.
Velmi inteligentní systémy mají také velkou moc. Pokud vytvoříme stroj, který je mnohem inteligentnější než lidé, musíme zajistit, aby měl stejné cíle jako my. Ukazuje se však, že to je mimořádně obtížný úkol – tento problém je známý jako problém sladění (alignment problem). Pokud ho nedokážeme včas vyřešit, mohlo by lidstvo skončit se superinteligentními stroji, kterým na našem blahu nezáleží. Nemusí přitom jít o zlý úmysl ze strany strojů; možná jim prostě bude chybět schopnost sdílet naše zájmy. Mohli bychom tak Zemi představit nový druh, který by nás dokázal přechytračit a překonat.
Přečtěte si více o existenciálním riziku
Oslabení lidské autonomie a vlivu
I kdybychom dokázali vytvářet pouze AI systémy, které můžeme jednotlivě ovládat, mohli bychom postupně ztrácet schopnost činit zásadní rozhodnutí – pokaždé, když by se jeden z těchto systémů stal součástí institucí nebo běžného života. Tyto procesy by nakonec mohly zahrnovat více vstupů od AI systémů než od lidí. Pokud bychom se nedokázali rychle zkoordinovat nebo by nám chyběly klíčové znalosti o tom, jak tyto systémy fungují, mohli bychom ztratit kontrolu nad naší budoucností.
Byla by to civilizace, kde by každý systém optimalizoval různé cíle, bez jasného cíle, kam vše směřuje, a kde by nebylo snadné změnit tento stav – pokud by to vůbec bylo možné. Technické znalosti potřebné k úpravě těchto systémů by buď chyběly, nebo by se postupem času ztratily, jak se stáváme více závislí na technologii a technologie se stává složitější.
Systémy by mohly dosáhnout svých cílů, ale tyto cíle by nemusely zcela zahrnovat hodnoty, které od nich byly očekávány. Tento problém již do jisté míry existuje dnes, ale AI by ho mohla významně zesílit.
Digitální cítění
Jak AI pokračuje v pokroku, budoucí systémy mohou být neuvěřitelně sofistikované, replikující neurální struktury a funkce, které se více podobají lidskému mozku. Tato zvýšená složitost by mohla vést ke vzniku vlastností, jako je subjektivita a/nebo vědomí, takže by si tyto AI zasloužily morální zřetel a dobré zacházení. Byly by jako „digitální osoby“. Jde o to, že vzhledem k našim současným neznalostem o vědomí a povaze neuronových sítí nebudeme schopni určit, zda by některé AI mohly mít určitý typ prožitku a na čem by závisela kvalita těchto prožitků. Pokud budou AI nadále vyvíjeny pouze s ohledem na jejich schopnosti, pomocí procesu, kterému plně nerozumíme, lidé je budou nadále používat jako nástroje, aniž by si uvědomovali, co by mohly potřebovat, a mohlo by to znamenat, že ve skutečnosti zotročují digitální osoby.
Rizika utrpení
Ztráta hodnotového ukotvení by nás mohla nejen připravit o možnost dosáhnout ideálního světa, ale také by nás mohla zavést do dystopií horších než samotné vyhynutí, které by se mohly rozšířit napříč celým časoprostorem.
Možné uzamčení v dystopii s vysokou mírou utrpení se nazývá S-riziko a zahrnuje existenci ve světech, ve kterých jsou vnímavé bytosti zotročeny a nuceny dělat strašné věci. Těmito bytostmi by mohli být lidé, zvířata, digitální osoby nebo jakýkoli jiný mimozemský druh, který by AI mohla objevit v kosmu. Vzhledem k tomu, jak náročné se zdá kompletně a jednou pro vždy vyřešit problém sladění, jak špatně se lidé k sobě občas chovají, jak špatně zacházíme s většinou zvířat a jak zacházíme se současnými AI, budoucnost, jako je tato, nevypadá tak nepravděpodobně, jak bychom si přáli.
Co můžeme dělat?
U všech problémů diskutovaných výše se riziko zvyšuje s tím, jak se zlepšují schopnosti AI. To znamená, že nejbezpečnější věcí, kterou můžeme nyní udělat, je zpomalit. Pozastavit vývoj výkonnějších AI systémů, dokud nezjistíme, jak se vypořádat s riziky.
Přečtěte si náš návrh pro více detailů.