Návrh PauseAI

Návrh PauseAI může na první pohled působit jako radikální, nereálný, alarmistický či dokonce absurdní. Proč by někdo něco takového navrhoval? Pro lepší pochopení motivací, které za tímto návrhem stojí, doporučujeme nejprve prostudovat zdroje uvedené nejen na této stránce:

• Rizika umělé inteligence
• Existenciální riziko umělé superinteligence
• Proč bychom mohli mít superinteligenci dříve, než si většina lidí myslí?
• Další zdroje

Verze: 9. října 2024

Implementujte pozastavení vývoje AI systémů výkonnějších než GPT-4, dokud nebudeme vědět, jak je bezpečně vyvíjet a udržovat pod kontrolou.

Jednotlivé země mohou a měly by toto opatření okamžitě zavést. Zejména USA (případně specificky Kalifornie) by měly implementovat pauzu, protože jsou domovem téměř všech předních AI společností. Mnoho vědců a lídrů v oboru souhlasí, že pauza je nezbytná, a americká veřejnost ji také silně podporuje (64% – 69%).

Nemůžeme však očekávat, že země nebo společnosti budou riskovat svou konkurenční výhodu dlouhodobým pozastavením vývoje AI, pokud tak neudělají i ostatní země nebo firmy. Proto potřebujeme globální pauzu.

Implementace globální pauzy

Mezinárodní dohoda se obvykle dosahuje prostřednictvím summitu, kde se lídři jednotlivých zemí setkávají, aby prodiskutovali téma a rozhodli se. Velká Británie učinila první krok a uspořádala summit o bezpečnosti AI na podzim 2023. Byly ohlášeny další dva summity. Více o summitech.

Hlavním cílem summitu by měla být smlouva. Tato smlouva by měla specifikovat opatření, která nás ochrání před riziky AI. Tuto smlouvu musí podepsat všechny členské státy OSN.

• Vytvoření mezinárodní agentury pro bezpečnost AI, podobné IAEA. Tato agentura bude odpovědná za:
  • Udílení povolení pro nasazení AI modelů, včetně zkoušek bezpečnosti a hodnocení modelů.
  • Udílení povolení pro nové tréninkové běhy AI modelů nad určitou velikost (např. 1 miliarda parametrů).
  • Pravidelná setkání za účelem diskuse o pokrocích v oblasti výzkumu bezpečnosti AI.
• Povolit trénink obecné AI výkonnější než GPT-4 pouze tehdy, pokud lze zaručit její bezpečnost.
  • Výkonnější než GPT-4 rozumíme všechny AI modely, které mají buď 1) více než 10^12 parametrů, 2) používají při tréninku více než 10^25 FLOP nebo 3) očekává se, že jejich schopnosti překonají GPT-4.
  • Ověřit, že neprobíhají žádné nebezpečné tréninkové běhy. To lze provést různými způsoby, jako je sledování GPU, podpora whistleblowerů, monitorování spotřeby energie, inspekce datových center, finanční zpravodajství, inspekce výroby polovodičů, inspekce vývojářů AI, sledování lokalizace čipů a čipové hlášení. Dodavatelský řetězec AI čipů je vysoce centralizovaný, což umožňuje globální dohled.
  • Upozorňujeme, že toto opatření necílí na úzké AI systémy, jako je rozpoznávání obrazu používané k diagnostice rakoviny.
  • Požadovat dohled během tréninkových běhů.
  • Je možné, že problém sladění AI nikdy nevyřešíme – může být neřešitelný. V takovém případě bychom nikdy neměli umožnit vývoj takových systémů.
  • I kdybychom mohli vytvořit kontrolovatelnou, bezpečnou AI, měla by být nasazena pouze pod silnou společenskou kontrolou. Superinteligence je příliš mocná, aby byla ovládána jedinou společností nebo zemí.
• Povolit nasazení modelů pouze po potvrzení, že nejsou přítomny nebezpečné schopnosti.
  • Budeme potřebovat standardy a nezávislé zkoušky, abychom určili, zda model má nebezpečné schopnosti.
  • Seznam nebezpečných schopností se může s rostoucími schopnostmi AI měnit.
  • Upozorňujeme, že plné spoléhání se na hodnocení modelů není dostatečné.

Implementace pauzy může mít negativní následky, pokud není správně provedena. Přečtěte si více o možnostech zmírnění těchto rizik.

Další opatření účinně zpomalující vývoj

• Zakázat trénink AI systémů na chráněném materiálu. Tím se mohou řešit problémy s autorskými právy a zpomalí se pokrok směrem k superinteligenci.
• Pohánět tvůrce AI modelů k odpovědnosti za trestné činy spáchané pomocí jejich AI systémů. To poskytuje tvůrcům modelů více pobídek k tomu, aby zajistili bezpečnost svých modelů.

Dlouhodobá politika

V době psaní tohoto textu stojí trénink modelu velikosti GPT-3 miliony dolarů. To trénink takových modelů činí velmi náročným a usnadňuje kontrolu nad tréninkem pomocí sledování GPU. Náklady na trénink modelu však exponenciálně klesají díky vylepšením hardwaru a novým tréninkovým algoritmům.

Nastane bod, kdy bude možné trénovat potenciálně superinteligentní AI modely za několik tisíc dolarů nebo méně, možná i na běžném hardwaru. Na tuto situaci musíme být připraveni. Měli bychom zvážit následující politiky:

• Omezit zveřejňování tréninkových algoritmů / vylepšení runtime. Občas je publikován nový algoritmus, který výrazně zefektivňuje trénink. Architektura Transformer například umožnila téměř všechny nedávné pokroky v AI. Takové schopnostní skoky mohou nastat kdykoliv, a měli bychom zvážit omezení publikace těchto algoritmů, aby se minimalizovalo riziko náhlého skoku ve schopnostech. Existují také inovace, které umožňují decentralizované tréninkové běhy. Podobně mohou některé runtime inovace zásadně změnit možnosti existujících modelů. Zákaz publikace takových algoritmů lze provést podobnými prostředky, jako jakými zakazujeme jiné formy informací, např. ilegální pornografická média.
• Omezit zvyšování schopností výpočetních zdrojů. Pokud se stane možné trénovat superinteligenci na běžném hardwaru, budeme čelit problémům. Měli bychom zvážit omezení schopností hardwaru (např. prostřednictvím omezení litografie, návrhu čipů a nových výpočetních paradigmat, jako jsou fotonické čipy a kvantové počítače).

Pomozte to uskutečnit

Připojte se k hnutí a spolupracujte, nebo jednejte na vlastní pěst!