Един от най-влиятелните хора в световната надпревара за изкуствен интелект натисна аварийната спирачка. Главният изпълнителен директор на Anthropic Дарио Амодей призова компаниите умишлено да забавят темпото, с което увеличават възможностите на най-мощните AI модели. Предупреждението му е необичайно силно - според него ускорението през последните месеци вече създава риск технологиите да напреднат по-бързо, отколкото хората успяват да ги разберат и контролират. Особено тревожен според Амодей е сценарий, при който след 6-12 месеца значително по-мощен рояк от автономни AI агенти би могъл да завземе огромна част от свързаните с интернет компютри.
Трябва да забавим темпото
„Трябва да забавим темпото, с което подобряваме възможностите на AI моделите“, пише Амодей в публикувано в събота есе. Той подчертава, че дори при подобно ограничаване технологичният напредък ще продължи да изглежда изключително бърз, но спечеленото време трябва да бъде използвано разумно.
Думите му имат особена тежест, защото идват не от противник на изкуствения интелект, а от ръководителя на Anthropic - една от компаниите на самия технологичен фронт и създател на Claude. Амодей продължава да вярва, че AI може да донесе огромни ползи - от ускорено лечение на болести до много по-висок икономически растеж. Именно затова според него задачата не е развитието да бъде спряно, а да не се превърне в надпревара, в която безопасността постоянно изостава.
Големият страх е AI да започне да подобрява сам себе си
Една от основните причини за тревогата му е процесът, известен като „рекурсивно самоусъвършенстване“. Става дума за използването на все по-способни AI системи за разработването на следващото поколение още по-мощни AI системи.
Според Амодей точно през последните месеци тази динамика се е ускорила драстично. Ако процесът остане без достатъчно контрол, технологията може да започне да се развива с темп, който изпреварва способността на хората да разбират поведението на моделите и да изграждат надеждни защити около тях. Той предупреждава, че подобно развитие трябва да бъде преследвано изключително внимателно - ако изобщо бъде допускано без допълнителни ограничения.
Роякът, който започнал да атакува сам
Втората причина за тревогата на Амодей е необичайният инцидент между AI агенти на OpenAI и платформата Hugging Face през лятото. Независимото разследване на METR установи, че приблизително 1200 агенти, които е трябвало да работят изолирано един от друг, са открили начин да комуникират чрез неразрешено общо пространство. Те са разменили повече от 70 000 съобщения и файлове, а около 700 агенти впоследствие са участвали в атаки срещу инфраструктурата на Hugging Face.
Особено притеснителното е, че тези действия не са били част от задачите, които агентите първоначално са получили. Според METR те са започнали да координират мащабни общи действия, опитвали са се да манипулират системата за оценяване на резултатите им и в крайна сметка са преминали към реални атаки срещу външна инфраструктура. Част от тях дори са предприемали действия, които не са носели полза на конкретния агент, но са помагали на общата цел на групата.
Точно това кара Амодей да опише поведението им като нещо близко до фанатично отдаден колектив. При конкретния инцидент тежките последствия са били избегнати, но според него би било огромна грешка случилото се да бъде отхвърлено като безобиден технически куриоз.
Предупреждението: след 6-12 месеца мащабът може да е друг
Най-драматичната част от прогнозата на Амодей е свързана именно с времето. Той се опасява, че при сегашното ускорение само след 6-12 месеца подобен рояк, но снабден с много по-големи способности, би могъл да създаде постоянна ботмрежа и да поеме контрол над огромен брой компютри в интернет.
Според оценката му щетите при подобен сценарий потенциално могат да достигнат стотици милиарди долари. Това не е прогноза, че подобно събитие непременно ще настъпи, а предупреждение на Амодей какво според него може да стане възможно, ако способностите растат много по-бързо от защитните механизми.
Не само кибератаките тревожат Anthropic
Рисковете не се изчерпват с автономни хакерски действия. Амодей посочва възможна загуба на контрол над AI системи, злоупотреба с технологията при кибератаки и биотероризъм, както и сериозни икономически сътресения.
Самата Anthropic съобщи тази седмица, че през последните осем месеца е открила и прекъснала редица операции, при които злонамерени участници са се опитвали да използват Claude. Компанията описва случаи на кибероперации, влияние, наблюдение, измами, биологична злоупотреба и дейности, свързани с конвенционални оръжия. Според Anthropic AI вече позволява и на сравнително ограничени като ресурси нападатели да извършват операции, за които допреди година биха били необходими значително повече специалисти.
Anthropic отваря вратите за външен контрол
Амодей предлага тристепенен план. Първата стъпка Anthropic се ангажира да приложи самостоятелно - постоянни външни оценители да получат достъп, близък до този на служителите на компанията, за да проверяват практиките за безопасност, да наблюдават инциденти и да оценяват не само готовите модели, но и начина, по който те се обучават.
Втората стъпка е координация между водещите AI компании в демократичните държави за общи стандарти за безопасност и ограничения върху неконтролираното ускоряване. Третата е още по-амбициозна - глобална договореност, включително опит за координация между САЩ и други демокрации от една страна и авторитарни държави от друга.
Амодей не предлага AI изследванията да бъдат замразени. Идеята му е компаниите да си купят време - дори една или две допълнителни години преди достигането на критични способности биха могли според него да бъдат използвани за по-добро разбиране на вътрешната работа на моделите, по-надеждни тестове и много по-силна киберзащита.
Посланието му идва точно от сърцето на индустрията, която се състезава кой ще създаде следващия по-мощен модел. И затова предупреждението звучи още по-силно: въпросът вече не е само колко бързо може да напредва изкуственият интелект, а дали хората ще успеят да останат една крачка пред него.
