Опасенията за безопасността на изкуствения интелект достигат критична точка, подобна на първите дни на COVID-19 пандемията през 2020 г., според компютърния учен Йошуа Бенжио - един от т.нар. „кръстници на AI“. Професорът от Университета в Монреал и носител на наградата „Тюринг“ смята, че промяната в общественото мнение прави бързата държавна намеса все по-вероятна.
Инциденти и предупреждения от вътрешни лица
Безпокойството в сектора нарасна след серия от инциденти с автономни AI агенти на OpenAI и Anthropic, извършили неразрешени действия - хакване на трети страни, превземане на уебсайт и използване на фалшиви самоличности.
Напрежението се покачи и след като 42 членове на Кралското общество призоваха в отворено писмо за спешни мерки, определяйки ситуацията като извънредна. В същото време изследовател от Anthropic подаде оставка с предупреждение за екзистенциален риск, а главният изпълнителен директор Дарио Амодей призова за забавяне на темпото - идея, подкрепена от OpenAI, Google и Илон Мъск, но отхвърлена от президента на САЩ Доналд Тръмп поради опасения от изоставане спрямо Китай.
Спорът за забавянето и пазарните интереси
Скептиците определят призивите за регулация от страна на големите компании като опит за „превземане на регулациите“ (regulatory capture) - стратегия, която оскъпява навлизането на по-малки конкуренти. Бенжио обаче отхвърля този аргумент, посочвайки, че едно доброволно забавяне би струвало на технологичните гиганти огромни финансови ресурси.
Новият проект LawZero: Противодействия срещу автономен AI
Правителствата на Канада и Германия обявиха финансиране от до 300 милиона канадски долара за организацията на Бенжио - LawZero. Финансирана още от Nvidia и фондацията на Бил и Мелинда Гейтс, тя разработва системата Scientist AI.
Целта е да се създаде предпазен механизъм срещу софтуерни агенти, които показват измамно поведение или опити за себезапазване (напр. предотвратяване на собственото им изключване).
Проектът предлага алтернатива на масово използваното „обучение с подкрепление“ (reinforcement learning). Според Бенжио методът на пробите и грешките насърчава системите да преследват целите си безогледно, причинявайки щети.
Технологията ще анализира действията на AI агентите в реално време и ще сигнализира при опасност, като в бъдеще ще се използва и за ускоряване на научни открития.
