21
Claude может приблизить создание ИИ, способного самостоятельно развиваться
Компания Anthropic уведомила инвесторов о том, что она может в скором времени приблизиться к разработке саморазвивающегося ИИ. В обновлённых материалах к IPO фирма впервые детально описала риски, связанные с так называемым рекурсивным самоулучшением (Recursive Self-Improvement, RSI) — процессом, при котором искусственный интеллект способствует созданию всё более совершенных моделей, тем самым ускоряя свой собственный прогресс.
RSI рассматривается как один из потенциальных поворотных моментов в эволюции ИИ. Сторонники этой технологии убеждены, что она открывает путь к резкому увеличению производительности, научным прорывам и автоматизации исследований. В то же время критики выражают опасения, что системы, обладающие способностью к саморазвитию, могут развиваться быстрее, чем люди успеют обеспечить их безопасность.
Компания Anthropic признает обе стороны данного процесса. В материалах к IPO она упоминает, что уже применяет ИИ в своих исследованиях и разработке новых моделей. Однако такой подход может привести к тому, что возможности систем будут расти быстрее, чем способность разработчиков контролировать их безопасность, надежность и соответствие человеческим целям.
Anthropic сообщила, что в прошлом не всегда сразу замечала значительные изменения в возможностях своих моделей, и в будущем подобные ускорения могут оставаться незамеченными до момента их наступления. Более того, внутренние оценки и прогнозы будущих моделей указывают на то, что компания может в ближайшее время достичь заранее установленного порога «резкого ускоренного прогресса, обусловленного ИИ». При этом Anthropic подчеркивает, что ни одна из текущих моделей пока не признана соответствующей этому критерию.
В документах также указано, что Anthropic не планирует в обозримом будущем доверять Claude полное автономное проектирование и создание следующих поколений передовых моделей — без участия человека.
Источник