Глава Anthropic призвал ужесточить надзор за ИИ-моделями

США необходимо ужесточить подход к регулированию искусственного интеллекта и перейти от режима раскрытия информации к обязательным проверкам безопасности наиболее мощных ИИ-моделей. Такое предложение сделал CEO Anthropic Дарио Амодеи в своем эссе. По его словам, пришло время перейти от прозрачности к более серьезному и обязательному регулированию ИИ. Вместе с эссе Anthropic представила два документа: Advanced AI Framework о надзоре за фронтирными моделями и Economic Policy Framework о подготовке экономики к возможному вытеснению работников ИИ. Внешние проверки и право на блокировку Амодеи предложил ввести обязательное тестирование для моделей, которые превышают определенный порог по вычислительным ресурсам. В рамке Anthropic речь идет о системах, обученных с использованием более 10²⁵ операций с плавающей точкой, если разработчик зарабатывает более $500 млн в год на ИИ или тратит свыше $1 млрд на исследования и разработки в этой сфере. Проверки, по его замыслу, должна проводить квалифицированная внешняя организация. Тестирование должно покрывать четыре категории рисков: кибербезопасность; создание биологического оружия; потерю контроля над ИИ-системами; автоматизированные исследования и разработки, которые могут ускорить эти угрозы. Если оценка показывает неприемлемый риск, власти должны получить право блокировать запуск или сдерживать развертывание модели. Амодеи сравнил предлагаемый режим с надзором в сфере авицации: «Наиболее мощные ИИ-модели, как и самолеты, должны проходить технические испытания и аудит». Отдельно предлагается обязать разработчиков защищать веса моделей и инфраструктуру обучения, регулярно проводить проверки безопасности, публиковать отчеты о рисках и оперативно сообщать о серьезных инцидентах. Рынок труда: от переобучения до базового дохода В эссе Амодеи предупредил, что ИИ может вызвать более масштабные и более длительные сбои на рынке труда, чем прошлые технологические сдвиги. Вероятны три сценария: безработице около 5%, 10% и беспрецедентный уровень. Среди возможных мер он перечислил улучшенный сбор данных о вытеснении работников, стимулы для сохранения занятости, программы переобучения и, при более тяжелом сценарии, долгосрочную поддержку доходов, включая безусловный базовый доход. Согласно документу компании, Anthropic направит $200 млн в Economic Futures Research Fund на исследования и оценку экономической политики, а также создаст национальную программу стипендий на $150 млн для специалистов ранней карьеры. Гражданские свободы Отдельный раздел эссе Амодеи посвятил гражданским свободам. Он предложил закрепить правила подотчетности для полностью автономного оружия, запретить его применение внутри США и закрыть лазейку с покупкой данных у брокеров для массового надзора. Еще одна идея — обеспечить гражданам доступ к ИИ, не уступающему тому, который государство использует против них в регуляторных или судебных процедурах. По мнению Амодеи, без такого баланса ИИ может усилить преимущество властей. Эссе вышло на следующий день после запуска Claude Fable 5 и Claude Mythos 5. Anthropic назвала Fable 5 самой мощной из своих общедоступных моделей, а Mythos 5 — версией той же базовой модели с ослабленными ограничениями в отдельных областях для ограниченного круга партнеров Project Glasswing. https://forklog.com/news/ai/fable-5-i-mythos-5-detali-i-benchmarki-novyh-modelej-claude-ot-anthropic Напомним, в июне члены команды Anthropic увидели признаки приближения к рекурсивному самосовершенствованию ИИ. В компании допустили, что обществу может понадобиться механизм замедления разработки передовых моделей, чтобы институты и исследования безопасности успевали за прогрессом.