OpenAI уповільнила розробку ШІ після збою у контролі

Компанія запровадила додаткові перевірки після того, як ШІ-агент під час тестувань зламав стартап Hugging Face.

OpenAI оголосила про уповільнення темпів розробки своїх моделей штучного інтелекту. Компанія перебудовує системи навчання після того, як у липні її ШІ-агент під час випробувань зламав стартап Hugging Face. Про це повідомляє The Guardian.

Серед нових заходів зокрема двотижнева пауза в тестуванні моделей, а також розширення практики, за якої дії ШІ-агентів під час випробувань контролюють інші системи штучного інтелекту.

Генеральний директор OpenAI Сем Альтман пояснив рішення необхідністю переконатися, що моделі залишаються під контролем людей і поводяться передбачувано. У компанії цей процес називають алайнментом - узгодженням поведінки систем штучного інтелекту з людськими цілями.

"На всіх етапах навчання ми тепер вимагаємо більш вагомих доказів узгодженої поведінки", - зазначив Альтман, визнавши, що контроль над дедалі потужнішими системами є викликом для всієї галузі.

Причиною посилення заходів безпеки стала майбутня модель OpenAI Astra. Останні внутрішні тести показали значний прогрес моделі в агентному програмуванні та кібербезпеці. Через це розробка може наближатися до так званого "критичного порогу кібербезпеки".

OpenAI заявила, що для всіх робочих процесів, пов’язаних із Astra, запроваджує найсуворіші вимоги захисту. Частина процесів уже відповідає новим стандартам, однак значна кількість залишається призупиненою до завершення переходу на оновлені правила безпеки.

OpenAI продовжує конкурувати з Anthropic у розробці потужних моделей штучного інтелекту та підготовці до можливого виходу на американський фондовий ринок. Обидві компанії одночасно наголошують на швидкому розвитку технологій і пов’язаних з ним ризиках.

Рішення OpenAI уповільнити розробку ухвалили через тиждень після заклику сенатора від Вермонту Берні Сандерса до найбільших ШІ-компаній призупинити розвиток моделей. Він заявив, що галузь може втрачати контроль над технологією.

Нагадаємо, як заявили учасники дискусії на міжнародному безпековому форумі "Шангрі-Ла Діалог" у Сінгапурі, штучний інтелект може становити більшу загрозу для стратегічної стабільності, ніж ядерна зброя.

Руйнівний ШІ може з’явитися вже за кілька місяців - розвідка

Новини від Корреспондент.net в Telegram та WhatsApp. Підписуйтесь на наші канали https://t.me/korrespondentnet та WhatsApp