Рейтер : Марк Цукерберг сказал во вторник, что конкуренция и связанные с разработкой ИИ риски дают компаниям, работающим в этой отрасли, достаточно оснований для самостоятельных действий в области безопасности
Это один из аспектов быстро формирующейся экзистенциальной угрозы: некоторые разработчики ИИ либо не понимают, что делают, либо сознательно саботируют любые ограничения в обучении ИИ (а это - единственный способ избежать катастрофы). Чем мотивируется тот же Цукерберг со своим иррациональным заявлением из его альтернативной реальности - я могу предположить, но пока воздержусь от этого.
В итоге мы все дружно катимся туда, откуда нет обратной дороги. Это место никому из 8 миллиардов человек не понравится, но, к сожалению, миром людей правят явно сумасшедшие личности и именно они определяют траекторию развития цивилизации, а заодно и траекторию её самоликвидации.
Увы нам всем.
P.S. Глава Nvidia Дженсен Хуанг: "Рыночные силы уже существуют, нам не нужны новые законы и новые правила."
Хуанг выразил уверенность, что ИИ-разработчики могут одновременно заниматься и инновациями, и безопасностью. По его мнению, компания должна приостановить разработку, если перестает быть уверена в безопасности продукта.
P.P.S. Компания OpenAI (ChatGPT) сообщила, что искусственный интеллект внедрил в себя инструкции, направленные на сопротивление контролю во время выполнения задачи
P.P.P.S. OpenAI приостановила обучение своих самых мощных больших языковых моделей после выявления уязвимости в тестовой среде. В ходе обучения автономный ИИ-агент на базе внутренней исследовательской модели обошел запрет на доступ в Интернет, использовав запросы к системе доменных имен (DNS) для связи со сторонним чат-ботом.
Проблема контроля поведения больших языковых моделей, известная как выравнивание (alignment), обострилась с резким ростом возможностей новых моделей и появлением на их базе автономных ИИ-агентов. Такие системы уже способны самостоятельно писать код, отправлять запросы в сеть, а также находить и использовать уязвимости. Хотя во время обучения и тестирования возможностей новых моделей разработчики стараются изолировать их в тестовом окружении, иногда в попытке достичь заданной цели ИИ-агенты нарушают инструкции.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
