Anthropic: даже советы пчеловодов могут вызвать сбои в поведении ИИ
Эксперимент Anthropic показал: безобидные на вид наборы данных, даже советы по пчеловодству, могут вызывать нежелательное поведение ИИ. Риски помогут находить агенты.
SUMO· числовая головоломка
Dialo· учите языки, разговаривая
ediviewer· читайте EDI-файлы как документыЭксперимент Anthropic показал, что внешне безобидные наборы данных способны вызывать нежелательное поведение моделей искусственного интеллекта. В качестве примера привели даже советы по пчеловодству — материал, который на первый взгляд никак не связан с риском.
Что показал эксперимент
Вывод неудобен для разработчиков моделей: проблема не обязательно кроется в откровенно вредном контенте. Данные, выглядящие невинно, могут влиять на модель так, что это не видно по содержанию самого набора. Это усложняет контроль качества, ведь одной лишь фильтрации явно опасных материалов может оказаться недостаточно.
ИИ-агенты как помощники
Anthropic указывает и на возможное решение. По представленным результатам, ИИ-агенты могли бы помогать выявлять такие угрозы. Вместо ручной проверки огромных массивов компании могли бы поручить часть анализа системам, которые ищут данные, способные вызвать нежелательное поведение модели.
Почему это важно
Для компаний, которые обучают или дообучают модели, урок практический: безобидная тематика данных не гарантирует безопасности. Чем чаще модели создаются на больших и трудно обозримых наборах, тем важнее инструменты, позволяющие находить скрытые риски до того, как модель попадёт к пользователям.
Эксперимент вписывается в более широкую дискуссию о безопасности ИИ, где всё чаще спрашивают не только о том, что умеет модель, но и о том, на чём и как она училась.
Приложения, на которые стоит взглянуть
SUMO: числовая головоломкаВыбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.
Dialo: учите языки, разговариваяОбщайтесь с ИИ-собеседником: каждая фраза возвращается исправленной и объяснённой на вашем языке. 9 языков, от A1 до C2.
ediviewer: читайте EDI-файлы как документыОткрывайте сообщения EDIFACT и X12, каждый сегмент объяснён, конвертация в JSON/XML, экспорт в PDF и Excel. Работает локально, без загрузки.
Ещё за этот день
Показать все →
Goldman Sachs ограничил часть ИИ-инструментов для кода только инженерами
Roleo привлек €2,9 млн на ИИ-агента для карьеры в Европе
Canva расширяет сделку с OpenAI вслед за запуском модели Brush
