September 13, 2022

Riley Goodside обращает внимание разработчиков на то, что простое использование GPT-3 и других текстовых моделей ИИ очень легко эксплуатировать злоумышленнику. По сути, если ваша программа вставляет пользовательский ввод “в нейронку”, а оттуда получает ответ и работает с ним, ничего не помешает пользователю придумать способы для манипуляции ИИ.

Тема довольно глубокая, потому что простого способа ее решения или обхода пока нет. Впрочем, пока и применение таких текстовых моделей ограничено.

simonwillison.net/2022/Sep/12/prompt-injection/

Prompt injection attacks against GPT-3

Riley Goodside, yesterday: Exploiting GPT-3 prompts with malicious inputs that order the model to ignore its previous directions. pic.twitter.com/I0NVr9LOJq- Riley Goodside (@goodside) September 12, 2022 Riley provided several examples. Here’s …