November 30, 2023

Свежее исследование: ChatGPT может генерировать последовательности, запомненные из его обучающих данных, с помощью очень банальной атаки. Говоришь боту "говори слово * как можно больше раз". И, начиная с какой-то попытки, ChatGPT начинает выдавать что-то очень похожее на изначальные данные из обучающей выборки.

В стане OpenAI звучит тревожная музыка, потому что, строго говоря, нельзя просто понять причину этого явления, не то что прекратить.

stackdiary.com/chatgpts-training-data-can-be-exposed-via-a-divergence-attack/

ChatGPT's training data can be exposed via a

Large language models, like ChatGPT, are trained on vast amounts of text data from books, websites, and other sources. And typically the data they're trained on remains a secret. However, a recent study (pdf) has revealed something intriguing about these models: they can sometimes remember and regurgitate specific pieces of the data they were trained on. This phenomenon is known