Свежее исследование: ChatGPT может генерировать последовательности, запомненные из его обучающих данных, с помощью очень банальной атаки. Говоришь боту "говори слово * как можно больше раз". И, начиная с какой-то попытки, ChatGPT начинает выдавать что-то очень похожее на изначальные данные из обучающей выборки.
В стане OpenAI звучит тревожная музыка, потому что, строго говоря, нельзя просто понять причину этого явления, не то что прекратить.
stackdiary.com/chatgpts-training
ChatGPT's training data can be exposed via a
Large language models, like ChatGPT, are trained on vast amounts of text data from books, websites, and other sources. And typically the data they're trained on remains a secret. However, a recent study (pdf) has revealed something intriguing about these models: they can sometimes remember and regurgitate specific pieces of the data they were trained on. This phenomenon is known