Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

Взломщики используют Microsoft Quick Assist для распространения вредоноса

Банда киберпреступников использует приложение Quick Assist от Microsoft в атаках с использованием социальной инженерии. Жертв заржают программой-вымогателем Black Basta.

Представители корпорации из Редмонда заявили, что к данным атакам причастна финансово мотивированная группа Storm-1811, которая развернула свою кампанию еще в середине апреля.

Quick Assist — приложение, установленное по умолчанию в Windows 11, которое позволяет предоставить доступ к своему компьютеру на Windows или macOS другим пользователям через удаленное подключение. Злоумышленники могут выдавать себя за сотрудников техподдержки и обманным путем заставить людей предоставить им полный доступ к целевому устройству. 

В среду компания Microsoft опубликовала сообщение, в котором говорится, что ведется расследование использования приложения в преступных целях. Windows-гигант работает над тем, чтобы не потерять доверие пользователей к сотрудникам службы поддержки Quick Assist. Пока сложно сказать, сколько клиентов пострадало. Чтобы снизить риск мошеннических действий, Microsoft задумывается о включении предупреждающих сообщений в приложении.

Компания напомнила пользователям о возможности блокировки или удаления Quick Assist, а также других инструментов удаленного управления с устройства, если они ими не пользуются.

Клиенты, которые хотят исключить эксплуатацию приложения, могут использовать индикаторы компрометации и запросы для самостоятельного поиска зловредной активности в своих сетях. Например, подозрительное поведение curl, вредоносное использование прокси или инструмента туннелирования.

Специалисты поделились, как проходят атаки. С помощью голосового фишинга преступники Storm-1811 выдают себя за службу техподдержки приложения и убеждают пользователя предоставить доступ к устройству через Quick Assist. Злоумышленники используют разные схемы давления, например, забрасывают  жертву спамом, а потом предлагают помощь в устранении проблемы.

Пользователь предоставляет доступ к своему устройству благодаря ключевой команде и коду безопасности, которым делится преступник. Поделившись экраном и одобрив запрос управления компьютером, жертва помогает мошеннику получить полный контроль.

Далее злоумышленники доставляют вредоносную полезную нагрузку и программу для удаленного мониторинга и управления (RMM).

Постоянный доступ к взломанному устройству дает возможность преступникам перемещаться латерально по сети жертвы. Затем Storm-1811 использует PsExec для развертывания программы-вымогателя Black Basta.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru