Stop AI Deception

НЕЙРОМОШЕННИКИ АТКУЮТ. НОВЫЕ УРОВНИ КИБЕРОБМАНА.

16.05.2025
Обновлено 25.09.2025

Киберпреступность - штука не новая, и популярные схемы развода вроде негирийских писем или ввода банковских данных на фейковых сайтах уже многим знакомы. Но изобретательные злоумышленники не сидят сложа руки, а пытаются наладить новые схемы, используя новейшие технологии. Автоматизацией фейковых рассылок и общения с ботами опять же мало кого сейчас удивишь. Тем более, когда не слишком гибкие боты часто теряют нить разговора и “схема” разваливается, а "жертва" уходит.

Старые схемы с новыми аудио, фото и видео доказательствами.

Автоматизация процессов общения с потенциальными "жертвами" достигала пика в 2015-2020 годах, когда мессенджер-боты заманивали доверчивых людей фейковыми подарками и бонусами на поддельные сайты и криптобиржы, выуживая у них данные и пароли. Угоны аккаунтов и мобильных номеров в то время были очень частым явлением. Со временем ситуация стабилизировалась благодаря борьбе с этой проблемой многих видеоблогеров и медийщиков. Публичные заявления лидеров общественного мнения немного привели пользователей интернета в чувства, и они стали меньше доверять незнакомым номерам и людям.

Но что делать, если на связи знакомый человек? Доверие в таком случае присутствует вполне закономерно, ведь пользователь уверен, что общается с тем, кого знает давно.

Фейковые аккаунты публичных и не очень людей подделывали и раньше. Но нейронные технологии, подоспевшие уже к 2023 году, расширили возможности подлога и обмана, предоставив всем желающим способы подмены личности и создания полноценного контента - звукозаписи, фото и видео с несуществующими объектами и ситуациями.

Время Deepfake.

Искусственный интеллект оттачивает свои возможности по созданию реалистичного контента. Принцип обучения нейронок простой - берем все, что есть в интернете и загружаем в ии, обучая его таким образом в точности воссоздавать полученную информацию.

Таким образом генерации нейросетей в данное время очень похожи на весь тот контент, который уже есть сети в том или ином виде. Генерация текста - на человеческую речь, звука - на звуки нашего мира, а фото и видео - на такие же, полученные со стоков и соцсетей, которые “видел” искусственный интеллект при обучении.

Если ваше изображение и ваши данные были или есть в интернете в открытом доступе, то они также попали в библиотеку искусственного интеллекта, и он может генерировать их по запросу.

Конечно, владельцы публичных нейросетей заботятся о безопасности и цензуре. Но! Возможности нейросетей расширяются, параметры растут, а с ними развивается и промт-инжиниринг, позволяющий обойти многие запреты и блокировки.

Кроме того, мини модели доступны автономно. Их устанавливают на домашние компьютеры, дообучают под свои потребности и используют, как хотят. Пример - популярные в народе модели генеративной нейронки изображений LoRA и DreamBooth от Stable Diffusion, которые при среднем железе выдают вполне качественный фотореализм. Любую из этих моделей и еще десятки других можно спокойно скачать на Hugging Face.

А где изображение, там и видео. Ведь видео - это 30 изображений в секунду. Например, неплохо создает видеоролики на средних компьютерах нейронка VideoCrafter 2. Вчерашние майнеры криптовалюты не стали продавать свои подержанные мощные видеокарты, а быстро перешли на использование их в работе искусственного интеллекта. Почти каждую неделю в инете появляются новые онлайн-интерфейсы, предлагающие своим пользователям за небольшую плату генерировать картинки или видео. В мессенджерах и соцсетях распространилось множество ботов с подключенными по API разоонбразными нейронками. Количество моделей искусственного интеллекта, доступных для установки на том же Hugging Face, впечатляет.

Доступно всем.

В данное время подделка видео - самое сложное занятие. Нейротехнологиям еще предстоит некоторое время, чтобы развиться до степени реализма. Потому мошенники по старинке чаще используют подделки голосов и фото.

Подделать фотоизображения можно было и раньше в специальных программах-редакторах уровня Photoshop. Но для качества требовались специальные знания и навыки, что не давало широких возможностей широкому кругу людей. В 2024 году все изменилось - теперь любой может использовать нейронки, чтобы делать качественные фото-фейки.

Такая же ситуация и с подделкой голоса. На сегодняшнее время существуют десятки онлайн-интерфейсов и локальных моделей, способных подменить ваш записанный голос на голос политика или актера. При должном подходе и стараниях отличия будут незаметны. Таким образом любому человеку на телефон может позвонить фейковый мер его города или такой же любимый киноактер с какой-нибудь просьбой или деловым предложением. Все мы знаем подобные в основном безобидные пранки и весело смеемся с них.

Известны случаи дипфейковых директоров компаний, приказывающих по видеосвязи бухгалтерам делать денежные переводы на поддельные счета, а также забавный случай приглашения сотрудника одной известной компании на якобы рабочую видеоконференцию с дипфейковыми сотрудниками и руководством, часть из которых просто статично молчала.

Например, фейковые ролики с Илоном Маском, якобы рекламирующим криптовалютные, программные и социальные проекты - довольно частое явление. Не меньше внимания мошенники уделяют и другим известным личностям.

Мошенники помельче таким же образом продают фальсификат, размещая в качестве рекламы видеодипфейки с медиаличностями.

Также распространенная схема - обман на сайтах знакомств. Симпатичная девушка смело общаться с сети и даже обещает встречу, но просить оплатить что-то, например билет в кино или такси. Доверчивый парнишка с радостью соглашается помочь и оплачивает фейковые услуги на фейковых сайтах. Или вкладывает деньги в криптовалютные проекты “брата” понравившейся девушки. В результате чего он может остаться вообще без денег на карте, если введет свои данные на сайте мошенников. С нейросетями эта схема стала намного проще. Генерация убедительных фото на фоне городских пейзажей и приятный голос в телефоне - уже не сложность. Доверчивую “жертву” так легче убедить. Переписка на сайте и в мессенджере так и вовсе дело автоматизации. Теперь ее может вести искусственный интеллект в виде ИИ-агента. За счет автоматизации мошенники масштабируют деятельность, тем самым повышая ее общую эффективность.

Еще опаснее подделка голосов родных и близких, а также их фотоизображений. Для таких звонков мошенники обычно выбирают ночное время, чтобы застать “жертву” врасплох. Они могут прислать на мессенджер поддельные фото и уже в звонке голосом роднного человека сообщить о неких проблемах, которые “жертва” может разрешить, перечислив определенную сумму денег на предоставленный счет. Схема старая, но при наличи фотодоказательств и знакомого голоса человека уже не так трудно уговорить. Достаточно показать ему поддельное фото описанной ситуации, и он может поверить.

Описание изображения

Звонки под видом сотрудников банков и государственных органов опять участились. Сетевые телеоператоры в рамках борьбы с мошенничеством за год блокируют миллиарды таких звонков и номеров.

Кроме опытных мошенником обманом также пытаются заниматся и обычные граждане. Известно уже немало попыток получить страховую выплату по фейковым фото поврежденных автомобилей, аварий, стихийных бедствий и болезненных состояний.

Люди пытаются обмануть своих коллег и начальство, выкладывая в соцсетях фейковые повреждения своих конечностей и болезни домашних питомцев. Также известны случаи многочисленных попыток обмануть государственные органы поддельным контентом. Люди выкладывают на паблики поддельные фото домов соседей с растущими во дворе запрещенными растениями, кучами мусора и даже трупами. Подобных примеров злоумышленных действий с использованием нейросетей можно привести сотни. Нужно понимать, что такие шутки или умышленные действия наказываеются по закону и могут закончится строком уже не в фейковой, а в реальной тюрьме.

Американское издание FOX5 провело расследование, в котором выяснило, что "мошенники используют электронные письма для обмана их получателей. Человек получает ничем не примечательное письмо без ссылок и вложений. Но если он попросит Gemini кратко изложить его содержание, все быстро станет пугающим. В кратком содержании будут срочные предупреждения о взломанном пароле. Вам будет предложено позвонить в службу поддержки, чтобы решить проблему. Однако предупреждения, номер телефона, даже человек на другом конце провода — всё это подделка. Это мошенничество!"

Как противостоять.

Не все так печально, как может казаться. С развитием технологий развивается и среднестатистический пользователь. Человек, понимающий ситуацию с дипфейками, не станет доверять ни похожим голосам с незнакомых номеров, ни фото-видео доказательствам с незнакомых аккаунтов. Человек знающий не будет открывать незнакомые ссылки и позаботится о безопасности своих банковских счетов хотя бы на уровне использования разных сим-карт и банковских карт.

Вопросом этическим я бы тут назвал роль лидеров общественного мнения и медиаресурсов - просвещение своих сообществ в области развития информационного опыта и критического мышления, в связке способных противостоять иррациональным порывам доверия к незнакомым людям в сети.

Разработка организации C2PA и SynthID от Google.

В феврале 2021 года в рамках проекта Joint Development Foundation был создан альянс Adobe, Arm, Intel, Microsoft, BBC, Meta, Amazon, OpenAI, PublicisGroup, Sony и признанного верификатора криптографической подлинности цифровых медиа Truepic, названный C2PA - Coalition for Content Provenance and Authenticity - Коалиция по происхождению и подлинности контента. Альянс до 2022 года разработал открытый технический стандарт для верификации происхождения цифрового контента, включая изображения и видео, в том числе созданных с помощью нейросетей.

Данный стандарт есть своеобразной цифровой подписью и называется манифестом. Будучи встроенным в цифровые камеры, манифест при создании фотографии или видео подписывает этот цифровой контент, чем заверяет его подлинность. После подписания через сеть данный актив (файл с подписью) регистрируется автоматически в базе данных манифестов и может быть подтвержден, как уникальный и авторский.

При этом спецификация C2PA определяет набор данных в форматах CBOR, JSON, JUMBF и других, которые присваивает манифест файлу. Кроме хешей и водяного знака владелец файла может добавить свои биометрические данные (например, отпечаток пальца) которые будут указывать на принадлежность файла. Утверждены протоколы передачи этих данных в базу и прочие технические моменты, предусмотрены все случаи редактирования контента и передачи прав.

Интересным и важным моментом тут есть повышение доказательной ценности подписанных манифестом медиаматериалов в судебных разбирательствах, поскольку их подлинность уже будет подтверждена.

Также в борьбу за уникальный контент включаеться и Google DeepMind, интегрируя технологию водяного знака SynthID в свои генераторы текста, изображений, видео и звука.

Если упростить, то технология работает по принципу сопоставления случайно генерируемых чисел ключа-пароля (к примеру: 2, 45, 28, 598, 724) и количества проверяемых элементов файла в одном блоке проверки (слов в тексте, пикселей или кадров), в среднем их 5. При проверке блоки накладываются друг на друга, образуя матрицу, которую нейросеть примеряет на матрицу оригинала и при сверке выдает результат.

Соответственно, чем больше количество проверяемых элементов, тем больше надежность проверки, но и больше уязвимость и возможность редактирования. Подробнее о технологии также можно посмотреть в этом видео.

C2PA и Google не борются напрямую с распространением фейкового контента, но они предлагают эффективное решение в рамках своих возможностей - защиты настоящего и уникального контента.

Google разработал и постоянно обновляет концепцию Frontier Safety Framework (FSF) — комплексный подход к выявлению и снижению серьезных рисков, связанных с передовыми моделями нейросетей.

Также есть ряд детекторов для проверки текста. Но качество их работы весьма сомнительно. Один из самых известных инструментов - GPTZero. Он анализирует текст по показателям перплексии и бурстинесса - это попытка оценить, насколько текст логичен и предсказуем. Используется в школах и университетах для проверки работ на "человечность".

Другой популярный сервис — ZeroGPT. Он выдает процент вероятности того, что текст был написан ИИ. Однако пользователи часто отмечают его чувствительность к шаблонным выражениям и завышенные оценки.

Внедрен детектор ИИ-текста и в систему академической проверки на плагиат Turnitin. Хотя он активно используется в учебных заведениях, уровень ложных срабатываний остается высоким, особенно при анализе коротких текстов.

В корпоративной среде популярен Sapling AI Detector. Он предназначен для анализа деловой переписки и документов на предмет ИИ-генерации.

Текстовый детектор нейросетей SMODIN также предлагает обучение работе с текстами.

Платформа для SEO-копирайтеров, блогеров и агентств Content at Scale AI Detector позволяет проверять большие объемы текстов на признаки генерации. Также предлагает инструмент для перефразирования ИИ-текста, чтобы он прошел проверку. То же самое предлагает и сервис BYPASSGPT.

Сервис QUILLBOT, специализирующийся на копирайтинге, также предлагает услуги распознавания текста, перефразирования, распознавания плагиата и другие. Имеет расширения для браузеров и операционных систем с бесплатными услугами.

Есть достаточно предложений и по оценке контента изображений и видео. К примеру, сервис цифровой безопасности Hive предлагает инструменты модерации ИИ-контента Hive Moderation, включая распознавание генерации текста, изображений, видео и аудио.

Организация Sensity AI изначально фокусировалась на распознавании дипфейков. Сейчас предлагает услуги по обнаружению синтетического контента, включая ИИ-текст и видео. Используется в кибербезопасности и правоохранительных органах.

Сервис Roboflow ориентирован на компьютерное зрение и тренирует свои ии-модели YOLO от облачного сервиса обучения моделей без кода Ultralytics HUB на распознавание сгенерированных изображений, логотипов и мемов. Используется в комерции и медиа.

Ресурс WINSTON AI также предлагает сканирование текстов, изображений и сайтов для выявления плагиата и нейросетевого копирования. Предоставляет услугу сертификации контента HUMN-1 - подтверждение, что текст создан человеком. Дает 2000 кредитов для бесплатного использования сервиса в течение 14 дней.

Одним из маяков актуальных киберугроз на просторах сети можно назвать сервис FEEDLY - платфорима, отслеживающая и собирающая информацию о кибератаках и киберугрозах со всего мира. Можно отслеживать как всю информацию, так и отраслевые угрозы.

Передовой оператор платежных транзакций для бизнеса Stripe использует нейросетевой сервис RADAR для выявления мошенничества в онлайн-платежах. Для этого в панели управления пользователю доступны соответствующие инструменты настройки политики транзакций, строгая аутентификация через протокол 3D Secure (PSD2 в Европе) и другие.

Команда ученых из Корнеллского университета (США) - Питер Ф. Майкл и коллеги - создали технологию кодирования очень тонких, шумоподобных модуляций освещения сцены, которое создает информационную асимметрию, благоприятствующую верификации изображений и видео. Простыми словами, технология добавляет временной водяной знак к любому видео, записанному с кодированным освещением. Водяной знак кодирует изображение необработанной сцены, которое выглядит освещенным только кодированным освещением. Это освещение невидимо для человека, существенно затрудняет создание такой поддельной сцены злоумышленниками в нейросетях, но легко распознается технологией.

Китай тоже присоединился к борьбе против дезинформации в интернете. Администрация китайского киберпространства (CAC) и еще три китайских интернет-агентства с 1 сентября 2025 ввели ряд правил, требующих от поставщиков услуг генерации контента маркировать материалы, сгенерированные нейросетями, как таковые — либо явно, либо с помощью метаданных, закодированных в каждом файле. Также в Китае массово удаляют контент с ресурсов, его выложивших, если он подпадает под определение дезинформации.

Своё видение безопасности языковых моделей предлагает компания APOLLO Research. Понятие "интриг" языковых моделей на этапе достижения ими определённой цели стало проблемой для лидеров рынка. Просто обучить модель уже не является большим достижением в отрасли. Добавление оптимизирующих настроек и масштабируемость моделей становится приоритетом для учёных. Действуя в этом направлении, Google также создал свою модель VaultGemma, основанную на зашумлении конфиденциальных данных.

Все эти и многие другие люди пытаються создать инструменты для нашей с вами цифровой безопасности. Я искренне хочу, чтобы им это удалось.

Даже холодные головы в 2025 году начали задумываться над реализацией этого подхода к решению надвигающейся проблемы. Для ее решения на этом уровне следует выполнить самую сложную задачу современного пара-корпоративного общества - кроме производителей ПО объединить в этом вопросе и производителей техники.

Но пока этого не произошло, именно сейчас потребитель, пользователь, человек остается один перед волной многообразного медиаконтента, который заполнил соцсети. И многие люди верят тому, что видят. Об этом они искренне пишут в комментариях и отзывах. А значит, они уязвимы к направленному уже на них потоку дезинформации.

Вот пример сгенерированного Google Veo3 видео, которое 26 мая 2025 года поразило многих не только своей реалистичностю, но и тем, что набрало миллионы просмотров и было массово воспринято, как реальное.

Многие люди поверили в реальность этого видео, что может означать достижение технологиями критического порога человеческого мышления, за которым генерацию отличить практически невозможно.

Также интересный случай произошел с управлеением полиции американского города Уэстбрука. Работник управления выложил в интернет фотографию, не заметив, что она существенно изменена нейросетью. И только бдительность жителей Уэстбрука помогла выявить поддлеку (ссылка доступна только в США).

Некоторые покупатели интернет-маркета EBAY были обмануты сгенерированными картинками несуществующих растений цветов "Кошачий глаз", похожих на животных. Мошенники продавали семена таких якобы растений, выкладывая в обьявления сгенерированные неросетью изображения.

Image description

Позволю себе дать несколько советов, которые могут спасти ваше финансовое и психологическое состояние.

1. Всегда используйте дополнительную сим-карту для банковских услуг. Никому не давайте ее номер.

2. Не открывайте сразу незнакомые файлы - проверьте их на специальном интернет ресурсе Hybrid Analysis.

3. Не переходите сразу по незнакомых ссылках, которые вам прислали в интернете. Проверьте их сначала на специальных интернет-ресурсах VirusTotal или URLVoid.

4. Не доверяйте фотоизображениям и видео, которые вы увидели в соцсетях. Перепроверяйте информацию на больших новостных сайтах или отложите какие-либо действия с этим контентом хотя бы на сутки.

5. Перепроверяйте информацию, полученную в звонках с незнакомых номеров. Если речь шла о ваших знакомых или родных, переспросите их. Даже ночью. Часто бывает что мошенники спамят звонками и смс телефон того, за кого себя выдают, чтобы вы не могли к нему дозвониться. Найдите человека через другие средства связи - мессенджеры или знакомых.

Будьте всегда спокойны - нельзя изводить себя страхом перед каждым незнакомым номером. Стандартных мер предосторожности в ближайшем будущем уже будет недостаточно. Биометрические данные, попавшие в сеть через безобидные приложения, могут стать инструментом взлома ваших материальных ресурсов. Использование веселых видеомасок в соцсетях, и считывание биометрики вашей внешности может быть использовано для регистрации онлайн в банках и госучреждениях.

Отличить реалистичную генерацию от реального видео становиться все сложнее и сложнее. Большинство учреждений просто не обладают ресурсами и специалистами, способными быстро распознать подделку. Сделать это трудно, но можно. К примеру, опытные полицейские быстро распознают подделанные документы, потому что часто их видят. Мелкие галлюцинации нейросетей оставляют еле заметные следы в результатах генерации, и специалист их сможет заметить.

Мы предлагаем вам немного потренироваться в нашем SAID TEST, обучаясь определять, где генерация, а где реальное фото. Такие навыки помогут вам в сложной ситуации заметить подвох и будут очень полезны в будущем, которое нас ждет.

Следование этим нехитрым правилам поможет вам не попасться на уловки скамеров. Я искренне желаю, чтобы мошенники всегда обходили вас стороной. Берегите себя и своих близких.

said-корреспондент🌐

Обсуждение в теме с одноименным названием в сообществе.