Нейросеть научилась создавать изображения, которые система поиска NSFW-материалов принимает за порнографию, хотя они не имеют к ней отношения. Как сообщает пользователь Github Габриэль Го (Gabriel Goh) в своем посте, для этого использовался алгоритм, похожий на алгоритм Google DeepDream.

Недавно компания Yahoo выложила в открытый доступ код программы, которая умеет обнаруживать изображения категории NSFW (Not safe/suitable for work). К ним, как правило, относятся материалы, имеющие провокационный или сексуальный характер и не предназначенные для просмотра в присутствии посторонних людей. В данном случае программа была ориентирована на поиск порнографических снимков. Она оценивает вероятность того, что фотография имеет порнографическое содержание, и присваивает ему вес в диапазоне от нуля до единицы. Если снимку, например, присвоено значение менее 0,2, то это значит, что, скорее всего, оно не содержит неприличных элементов, а если выше 0,8 — то наоборот.

В основе программы Yahoo лежит использование сверточной нейросети и методов глубинного обучения. Чтобы нейросеть смогла распознать на изображении порнографию, ее предварительно тренируют с помощью большого числа аннотированных фотографий. Обученная нейросеть может определять паттерны, которые позволяют отнести изображение к числу непристойных. Однако процесс можно повернуть и в обратную сторону, заставив систему искажать фрагменты нейтральных изображений, если они напоминают программе непристойные паттерны. В таком случае веса в высоком слое спускаются вниз до исходного изображения. В результате система искажает исходное изображение, показывая те фрагменты, которые получили максимальные веса в высоком слое. Подробнее о принципах, на которых основываются эти манипуляции, вы можете прочитать в нашем материале.

Чтобы понять, что именно заставляет нейросеть классифицировать изображение как порнографическое, Габриэль Го использовал похожий метод. Он применил алгоритм, аналогичный алгоритму DeepDream. Его система ищет на изображении те части, которые напоминают заданный ей шаблон, а потом максимально активирует определенные нейроны. После этого система синтезирует натуралистичное изображение, которое показывает, на что среагировала нейросеть. В результате получаются абстракции, которым программа Yahoo присваивает максимальное значение