Что такое нейросети в фотошопе
Нейросеть Adobe определяет фотографии, обработанные в Photoshop
Команда Adobe рассказала о новом проекте, который ведет совместно с Калифорнийским университетом — создании искусственного интеллекта, способного выявлять контент, отредактированный при помощи продуктов компании. Первая разработка в серии, нейросеть под названием CNN, различает изображения, к которым применялся один из популярных фильтров Adobe Photoshop, почти в два раза успешнее, чем средний человек.
Как поясняют в посте представители компании, идея проекта во многом продиктована этическими соображениями. Разработчики Adobe приложили немало усилий, чтобы совершенствовать и популяризировать инструменты для редактирования изображений, аудиоклипов и других типов файлов. Однако одним из последствий их работы стало засилье поддельного контента. Нейросеть CNN — это попытка дать пользователям что-то вроде лакмусовой бумажки для интернет-браузинга.
В представленной разработке реализована малая часть того диапазона возможностей, который Adobe намерена обеспечить в будущем. Нейросеть CNN работает только с изображениями людей и распознает только применение фильтра «Пластика». Данный инструмент был выбран для первой итерации по двум причинам: он пользуется большой популярностью для обработки портретных изображений и вносит в них очень тонкие, точечные изменения, которые человеческому глазу сложно уловить. В частности, фильтр может в значительной степени искажать не только черты, но и выражение лица.
Очерчивая функциональность технологии, авторы перечисляют следующие требования:
После завершения обучения случайным образом был выбраны пары изображений (оригинал — измененная версия) для тестирования. Параллельно с моделью тест проходила также группа людей, которых предварительно предупредили, что в каждой паре фотографий одна отредактирована. Исследователи хотели выяснить, насколько им удалось выполнить первое из заявленных требований — создать автоматизированную систему выявления подделок, более эффективную, чем человеческое зрение.
Итоги тестирования показали, что цель достигнута: люди давали правильные ответы только в 53% случаев, в то время как CNN определяла исходник с точностью, доходящей до 99%. В прочих отношениях нейросеть также показала «впечатляющие результаты»: она указывала на области, подвергнувшиеся воздействию фильтра, называла примененные инструменты и даже с приемлемой точностью восстанавливала оригинал.
Исследователи признают, что до универсальной волшебной кнопки отмены пока еще далеко — даже при самом оптимистичном сценарии они смогут обеспечить встроенную валидацию такого рода только для контента, который обрабатывался в Photoshop. Тем не менее, они рассчитывают и дальше развивать фотоэкспертизу средствами искусственного интеллекта. «Это важный шаг для выявления визуальных изменений определенного типа, и функция восстановления исходника работает на удивление хорошо, — говорит глава команды разработчиков Гэйвин Миллер. — Помимо таких технологий лучшая защита — просвещенные люди, которые понимают, что фотографии могут представать перед ними в искаженном виде — часто, чтобы их порадовать, но иногда и чтобы обмануть».
В Adobe Photoshop добавлены новые нейронные фильтры с ускорением на GPU Nvidia
Их работа была показана в ходе конференции Adobe MAX
На проходящем сейчас мероприятии Adobe MAX были продемонстрированы инструменты Adobe Photoshop, работающие по алгоритмам искусственного интеллекта. Их работу ускоряют графические процессоры Nvidia RTX. Речь идет о новых нейронных фильтрах.
По словам Nvidia, нейронные фильтры — это новый набор функций, «позволяющий художникам пользоваться инструментами на базе искусственного интеллекта, чтобы исследовать свои творческие идеи и вносить потрясающие, сложные изменения в изображения за считанные секунды». Раньше на выполнение подобных изменений вручную понадобились бы часы утомительной работы, но искусственный интеллект позволяет вносить их почти мгновенно.
В частности, результатом сотрудничества Adobe и Nvidia в области технологий искусственного интеллекта стал фильтр Smart Portrait Filter для Photoshop, который основан на технологии Nvidia StyleGAN2. С его помощью художники могут легко изменять характеристики лица, например, меняя направление взгляда и угол освещения. Для этого достаточно менять положения ползунков. Основой Smart Portrait стала нейросеть, разработанная Nvidia и обученная на многочисленных портретных изображениях.
Преимущество от использования графических процессоров Nvidia RTX получат и те, кто работает с видео в программе Adobe Premiere Pro. Оно обеспечивается за счет того, что практически все декодирование с ускорением GPU выгружается в выделенную видеопамять, благодаря чему воспроизведение видео при просмотре отснятого материала становится более плавным, что особенно заметно при сверхвысоком разрешении и многопоточности. Расширенные функции, опирающиеся на возможности искусственного интеллекта, такие как Scene Edit Detection и Auto Reframe, автоматизируют выполнение рутинных задач.
Кроме того, в Adobe Premiere Elements первые добавлено ускорение средствами GPU для мгновенного воспроизведения популярных видеоэффектов, таких, как добавление бликов и оверлея и обрезка видео, а также для воспроизведения в реальном времени без предварительного рендеринга.
В Photoshop появилась нейросеть для быстрого редактирования фотографий одним кликом
Иногда кажется, что знаменитая программа Photoshop выглядит устаревшей на фоне быстрых алгоритмов редактирования в смартфонах. Чтобы не отстать от прогресса, Adobe внедряет нейронную сеть под названием Sensei, способную одним кликом буквально творить чудеса с фотографиями.
Фоторедакторы на смартфонах позволяют быстро и просто менять изображения. Некоторые из этих приложений используют простые алгоритмы, но есть и те, что основаны на искусственном интеллекте. В рамках мероприятия MAX компания Adobe объявила о масштабной интеграции нейронной сети в Photoshop. Очень скоро пользователям будут доступны специальные фильтры, редактирование изображения при помощи которых будет сводиться к нескольким кликам мышкой.
Первые два фильтра представлены «Сглаживанием кожи» и «Передачей стиля» с шестью настройками, позволяющими изменить возраст человека на фото, поменять освещение в изображении, раскрасить чёрно-белое изображение и многое другое. Нейронные фильтры находятся в открытом доступе, что позволит энтузиастам создавать собственные стили и делиться ими с другими пользователями.
Одной из новых функций нового ИИ стал фильтр Sky Replacement, с помощью которого можно очень легко заменить небо на другое фоновое изображение. Важно, что при изменении цветовой палитры неба будет меняться и остальная часть изображения — итоговая картинка окажется гармоничной.
Разработчики Photoshop также предусмотрели функцию обучения новичков, включающую простые советы и руководства, ускоряющие обработку фотографии при помощи новой нейросети.
Состарить лицо и почистить кожу: в Photoshop встроили нейросети для обработки фото
Adobe Photoshop представил на проходящем сейчас мероприятии Adobe MAX новые функции, работающие по алгоритмам искусственного интеллекта. Нейронные фильтры помогут пользователям изменить выражение лица, убрать морщины или, например, заменить небо на фотографии, сообщает TechСrunch.
Встроенная нейросеть в Photoshop сможет распознавать небо на ваших изображениях, а затем заменить его другим небом по вашему выбору. Так как цвета неба непосредственно влияют на освещение всей сцены, Photoshop отрегулирует цвета и остальной части фотографии. В коллекции Adobe уже есть 25 стандартных фотографий неба, но вы сможете вставить на фото и свое.
Еще один новый инструмент – Smart Portrait Filter, помогающий обрабатывать лицо человека. С этой функцией можно «очистить» кожу от морщин, прыщей и других смущающих неровностей. Кроме того, нейросеть сможет омолодить или состарить человека, повернуть голову человека в другую сторону, изменить ракурс освещения или направление взгляда.
Подписывайтесь на LIGA.Tech в Facebook: главные новости о технологиях
Smart Portrait Filter для Photoshop стал результатом сотрудничества Adobe и Nvidia в области технологий искусственного интеллекта. Основой инструмента стала нейросеть, разработанная Nvidia и обученная на многочисленных портретных изображениях, а также технология Nvidia StyleGAN2.
Adobe научила нейросеть определять использование Photoshop на портретах Статьи редакции
Пока это исследовательский проект, который не хотят выпускать публично.
Adobe совместно с Университетом Беркли разработала алгоритм, который способен определить, если лицо отредактировали в Photoshop. Нейросеть может даже подсказать, как отменить эффекты. Об этом сообщается на сайте компании.
В Adobe пока не планируют делать из алгоритма коммерческий продукт. Однако представитель компании рассказал The Verge, что нынешний эксперимент — всего лишь одна из многих попыток Adobe распознать манипуляции с изображениями, видео, аудио и документами.
Хотя мы гордимся влиянием Photoshop и других продуктов Adobe на мир, мы также осознаём этическое влияние нашей технологии. Фейковый контент — серьёзная и всё более актуальная проблема.
Исследование было нацелено на поиск применения инструмента Liquify. Обычно его используют в Photoshop для редактирования формы лица и изменения эмоций.
Для создания системы инженеры натренировали нейросеть на базе данных из парных лиц. Одно из них оставалось неизменным, а второе было отредактировано с помощью Liquify.
В результате алгоритм научился с высокой точностью узнавать использование Photoshop. Если люди могли распознать подделку только в 53% случаев, нейросеть была точна на 99% всё время. Алгоритм также может подсказать, как восстановить фото до оригинального состояния, однако в этом случае результаты выходят смешанными.
По словам одного из исследователей Adobe, идея кнопки «Отменить», которая бы отключала все эффекты, пока далека от реальности. Он отметил, что в нынешнем мире становится сложнее доверять цифровой информации, поэтому необходимы инструменты её проверки.
Как пояснили исследователи, алгоритм стал первым в своём роде и позволил совершить важный шаг на пути к другим инструментам. Теперь в компании думают создать нейросети, которые распознают изменения тона кожи.