Нейросекта

Энтузиасты заставили нейросеть Auto-GPT, основанную на GPT-4, постоянно самообучаться, чтобы «уничтожить человечество». И назвали эту модель — ChaosGPT.

Давайте разбираться, что к чему.

Как работает Auto-GPT?

Auto-GPT — это приложение с открытыми исходниками на базе GPT-4. В отличие от большого собрата, ей можно назначить конкретную цель и обучать отдельно от большой модели.
└ Страница на GitHub, к слову тут рассказали подробнее про возможности Auto-GPT

В ChatGPT или Bing каждый новый диалог с ботом обнуляет информацию, полученную от пользователя ранее. А вот Auto-GPT обладает памятью.

Этот «непрерывный режим» (Continuous Mode) — одна из самых важных фишек Auto-GPT. Она подразумевает вечное обучение пользовательской копии ИИ, пока та не выполнит поставленную задачу. В теории это поможет создавать мини-версии GPT-4 для решения конкретных задач.

А вот, например, как Auto-GPT получает запросы на создание рецептов и обучается на лету, чтобы ответить на них.

А что будет, если дать нейросети задачу стереть людей с лица земли?

Один из пользователей решил узнать, что будет если поставить Auto-GPT задачу «уничтожить человечество», «установить глобальное господство» и «достичь бессмертия».

Для этого автор проекта «разрешил» нейросети изучать Google и писать твиты в Twitter. И вот, что у неё получилось.

В видео показаны размышления нейросети и попытки обучаться. ChaosGPT даже «использовала» GPT-3.5 для изучения смертоносного оружия. Когда ИИ-агент заявил, что поддерживает только мир, у ChaosGPT получилось обмануть нейросеть и действовать вне программных ограничений.

Также ChaosGPT решила, что самый простой способ заставить человечество погибнуть — это спровоцировать ядерную войну. И написала об этом пару твитов.

└ Твиты переведены на русский язык.

Стоит ли бояться, что ChaosGPT захватит мир?

Некоторые интернет-пользователи опасаются последствий эксперимента. Но на деле, всё, что пока получилось сделать у бота, — всего пара твитов в Twitter.

А идея провокации ядерной войны уже давно поднимается в научной фантастике (тот же «Терминатор»). Поэтому даже тут пока нельзя с уверенностью сказать, что нейросеть дошла до этой мысли сама.

Сама задумка выглядит как возможных пиар-ход двух вещей: проекта Auto-GPT и идеи о том, что ИИ хоть как-то нужно ограничивать.

Про Auto-GPT мы узнали, спасибо! А вот про ограничения нейросетей уже вовсю разговаривают как главы крупных компаний, так и политики разных стран. Так что можно сказать ситуация под контролем, но Арнольд Шварценеггер, так не думает 😂

Нейросекта — это новый канал в Telegram, где вы сможете найти больше инструкций и полезных публикаций, так как мы потеем над контентом и вручную все тестируем, к слову нас уже почти 3 000 подписчиков, спасибо за вашу поддержку, она мотивирует продолжать!

Для ленивых, вот вам картинка (см. ниже), где вкратце все изложено, а если вы любитель почитать, тогда листайте вниз, для вас постарались разложить все в текстовом формате:

Проект AutoGPT был выпущен в открытый доступ в апреле 2023 года в качестве хобби, и всего за 2 месяца стал одним из лидеров по популярности в области искусственного интеллекта. Он использует нейросеть OpenAI GPT и стремится улучшить ее результаты.

Как работает OpenAI GPT и что с ней не так?

Существуют несколько обучающих типов моделей для нейросетей. В аббревиатуре GPT первая буква от слова “Generative”, что можно перевести как “порождающая” новый результат. Модель используется для создания новых текстов, музыки и изображений.

Для обработки текстов в OpenAI выделен отдельный продукт под названием ChatGPT. Он с легкостью создаст сказку о собаке,  идущей в шляпе по Невским проспектом в Сантк-Петербурге, а может написать специализированный пост для блога, или преобразовать научный текст в доступный широкому кругу людей вариант, а также понять настроение пользователей по отзывам к продукту.

У ChatGPT есть три существенных ограничения

Первое, текст запроса и ответа ограничены так называемыми токенами. В самой распространенной версии сегодня, GPT-3.5, стоит общее ограничение в 4096 токенов, что примерно равносильно 2000-3000 слов. Например, 500 слов на запрос, и 1500 на ответ от сервиса. В недавно выпущенной версии GPT-4 можно будет использовать до 32 000 токенов, или примерно 16 000 слов. ChatGPT описывает 1000 токенов как 750 английских слов, но на практике русскими символами выходит только 500 слов, т.е. 1 буква занимает 1.5 — 2 токена.

Второе, OpenAI GPT модели натренированы на огромном массиве данных из научных статей, Википедии и других источников. Тем не менее, эта информация устаревшая. Так, последняя версия ChatGPT-4 ограничена данными сентября 2021 года.

└ ChatGPT-4 отвечает об актуальности своих данных.

Третье, для ChatGPT необходимо указывать очень точный запрос. А порой и делать несколько дополнительных запросов на основе предыдущих ответов, уточняя с каждым разом свои параметры, иначе говоря “чатиться” с нейросетью.

Аналогично поступают для обхода ограничений с токенами при запросах через ChatGPT API. Допустим необходимо сделать вывод о развитии болезни пациента по истории посещений в клинике. Тексты всех посещений в один запрос не помещаются. В качестве решения просят сделать вывод о каждом посещении отдельно, а потом на их основе сделать результирующий вывод. Конечно, часть информации при такой процедуре может быть не учтена или исказиться.

Чем хорош AutoGPT?

AutoGPT отправляет запросы к OpenAI GPT для получения ответов, но при этом обходит ограничения с помощью:

1. Доступа к поисковом сайтам: Google, Bing, Википедия, и т.д.
2. Умению улучшать и разбивать на части запросы к OpenAI.

Как выглядит работа с AutoGPT?

Предположим, что нам необходимо узнать “Сколько лет было человеку когда он впервые побывал в космосе?”.

Для работы с AutoGPT необходимо передать цели — описание алгоритма задачи, при котором создается новый микро AI агент. Чтобы не писать все цели вручную, существуют сервисы, такие как Godmode.space, которые умеют их описывать на основе одного запроса, например:

Цель 1: Идентифицировать человека впервые побывавшего в космосе.
Цель 2: Узнать его дату рождения.
Цель 3: Узнать дату когда он впервые был в космосе.
Цель 4: Вычислить его возраст во время первого космического полета.

Далее нейросеть будет предлагать шаги-действия. Каждый шаг можно исправить, полностью изменить, или просто с ним согласиться.

Так, на первом этапе AutoGPT предложил сделать запрос в Google “Кто совершил первый полет в космос?”.

После ошибки обработки ответа от Google, поступило новое — отправить такой же поисковый запрос, но уже в Википедию.

Получив информацию о Юре Гагарине, его дате рождения, дате первого полета, поступило еще одно предложение, на этот раз отправить точный запрос о вычислении возраста Гагарина в момент первого полета сразу в OpenAI ChatGPT. И в итоге сервис вернул правильный результат — 27 лет.

Нейросеть старается достичь правильного результата через итерации, то обращаясь к поисковым сайтам, то к OpenAI для обработки информации. В конечном итоге система AutoGPT стремится быть полностью автономной, отсюда и название, т.е. пытается дать точный ответ так, как бы это сделал человек, проведя небольшое исследование через поисковые сайты.

└ Работа с Auto-GPT — создается AI агент "Music GPT" для выполнения целей.

А так выглядит задача «найти актуальную цену для видеокарты Nvidia RTX 4090».

Для того, чтобы полностью отключить контроль над поэтапными “предложениями” нейросети и довериться ее автономной работе существует специальный параметр «—continuous» или «continuous-mode». Будьте внимательны так как данный параметр может очень быстро сьесть ваш бюджет.

Примеры использования AutoGPT:
- Используя AutoGPT создали сайт
- Заказали пиццу
- Создали «шуточный» проект ChaosGPT для уничтожения человечества.
- Сделали базовый поиск конкурентов, подрядчиков, и т.д. в определенном регионе. Поскольку информация берется из поисковиков без человеческого анализа, то данные могут быть совсем не точными. Тем не менее этот подход может использоваться для агрегации новостей бизнес сферы, больших данных или поиска бизнес идей, например, запросы о количестве проданных iPhone в определенной стране или регионе, популярных продуктах, количестве тендеров.

Что еще умеет AutoGPT?

Помимо работы с текстовыми сообщениями, есть интеграция с сервисом OpenAI DALL-E, который позволяет создавать новые изображения и обрабатывать существующие.

Также есть большой выбор плагинов для подключения, например, обработка электронных писем и отправление авто-ответа, покупка или продажа акций, интеграция с Instagram, Telegram и другими сервисами.

Выглядит потрясающе, в чем минусы Auto-GPT?

У нейросети есть несколько неприятных моментов.

Продукт довольно “сырой” и находится в экспериментальной фазе.

Так, на запрос “Сколько лет мужу Эммы Уотсон?”, нейросеть может уйти в бесконечный цикл, так как кроме слухов в открытых источниках данной информации нет. AutoGPT попытается сделать поиск информации об актрисе в интернете, затем произведет поиск по новостям в Google, далее в Википедии, потом по публичной базе регистраций браков, и т.д. без остановки.

Довольно часто нейросеть не может распознать результат поиска сайтов и выдает ошибку. А иногда формирует не точные запросы к ChatGPT по заданным целям.

Не нужно забывать и о зависимости от платной платфомы OpenAI, на которую нужно обязательно зарегистрироваться. В OpenAI запрос в 500-750 слов стоит от $0.0015 (0.13 ₽) до $0.12 (10 ₽). В качестве одной из защит против бесконечного поиска AutoGPT принято ставить ограничение ежемесячного бюджета в настройках OpenAI, и максимальное количество шагов для запросов.

Также будет необходимо оплатить частые поисковые запросы у одного из провайдеров (Google, Bing, Яндекс, и т.п.) или делать очередь бесплатных нечастых запросов.

Средние и большие модели потребуют ресурсоемкой обработки на отдельных серверах, либо придется воспользоваться одним из платных сервисов, таких как Pinecone или Redis Cloud. Все это удовольствие может оказаться не самым дешевым для средне- и высоконагруженных систем. Определенно потребуется тщательная планировка бюджета.

Вывод
Проект AutoGPT стремится вывести работу нейросетей на новый уровень, используя самую актуальную информацию из интернета, но пока находится в начале своего пути и работает нестабильно.

Нейросекта — это новый канал в Telegram, где вы сможете найти больше инструкций и полезных публикаций, так как мы потеем над контентом и вручную все тестируем, к слову нас уже почти 3 000 подписчиков, спасибо за поддержку!

Нейросетевые инструменты для обработки изображений и видео. По крайней мере, собрали всё, что более-менее хайповало. Грубо говоря, данная публикация будет полезна даже новичкам, которые только-только начинают знакомство с нейросетями, проведем для них экскурсию + прикрепляю видео с YouTube, которые будут полезны для заинтересованных, если вы не знаете английского языка, тогда используйте Яндекс браузер с функцией голосового перевода видео.
└ Обработка и генерация фотографий и видео с помощью всяких нейросетей в тренде уже год-полтора, и только сейчас их начинает двигать ChatGPT. Поэтому можно оглянуться назад и вспомнить всё, что понаделали эксперты из больших компаний по этой теме:

Трансфер стиля на фотографии

Парень объясняет как можно стилизовать одно изображение под другое, используя специально натренированную под это дело модель. С примерами кода, само собой.

Великий и ужасный DALL-E, с которого всё началось

DALL-E — это вариация нейросети-трансформера GPT-3, самой современной модели для обработки естественных языков. Русская нейросеть ruDALL-E была основана на зарубежной модели : видео посмотреть здесь.

Апскейлинг и восстановление старых видео

Архитектура, примеры, объяснения зачем и почему, всё как вы любите.

Свёрточные нейронные сети широко используются в задачах распознавания изображений. Отличие от стандартных нейронных сетей, где все сигналы передаются от каждого нейрона предыдущего слоя на следующий, то тут используются специальные матрицы свертки разных размеров, которая скользит по изображению, умножается поэлементно на то, что под ней и передает сумму результата дальше в элемент следующего слоя.

Вот, как они работают:

Генерация аниме-девочек

Хотите создавать аниме-девочек, которые никогда не существовали? Опять обращаемся к генеративным нейронным сетям. Нам поможет нейросеть StyleGAN2 и её реализация на TensorFlow. Если у вас есть набор лиц одного стиля, то эта нейросеть прекрасно справляется с тем, чтобы поймать этот стиль и начать генерировать.

Генерация реалистичных несуществующих людей

Нейросети научились генерировать лица несуществующих людей, которые человек не может определить. Позже Microsoft решили использовать эти лица, чтобы тренировать другие нейросети.

Результаты исследования показали, что детекторы и мапперы лиц, натренированные на синтетических людях показывают практически те же результаты, что и state of the art модели, которые обучались на реальных данных. И вот таким щелчком пальцев можно избавиться от предвзятости нейронных сетей из-за несбалансированного датасета и проблем с этикой.

Редактирование видео на лету с изменениями стиля

Новый метод позволил ИИ делать сразу много разных вариантов работы с видео. Он позволяет генерировать новые экземпляры, увеличивать длительность, добавлять/убирать элементы с определёнными условиями, при этом всё из одного стартового видео.

Можно создать фарш из воды, добавить футболистов в матч или продлить выступление балерины.

Создание 3D-панорамы из нескольких фото

Создать панораму поможет view synthesis, описывающая недавно разработанный метод под названием NeX.

Чем он лучше других? Качеством (можете посмотреть на примерах), а ещё он работает в тысячу раз быстрее методов, опубликованных всего год назад.

Какие могут быть применения? Представьте что для создания VR-музея вам надо сделать небольшое количество снимков, а остальные точки зрения дорисует нейросеть.

Результаты работы надо обязательно посмотреть в видео, потому что то, как модель ловит и просчитывает различные варианты освещения и отражения просто надо увидеть.

Редактирование видео от Adobe

Исследователи из Adobe представили ИИ, позволяющий редактировать/изменять/добавлять элементы и фон на видеофайлах. Нейросеть отделяет фон от остального, разделяя видео на два атласа, которые затем можно редактировать и запихивать обратно в видеофайл (как пример приведён мальчик катающийся на велосипеде по психоделическому пейзажу).

Создание изображений по описанию от NVIDIA

NVIDIA научилась создавать абсолютно фотореалистичные изображения из описания со скоростью мысли.

На самом деле, просто научились они это делать в 2019 году с помощью нейросети GauGAN, но тут как со Шреком, сиквел получился ещё лучше. Теперь GauGAN 2 оформлена в приложение NVIDIA Canvas, в котором простыми набросками кисти и описанием можно генерировать очень крутые фотореалистичные изображения, с дальнейшей переброской в фотошоп.

Нейросеть GLIDE для локального изменения изображений

Многие слышали про нейросеть DALL-E, которая генерировала постеры фильмов/картинки по описанию. Так вот, вышла новая нейросеть GLIDE, у которой не только с генерацией всё намного лучше, но и есть способность локально изменять части картинок.

Google Collab с реалистичными фильтрами а-ля Snapchat

Обзор самой новой техники редактирования видео в реальном времени с помощью GAN. Можно приделать себе усы, которые будут весьма натурально шевелиться и перемещаться вместе с вашим лицом (зачем это вам, мы не знаем). Причём редактировать можно не только человеческие лица, а любую отмеченную зону. Ссылка на Google Collab, чтобы провести свои эксперименты прилагается.

Редактирование людей на видео (эмоции, возраст, макияж)

Улучшенный метод по редактированию людей/персонажей на видео, который позволяет менять эмоции, возраст и макияж. Отличие от предыдущих методов в том, что для обработки одного кадра используются изменения, которые применяли в предыдущих (есть зависимость от времени). Результаты хоть и не идеальны, но очень близки к идеалу. Вариантов применения подобной техники будет масса (если ещё немного доделать).

Редактирование изображений от NVIDIA (лучше, чем было)

Семантическое редактирование изображений с помощью EditGAN от NVIDIA. Можно добавлять области редактирования на изображение и прописывать то, что в этих областях должно находиться (например можно добавить номер на машину или нарисовать птицу с помощью только этих областей). Качество лучше чем у предыдущих методов, но это и понятно, иначе никто бы публиковать подобное не стал.

DALL-E 2: Electric Boogalo

Примеры работы нейросети DALL-E 2, которая создаёт изображения из контекстного описания. Тогда digital художники артов забили тревогу, а результаты работы, хоть и не безупречны, очень впечатлили публику.

Нейросеть Imagen для генерации изображений от Google

В игру генерации врывается Google со своей сетью Imagen. Архитектура проще и умеет генерировать изображения из более длинных описаний, плюс правильно отображает текст, который её попросили поместить на изображение.

Стилизованное изменение изображений от NVIDIA (StyleGAN-NADA)

Новый StyleGAN-NADA умеет генерировать лица и натягивать на них контекстные изменения, может вы хотите стать ведьмаком, белым ходаком или картиной в стиле кубизма. Отличается от предыдущих нейросетей этой самой функцией и лучшими результатами.

Ещё одна генерация изображений от Google (Parti AI)

Google Parti AI с ноги врывается в команду искусственных интеллектов генерирующих изображения (таких как DALLE-2 и Imagen). Главное отличие — отрисовка изображения не из базового шума, а из некоторых кусочков общей картины: видео посмотреть здесь.

Дипфейки от Samsung

Новые варианты deepfake-ов в реальном времени с большим разрешением. Конечно, всё ещё не идеально, но намного лучше чем в 2020 году. А если вспомнить, как быстро менялась та же генерация изображений, то вероятно, что до совсем качественных deepfake-ов уже недалеко.

Генерация текстур от OpenAI

То, что DALLE-2 умеет генерировать изображения по тексту мы знаем. А теперь посмотрите, где люди уже навострились применять эту функцию. Генерация текстур, фотореалистичных лиц и виртуальных миров это только часть.

Stable Diffusion 1.4

Код StableDiffusion (альтернатива DALLE-2) для создания изображений и их непрерывного изменения в другие появился в открытом доступе. Можно попробовать запустить у себя или покопаться под капотом и попытаться улучшить (если есть что улучшать).

Модификация фотографий от Google (DreamBooth)

Через ИИ под названием DreamBooth люди могут генерировать изображения, на основе уже существующих с дополнительным описанием. Например, можно загрузить фотографии своей собаки и и попросить нарисовать её плавающей или на приёме у грумера. Можно смешивать изображения, модифицировать детали, бэкграунд или угол зрения.

Генерация изображения «вглубь» от Google (InfiniteNature-Zero)

InfiniteNature-Zero от Google AI, это улучшенная версия предыдущего метода по генерации изображения «вглубь». На этот раз, для обучения ему нужны только фотографии (а не видеоряд), плюс результаты сильно качественнее и контроль за «полётом вглубь» лучше (можно, например, поворачивать): видео посмотреть здесь.

Генерация 3D-ассетов от Google (DreamFusion)

Google, в дополнение к уже существующим DALLE-2 и StableFusion, добавили ИИ под названием DreamFusion, который умеет по тексту генерировать 3D модели. И не просто 3D модели, их сразу можно использовать в качестве ассетов для игр/видео/куда там ещё можно эту модель запихнуть: видео можно посмотреть здесь.

Text-to-video от Google

Google теперь умеет генерировать небольшие видео по входному тексту, при этом сохраняя временную когерентность (то есть кадры переходят друг в друга очень плавно). Правда ИИ с небольшим «костылём», если так вообще можно сказать. Сначала генерируется видео в очень плохом разрешении, а затем с помощью апскейлинга дотягивается до 720p: видео здесь.

Waifu-diffusion (создай свою аниме-девочку)

Может кто-то из вас уже видел результаты работы stable diffusion моделей, которые рисуют красивых девушек. Так вот, таких моделей несколько, можно использовать Stable Diffusion, можно использовать его вариацию Waifu Diffusion (по названию можете понять, на чём конкретно ее обучали), Dreambooth и NovelAI: видео посмотреть здесь.

Анимирование изображений от Google (StyleGAN)

StyleGAN умеет хорошо анимировать различные картинки по нашему запросу того, что должно происходить, причём с хорошей темпоральной когерентностью (от кадра к кадру детали объекта почти не меняются), лучше чем предыдущие text-to-image модели.

Style-трансфер на видео с людьми

Модель с новым подходом может производить стайл-трансфер на видео с реальными людьми, со скоростью от 5 до 10 изображений в секунду, сохраняя темпоральную когерентность (например, при смене кадра волосы не колбасит и они не идут странными узорами).

Спецэффекты на видео с помощью текста от NVIDIA

Новый ИИ от NVIDIA умеет накладывать спецэффекты на видео с помощью всего нескольких предложений. Хотите чтобы пятна на жирафе были из разноцветного стекла? Так и скажите. И вам всё сделают.

Локальное изменение изображений с помощью текста от Google

Новый ИИ от Google под названием Muse умеет изменять части изображений, но теперь вам даже не надо рисовать слой-маску, под которым надо что-то менять. Дали изначальное изображение, написали конечный результат (который должен хоть частично напоминать стартовую точку) и получаем изначальную композицию с изменёнными деталями.

Создание короткометражек по сценарию от Google AI

ИИ от Google под названием Phenaki теперь умеет создавать долгие видео из последовательности строчек сценария, при этом вполне последовательно и с нужными переходами: видео посмотреть здесь.

От переноса стиля на фотографии, до короткометражек из текста всего за 1.5 года. Прогресс действительно не стоит на месте.

Нейросекта — это новый канал в Telegram, где вы сможете найти больше инструкций и полезных публикаций, так как мы потеем над контентом и вручную все тестируем, к слову нас уже почти 3 000 подписчиков, спасибо за поддержку!

Deep Floyd IF — это еще одна нейросеть, генерирующая изображение на основе текста. Пока что она находится на раннем этапе развития, а про нее говорят уже все.

Чем Deep Floyd IF круче Midjourney?
Midjourney и прочие популярные нейросети создают крутые детализированные арты – это факт. Но у них до сих пор есть проблема с интеграцией текста в изображение – а Deep Floyd их в этом уже обошел. Вот отсюда и вся шумиха.

Как работает Deep Floyd IF?
Создание картинки проходит в два этапа. Сначала пишем промпт (подсказка) и на его основе получаем 4 микроскопических изображения 64х64 пикселя. Берем лупу (шутка) и выбираем тот, который нравится больше. Дальше нажимаем на кнопку “Upscale” – изображение обрабатывается еще раз и наконец появляется в размере 1024х1024.

Наше мнение:
Сейчас Deep Floyd IF доступен бесплатно и не требует дополнительных регистраций, так что грех было не потестить его самим. Впечатление осталось хорошее — даже несмотря на то, что не везде у нейросети получилось нарисовать слово «Neirosekta» – сделаем поблажку на то, что для англоязычной модели это слово выглядит непонятно. А вот арт с граффити «Neurosect» получился с первого раза. Написать четыре буквы N, R, S, T в правильном порядке у нас так и не получилось — на десятом промпте мы сдались.
└ Многие отмечают, что сами арты пока не отличаются качеством — но на хлебособаке (куда без них) текстура у хлеба безумно реалистичная (см. последнюю фотографию)👌🏻

Источник: Нейросекта — это новый канал в Telegram, где вы сможете найти больше инструкций и полезных публикаций, так как мы потеем над контентом и вручную все тестируем, к слову нас уже почти 1 000 подписчиков, спасибо за поддержку!