4 место Король cоциалок #21: генерация контента с помощью нейро-сервисов OpenAI, AI21, Jarvis

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
ai0.jpg


По мере того, как искусственный интеллект (ИИ) становится все более сложным, растет и технология, используемая для его создания. Одним из таких примеров являются модели Google Transformer или GPT-3, которые, как было показано, способны генерировать реалистично выглядящий текст. У этого может быть множество приложений, от помощи людям в написании до создания совершенно новых миров.

Стоп! Прошу простить меня уважаемых читателей, но абзац выше писал не я. Он был создан нейросетью по моему заголовку и команде. С первого раза. Без правок и дополнений. Это перевод на русский, а вот оригинал в качестве доказательства:

2021-12-06_10-59-22.png


Я не стал бы доверять нейро-алгоритмам полностью написать статью для традиционного Конкурса статей, но сейчас можно сказать абсолютно уверенно – большую часть процесса уже можно им поручить. Как текстовую часть, так и собственно JS и C# код для зенно-шаблонов.

Многие следя за успешной статьёй прошлого конкурса шаблонов были разочарованы результатами, которые получили пользователи, особенно если оценивать потраченное время и ресурсы. Всё же контент после GPT-2 и предобученный GPT-3 сложно сравнивать – это небо и земля. Первый сразу бросается в глаза и Гугл его легко определяет. Второй, после некоторой фильтрации, удаления повторов и мелких недочётов, вполне увлекательное чтиво и, как результат, такие статьи любит и высоко ранжирует Гугл.

OpenAI

Буквально месяц назад самый известный сервис по нейро-генеренке, OpenAI, объявил о начале предоставления доступа к своим ресурсам для всех желающих (без списка ожидания как было раньше на протяжении трёх лет). К сожалению, многие из пользователей стран экс-СССР доступ этот официально не получат, потому что таких стран как Россия или Украина нет в списке разрешенных. Но нас эти запреты не остановят: прокси + SMS сервис и виртуальная карта зарубежного банка решают проблему. Думаю, у большинства пользователей не вызовет сложностей регистрация на OpenAI.

Все сервисы, о которых я буду рассказывать в этой статье, платные, но цена довольно низкая. Особенно по сравнению с услугами копирайтеров. Да, качество текстов значительно проигрывает грамотным статьям профессиональных авторов, но себестоимость статьи получается в 20-50 раз более низкая, в зависимости от сервиса и от жадности копирайтера, и это оправдывает все расходы.

ОpenAI предлагает 4 движка по убыванию способностей и цены: davinci, curie, babbage, и ada. Цена на токены (единица оплаты, 1000 токенов это примерно 750 слов) варьируется от $0.0600 за 1000 (ДаВинчи) до $0.0008 (Ада). При этом обратно пропорционально меняется скорость генерации. Несмотря на скорость и цену мне не удалось добиться более-менее хорошего результата текстов для движков ada и babbage, но может пока не хватает практики.

Это всё так называемые базовые серии. Кроме этих моделей OpenAI предлагает очень хорошую серию Instruct, которая неплохо зашла для генерации всяких методик, инструкций, описаний. Также в приватной бетке находится Codex серия. Эта штука в своё время наделала много шума, ведь она предназначена для написания кода. Да-да программисты скоро уйдут на свалку истории (конечно, нет).

Ну и наконец, предлагаются услуги по точной настройке вашей модели на основе вашего контента - Fine tuned models. Не будем подробно останавливаться на каждой модели, в документации всё есть, а если чего-то нет, то техподдержка и активное комьюнити вам оперативно помогут.
Более подробно ознакомиться с документацией можно по ссылке: https://beta.openai.com/docs/

ai6.jpg


Минусы или проблемы
  • Многие модели натренированы в 17-19 годах и они почти ничего не знают о КОВИДе или о президентстве Байдена. Поэтому новостные статьи получаются не всегда удачными. Но! Если в prompt сообщить модели факты на которые она может опираться (КОВИД-глобальная эпидемия смертоностного вируса и т. д.), то модель может на опираясь на эти факты генерировать уже более фактологически верные новости. Также решением этой проблемы станет точно настроенная, специально обученная под ваш контент, кастомная модель. Новые модели (например embedding) уже оперируют знаниями 2020 года.
  • Несмотря на дешевизну, при масштабных проектах затраты могут быть весьма значительными. Чтобы избежать лишних трат для начала рекомендую работать с сервисами – посредниками через их веб-интерфейс. Да, у них тоже есть лимиты, но иногда их можно обходить и генерировать тексты размером несколько миллионов слов в месяц всего за $100.
  • Некоторые тематики под запретом. Например гэмблинг или сексуальные тематики. https://beta.openai.com/docs/usage-guidelines/content-guidelines Также запрещены текста вызывающую вражду, расовую дискриминацию и т. п. У сервисов настроены специальные фильтры для детекта подобного контента. Однако все эти ограничения очень расплывчаты и работая через веб-версии (не АПИ) некоторых ресурсов из списка ниже, можно попробовать генерировать текстовку и на запрещённые темы.
ai3.jpg


AI21.com

Этот конкурент OpenAI заявляет, что их модель Jurassic-1 имеет 178 миллиардов параметров, что немного больше чем GPT-3. Тем не менее я не заметил заметного улучшения в качестве текстовки и даже часто генерёнка от AI21 меня разочаровывала. Но, может быть, я ещё не до конца разобрался в параметрах и методах формирования prompt.

Во многом работа с AI21 очень похожа на процессы генерации текста у OpenAI: тоже есть токены, “игровая площадка”, API, аналогичные параметры. Примеры запросов по АПИ я также привёл во вложенном шаблоне. Есть два движка j1-large, j1-jumbo, но при особом запросе, после согласований, они натренируют вашу собственную модель. Ценовая модель тоже очень близка к сервису Илона Маска, да и требования к генерируемому контенту похожи, но, опытные коллеги говорят, что они на многое закрывают глаза.

ai1.jpg


Работа в ЗенноПостере с вышеперечисленными сервисами имеет два разных подхода. С OpenAI и AI21 нужно работать запросами по API. Для этого потребуется ключ, который можно получить сразу после регистрации.

Пример запроса для OpenAI и аналог для AI21:

API запросы:
//openai.com
return ZennoPoster.HttpPost("https://api.openai.com/v1/engines/" + project.Variables["engine"].Value + "/completions",  project.Variables["data"].Value, "application/json", Cookies: "", AdditionalHeaders: new string[]{"Authorization: Bearer " + project.Variables["api_key"].Value});
//ai21.com
return ZennoPoster.HttpPost("https://api.ai21.com/studio/v1/" + project.Variables["engine"].Value + "/complete",  project.Variables["data"].Value, "application/json", Cookies: "", AdditionalHeaders: new string[]{"Authorization: Bearer " + project.Variables["api_key"].Value});
Предварительно JSON с параметрами нужно подготовить и, после получения ответа, разобрать данные JSON кубиком ЗенноПостера.

JARVIS

Самый первый абзац я получил с помощью одного из самых популярных сервисов, который использует мощности GPT-3 для предоставления услуг пользователям. До недавних пор у них был безлимитный план (на самом деле лимиты всё же были и мой пятикратный опыт разблокировки аккаунта тому подтверждение), который позволял создавать качественные тексты очень не дорого. Сейчас план поменялся, но, к счастью, сервисов аналогичных Джарвису довольно много.

Для работы с сервисами типа Джарвиса придётся попотеть и написать автоматизацию составления, постинга команд, нажатия кнопок, проверок и сбора данных. Тогда зачем использовать эти сервисы, если они и дороже, и медленнее, и глючнее, чем работа по АПИ с OpenAI/AI21? Есть несколько причин, которые могут обратить ваше внимание на эти сервисы:
  • Использование «сложных» тематик. OpenAI/AI21 требуют апрува приложений перед использованием и если ваша тематика, например, гэмблинг, то скорее всего ваше приложение завернут. А вот в сервисах-посредниках чаще всего вы сможете использовать «нелегальные» тематики, хотя и там есть фильтры.
  • При использовании автоматизации ЗП и при условии, если сервис не особо следит за лимитами, можно добиться более низкой себестоимости генерёнки.
  • Часто сервисы создают свои обученные модельки и они показывают неплохие результаты.
  • Всё же шаблоны сервисов с минимумом настроек более дружелюбны к новичкам, чем формирование сложных запросов с несколькими параметрами и странными командами на чужом языке.
Вот далеко не неполный список таких ресурсов:
ttps://writerzen.net/pricing
https://www.articleforge.com (этот, кстати, интегрирован в ЗенноПостер)

Готовый контент требует проверки, очистки и подготовки. Наиболее часто встречающаяся проблема – это повторы. Когда AI не понимает задачу или у него исчерпаны варианты, он начинает тупо повторять текст. Это нужно мониторить и в автоматическом режиме менять параметры или команды. Для этого разбиваем текст на предложения. Тут нет ничего лучше чем решение Лорда Альфреда, за что ему очередная благодарность. Затем сравниваем фразы и вычисляем коэффициент повторов.

Также частенько фраза обрывается на полуслове. Это такая особенность GPT-3. Для этого также разбиваем фразу на предложения, удаляем огрызок и склеиваем обратно в полноценный текст.

По-хорошему ещё нужно прогнать текст через какую-либо либу (звучит как рэп :D) по грамматической коррекции текста. Но лично я так не делаю – в 95% случаев результат получается вполне удовлетворительный. Для постов в соцсети всё же это нужно сделать, эти тексты могут прочитать тысячи людей, отличии от длинных статей на сайтах, которые читают лишь поисковые боты.

ai2.jpg


Монетизация

У OpenAI довольно хорошая документация и масса примеров.
На примерах остановимся немного подольше, ведь они подарят вам массу идей как можно монетизировать эти новые вдохновляющие возможности:

1. Синонимизация
Тут всё просто, даже самые дешевые движки вполне сносно синонимизируют или делают рерайт входящие тексты.

2. Генерация статей для полудорвейных сайты (полная автоматизация) и белых проектов (всё же требуется проверка текстов и вычитка)
При этом генерируется не только собственно текстовка, а полный набор элементов чрезвычайно важный для SEO: заголовки, микро-разметка, схемы, табличные данные, мета-теги. Если вы генерируете статьи для ДДЛ (доры для людей), то сейчас самая выигрышная тактика это комбинации контента: копипаста с указанием источника, копипаста без указания источника, переводные статьи и, конечно, статьи сгенерированные AI по ключам. Добавьте сюда разные типы постов: инфо-статьи, новостные, отзывы, сравнения или обзоры, FAQ и ваш сайт будет очень любим поисковиками за разнообразие и объём материалов.

Вот пример трафика только одной статьи сгенерированной по правильным ключам в трендовой тематике:
263563329_10158928472336622_2516008590290419888_n.jpg

Монетизация сайтов тоже не представляет особой сложности: реклама Google Ads, Ezoic или Mediavine. Либо генерация статей нацеленных на аудиторию конкретных партнерок в вертикалях крипта, гемблинг, фарма.

3. Заработок по продаже готовых текстов или их написание под заказ (копирайтинг)
Бирж копирайтинга довольно много. Например textbroker, да и на многих сервисах фриланса есть разделы специалистов предлагающих свои услуги в написании статей. Вы думаете, что не сможете нормально писать статьи на английском со своим elementary уровнем? С помощью GPT-3 + онлайн-переводчик для контроля вполне сможете. Я не раз встречал посты от индусов, которые хвалились в группах сервисов своими успехами.

4. Генерация постов в соц. сети
Ну собственно поэтому статья всё ещё в формате «Король социалок». Да, посты генерируются неплохие, особенно повторяющиеся, тематические. Например для психологического паблика я генерирую аффирмации.
2021-12-10_11-21-54.png


5. Написание клона stackoverflow
Это уже конкретная идея. Нет, я не говорю об этих копипастных дорвеях, которые все вы встречаете в ТОПах ища что-то по коду. Речь о создании довольно полезного сайта где собраны сгенерированные сниппеты с помощью Codex по самым рейтинговым вопросам из SOF.

6. Полезный сервис – обертка
Тут масса идей: от генерации платных гороскопов в зависимости от введенных пользователей параметров, до сервиса для владельцев сайтов по “усилению” статей (добавления ценности давно опубликованным статьям, их актуализации).

Буквально несколько дней назад OpenAI выкатили новую модель – Embedding.
Мне кажется это прекрасная возможность создания собственного сервиса ведь этот формат данных можно использовать в алгоритмах машинного обучения. Посмотрите примеры на этой странице и вероятно у вас появятся идеи где это можно применить - https://beta.openai.com/docs/guides/embeddings/what-are-embeddings.

Ну и для тех, кто хочет увидеть внутренности этих новых миров, я записал небольшое видео:


ai5.jpg
 
Тема статьи
Способы заработка, SEO / PPC, Соц. сети, Генерация
Номер конкурса статей
Шестнадцатый конкурс статей

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:
Регистрация
04.09.2014
Сообщения
444
Благодарностей
624
Баллы
93
  • Спасибо
Реакции: Astraport

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
  • Спасибо
Реакции: makalu

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
Полезная штука, как всегда у тебя )
 
  • Спасибо
Реакции: Astraport

Zennovods

Client
Регистрация
11.02.2019
Сообщения
212
Благодарностей
125
Баллы
43
Бро, не понимаю почему тебя иногда хейтят) мат ты выдаешь зачетный, только жаль прямой буржадалт там запрещен.
Скорее всего мой голос будет за тебя!
 
Последнее редактирование:

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
  • Спасибо
Реакции: Andrew Shell и Zennovods

Sanekk

Client
Регистрация
24.06.2016
Сообщения
987
Благодарностей
388
Баллы
63
Как текстовую часть, так и собственно JS и C# код для зенно-шаблонов.
Посмотрел бы я как нейронка бы шабы на зенке индуским кодом :D
А так статья зачёт:ay:
 
  • Спасибо
Реакции: Astraport

Old

Client
Регистрация
24.01.2018
Сообщения
176
Благодарностей
87
Баллы
28
JARVIS
До недавних пор у них был безлимитный план (на самом деле лимиты всё же были и мой пятикратный опыт разблокировки аккаунта тому подтверждение), который позволял создавать качественные тексты очень не дорого. Сейчас план поменялся, но, к счастью, сервисов аналогичных Джарвису довольно много.
Так это ты организатор складчин на jarvis, которого уже несколько раз блокировали но в итоге разблокировали? Очень знакомая история.
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
Так это ты организатор складчин на jarvis, которого уже несколько раз блокировали но в итоге разблокировали?
Нет, откуда такие выводы?
Делать мне больше нечего как складчинами заниматься.
 

Rimen

Client
Регистрация
28.10.2019
Сообщения
404
Благодарностей
232
Баллы
43
Очень вовремя
статью пока не читал, но мой голос уже ваш. жаль что на русский только с переводом. но ничего -- сразу на бурже можно тренироваться )
 
  • Спасибо
Реакции: Astraport

SlavaKot

Client
Регистрация
21.01.2021
Сообщения
3
Благодарностей
1
Баллы
3
Блин, магия какая-то) Только я сел делать комбайн по контенту и тут такой подарок) Очень в тему, спасибо. Кстати, для gpt-3 либы есть. Голос ваш.
 
  • Спасибо
Реакции: Astraport

Old

Client
Регистрация
24.01.2018
Сообщения
176
Благодарностей
87
Баллы
28
Откуда такие выводы?
1) Уже написал, что все написанное тобой про jarvis уже слышал не так давно в другом месте.
2) Есть сомнения, что платишь 119 y.e в месяц за сервис, который бесполезен как для автоматизаторов так и для дорвейщиков. Сплошные лимиты и запреты. Подходит только для ручной генерации постов для соц. сетей и тайтлов для ютуба.

Во всех подобных GPT-3 AI сервисах запрещена автоматизация. В правилах абсолютно всех сайтов прописано "добросовестное использование". Это означает, что ты можешь унести столько, сколько сможешь унести руками. За любую автоматизацию или превышения, а также все, что может показаться админам превышением, приходит блок. На некоторых сайтах на "безлимитных" тарифах установлены дневные лимиты с такой припиской: "при работе вручную вы все-равно не сможете использовать весь дневной лимит". Отбить 119 y.e. и еще заработать сверху используя только ручную генерацию очень сложно, скорее даже невозможно. Поэтому самый лучший способ не уйти в минус - участвовать в совместной покупке.

Делать мне больше нечего
На нет и суда нет.
 
  • Спасибо
Реакции: Astraport

varnak

Client
Регистрация
27.09.2009
Сообщения
290
Благодарностей
20
Баллы
18
нужно тестануть
 
  • Спасибо
Реакции: Astraport

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
Есть сомнения, что платишь 119 y.e в месяц за сервис, который бесполезен как для автоматизаторов так и для дорвейщиков.
Я знаю как минимум ещё двух коллег. Каждый из них словил +/- такое же количество фризов.
Отбить 119 y.e. и еще заработать сверху используя только ручную генерацию очень сложно, скорее даже невозможно.
Ну поэтому Джарвис только как пример и есть ещё списочек ниже. И 119 в месяц вполне окупаются. Скрин с трафиком тому пример.
Во всех подобных GPT-3 AI сервисах запрещена автоматизация.
API есть, а автоматизация запрещена. Это как?)
 
Последнее редактирование:

charlik

Client
Регистрация
14.02.2016
Сообщения
6
Благодарностей
2
Баллы
3
  • Спасибо
Реакции: Astraport

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113

Sanekk

Client
Регистрация
24.06.2016
Сообщения
987
Благодарностей
388
Баллы
63
Я обычную бурж. карту юзал, не виртуалку.

PS. Человек почти 6 лет ждал чтобы впервые спросить что-то на форуме)
Ну дак если всё понятно было вот и не спрашивал... а тут не понятно значит:bk:
 
  • Спасибо
Реакции: Astraport

Lite

Client
Регистрация
17.10.2013
Сообщения
282
Благодарностей
89
Баллы
28

charlik

Client
Регистрация
14.02.2016
Сообщения
6
Благодарностей
2
Баллы
3

mrfeathers

Новичок
Регистрация
07.11.2015
Сообщения
14
Благодарностей
0
Баллы
1
График трафика давно сделан? Каким числом заканчивается скриншот?
 

Old

Client
Регистрация
24.01.2018
Сообщения
176
Благодарностей
87
Баллы
28
API есть, а автоматизация запрещена. Это как?)
Про API ничего не могу сказать, не интересовался. Только какой толк от этого API если везде лимиты. Их месячных лимитов мне даже на день не хватает, хоть с API хоть без него. Для таких смешных лимитов и автоматизация не нужна, можно и так справиться.
А инфу про запрет автоматизации можно найти в правилах любого сервиса. Просто их никто не читает, а я прочитал, чтобы понять с чем придется иметь дело.

Ну поэтому Джарвис только как пример и есть ещё списочек ниже.
Обошел уже большую часть сервисов, в том числе и некоторые сервисы из "списочка", просто написал про jarvis. Везде одно и тоже. Цены только отличаются. Как правило, где цена ниже там и лимитов меньше.
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
График трафика давно сделан? Каким числом заканчивается скриншот?
Судя по дизайну GSC, недавно.
Обошел уже большую часть сервисов, в том числе и некоторые сервисы из "списочка", просто написал про jarvis. Везде одно и тоже.
Ещё раз попробую спросить, но уже напрямую) OpenAI пробовали?
 

kokus

Client
Регистрация
25.09.2021
Сообщения
11
Благодарностей
0
Баллы
1
А какой СМС-сервис годиться? Попробовал 2 смски не прилетают.
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113

kokus

Client
Регистрация
25.09.2021
Сообщения
11
Благодарностей
0
Баллы
1
Не, он не прокатывает
86594
 
Последнее редактирование:

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113

kokus

Client
Регистрация
25.09.2021
Сообщения
11
Благодарностей
0
Баллы
1
Блин, что то все равно не приходит. Может сейчас косяк какой-то с смсками. надо попозже попробовать.
 

Old

Client
Регистрация
24.01.2018
Сообщения
176
Благодарностей
87
Баллы
28
Последнее редактирование:
  • Спасибо
Реакции: Astraport

backoff

Client
Регистрация
20.04.2015
Сообщения
5 914
Благодарностей
6 381
Баллы
113

DevOps

Client
Регистрация
30.11.2020
Сообщения
495
Благодарностей
311
Баллы
63
Плюсанул тоже.
Такими темпами наверное следующая статья будет:
Король cоциалок #2* - Собираем ИИ на базе Zennoposter :-) :ay:
 
  • Спасибо
Реакции: vadim4ukr и Astraport

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)