1 место AI Copywriter: Зарабатываем деньги с помощью нейронной сети GPT3

Viking01

Client
Регистрация
19.08.2017
Сообщения
228
Благодарностей
151
Баллы
43
*** Обновляемый пост

Парни, я тут немного заморочился, написал инструкции и записал видео.
Надеюсь поможет.



I. Установка на чистую систему.

В качестве жертвы берём -
  • отдельно стоящий комп, без студии и специализированных дистрибутивов,
  • ставим на него Zennoposter 7.4.0, даже в видео видно приветственное сообщение о первом запуске.

Шаг 1. Устанавливаем Python 3.7.0RC1 и Microsoft Visual C++ 2015-2019


1. Устанавливаем Python 3.7.0.
Прямая ссылка: скачать / cloud.mail.ru

2. Устанавливаем Microsoft Visual C++ 2015-2019
Прямая ссылка: скачать / cloud.mail.ru


Шаг 2. Пробуем запустить и получаем ошибку - не подтягивается одна из зависимостей.


1. Устанавливаем Microsoft C++ Build Tools
Прямая ссылка: скачать / cloud.mail.ru
Ссылка из видео проверить, какие компоненты ставить: посмотреть.

В Командной строке установка зависимости 'dependency_decoding':
pip install git+https://github.com/andersjo/dependency_decoding

***Может потребоваться еще git.
Как поставить:
1. Вариант 1 - простая инструкция по установке.
2. Вариант 2 - поставить Github Desktop отсюда: GitHub Desktop | Simple collaboration from your desktop
У него есть удобный интерфейс.


Шаг 3. Запускаем шаблон снова - и он работает.


А дальше - играемся с параметрами ... ) И конструируем свои шаблоны ...




II. Если что-то не работает, или troubleshoooting...
*** будем собирать и дополнять по мере выявления.

(!)Если ты читал внимательно первый пост, то помнишь, что тут используется Питон и зависимости.
Практически 3/4 проблем из-за него:
- не установлен,
- не добавлен в системную переменную PATH при установке,
- не снято ограничение на длину пути в Windows
- не подтянулись зависимости,
и прочее.

И есть процент систем, на которых он просто не запустится без шаманства.
Да, я сначала решил потестировать на одном офисном серваке - и на нем не пошло, представляешь?
Это была ошибка - не подтягивается модуль tensorFlow.
Ну, как исправить в теории - инструкция есть, я ее тут оставлю, но у меня терпения не хватило еще и ее ковырять.


Как получить полный текст ошибки?

82828


Кликнуть Правой клавишей мыши по сообщению -> Скопировать сообщение -> Вставить в любой текстовый редактор



Как увеличить скорость работы шаблона?
Скорость зависит от мощности железа и выбранных параметров.
Особенно от параметра length.
Можно публиковать в этой теме - с какими параметрами запускали и что получилось.
Да, и не забываем, что тут у нас и так много костылей - и чтобы запустить питон из шарпа, и запустить шарп из зенки :-)
Это тоже накладывает свой отпечаток :-)


Вот какой текст выдает эта ошибка:
ImportError: DLL load failed: Произошел сбой в программе инициализации библиотеки динамической компоновки (DLL).:
 Ru-генератор вызвал ошибку - Traceback (most recent call last):
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow.py", line 58, in <module>
    from tensorflow.python.pywrap_tensorflow_internal import *
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow_internal.py", line 28, in <module>
    _pywrap_tensorflow_internal = swig_import_helper()
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow_internal.py", line 24, in swig_import_helper
    _mod = imp.load_module('_pywrap_tensorflow_internal', fp, pathname, description)
  File "C:\Python37\Lib\imp.py", line 243, in load_module
    return load_dynamic(name, filename, file)
  File "C:\Python37\Lib\imp.py", line 343, in load_dynamic
    return _load(spec)
ImportError: DLL load failed: Произошел сбой в программе инициализации библиотеки динамической компоновки (DLL).


Failed to load the native TensorFlow runtime.

See https://www.tensorflow.org/install/errors

for some common reasons and solutions.  Include the entire stack trace
above this error message when asking for help. ...

Причина
- есть пакет tensorFlow, который скомпилирован на работу c CPU и есть с поддержкой GPU. Текущие версии 2+ содержат все в одном, но мы используем версию 1.15, а там они разные.
- второй вариант - проц старый, не поддерживает AVH инструкции.

Сведения об установке пакетов на сайте производителя: https://www.tensorflow.org/install/pip
Инструкция как обойти эти ограничения: посмотреть на stackOverflow


No module named 'dependency_decoding':
Результат проверки зависимости  git+https://github.com/andersjo/dependency_decoding : Collecting git+https://github.com/andersjo/dependency_decoding
  Cloning https://github.com/andersjo/dependency_decoding to c:\users\59874\appdata\local\temp\pip-req-build-g9jpv88h
  Resolved https://github.com/andersjo/dependency_decoding to commit 79510908223b93bd4c1fb0409a2a66dd75577c2c
Building wheels for collected packages: dependency-decoding
  Building wheel for dependency-decoding (setup.py): started
  Building wheel for dependency-decoding (setup.py): finished with status 'error'
  Running setup.py clean for dependency-decoding
Failed to build dependency-decoding
Installing collected packages: dependency-decoding
    Running setup.py install for dependency-decoding: started
    Running setup.py install for dependency-decoding: finished with status 'error'
Сам с ней столкнулся во втором видео.
Ставим Microsoft C++ Build Tools (ссылка выше)

После выполняем в Командной строке установку зависимости 'dependency_decoding':
pip install git+https://github.com/andersjo/dependency_decoding


Как выглядит текст ошибки - я не знаю, у меня не воспроизводилась.

Пробуем переустановить зависимости. Они все из пакета deeppavlov
Выполняем в Командной строке:
Установка зависимостей deeppavlov:
# устанавливаем сам пакет deeppavlov
pip install deeppavlov

# устанавливаем модуль
python.exe -m deeppavlov install squad_bert


Как выглядит:
Не найден установленный C:\Python37\python.exe
Ошибка обновления pip - Неверно задано имя папки

Не находит питон.

Или:
  • не добавлен в системные переменные при установке - процесс установки есть в видео,
  • или в настройках шаблона неверно указан путь к папке с python

Что делать? - Процедура установки питона показана в первом видео

Как выглядит:
82847


Если вчитаться - то не найдена команда git.

Как решить:
1. Вариант 1 - простая инструкция по установке.
2. Вариант 2 - поставить Github Desktop отсюда: GitHub Desktop | Simple collaboration from your desktop
У него есть удобный интерфейс.
 
Последнее редактирование:

Mixis

Client
Регистрация
07.05.2020
Сообщения
67
Благодарностей
10
Баллы
8
Ошибка обновления pip - Неверно задано имя папки
 

Viking01

Client
Регистрация
19.08.2017
Сообщения
228
Благодарностей
151
Баллы
43
*** вынес в отдельный пост, думаю добавить еще примеров.

Кто затестит шаблон, скиньте потом пару текстов.
Примеры текстов на рерайт:

ЗапросРезультат

Нейронет (NeuroNet) – один из предполагаемых и наиболее вероятных этапов развития Интернета. На новом этапе развития всемирной паутины взаимодействие участников будет осуществляться на принципах нейрокоммуникаций, т.е. на основе передачи информации об активности головного мозга. Ученые прогнозируют формирование рынка Нейронета к 2030-2040 г.
Интернет – это будущее человечества. В сети Интернет будут появляться люди с разными интересами и возможностями. Если в голове у человека есть мысль, то она обязательно материализуется. При этом будет происходить не просто взаимодействие между людьми, а взаимодействие на основе нейрокоммуникаций. Рынок нейронета к 2030-2040 г. ...

Две популярные парадигмы в области машинного обучения. Первые совершили настоящую революцию в области обработки больших объемов данных, дав начало новому направлению, получившему название глубинное обучение.
Две популярные парадигмы в области машинного обучения. Настоящая революция – это когда ты получаешь информацию, которая не может быть получена другими способами.

Нейронная сеть помогает писать тексты.

Нейронная сеть поможет писать книги, фильмы и музыку. Это так же просто, как и писать на доске.

If you want to create robust, browser-based regression automation suites and tests, scale and distribute scripts across many environments, then you want to use Selenium WebDriver, a collection of language specific bindings to drive a browser - the way it is meant to be driven.
Результат: En-Generator-Example1 - Pastebin.com

P.S. Какой аналог сделает такую статью, да еще с примерами кода?) Ну правда?)

It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him.

"It was a bright cold day in April, and the clocks were striking thirteen," said Winston to Winston. "Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him.

"He was on my way home," said Winston in his best, and he was glad. It was a warm winter day with the snow still on his face, and he looked out at his friends. "I was just sitting by my side. I was thinking, 'Why are you here?' " And the thought was that he would find them. He was going to find them again, to help them get back home, to help his mother get through a difficult period of her life. The only question was, what if his mother got back home, too?

"I was thinking," he said, "why are you here? I'm not going to do this to my mother, but I'm going to help them get back home."

He did not know that, in any way, he had done the opposite.

"The only thing I want for myself is to be here with my family," said Winston, as his mother came to the front door in tears from her own pain and her own pain. "To be safe and to be here and to have this chance to help my mother and my friends and to help them get back home. I just want to be here to help my mother's and my friends' and just get back home."

Winston's tears filled his mouth. He was in a place of sorrow. "It's not just my mother's that are going to be affected, and it doesn't have to be the same, but it is the other way around. I'm going to help my mother, and I can't help myself. I'm going to help my mother and my friends, but we need to do this together. We have to do this together, and we have to do this together because I want to help my own mother and my friends and to help myself, so I have to do this together with my mother and my friends and to try and help others. But the only way I'm going to do this is through my mother, my mother. I need to be here with my mother now. I need to be with my mother, and I need to be with my

На мой взгляд, лето – прекраснейшее время года, поскольку очень тепло, вокруг все красиво, и у нас имеется отличная возможность отдохнуть. А еще лето – это время каникул и отпусков. Мы можем отправиться куда угодно, замечательно провести время у водоема, в тени изумрудной зелени, плескаться в теплой воде. А можно отправиться в горы, носиться на велосипеде или играть во всевозможные игры.
У нас есть прекрасная возможность отдохнуть! Летом все отдыхают, а мы работаем. Если у нас будет время, мы можем отправиться куда угодно. У меня нет друзей, у меня нет работы, у меня нет денег.

Он шел по желтому песку, нагретому дневным палящим солнцем. В то же время он испытывал странное чувство, будто в нем течет кровь другого человека. Не было никаких сомнений в том, что он жив, пока он не появился из-за холма и не направился прямо на нас. При этом лейтенант испытывал странное чувство: будто он не один, что кто-то рядом.
Лейтенант шел по желтому строительному песку, нагретому дневным палящим солнцем. Он был мокрым от кончиков пальцев до кончиков волос, все его тело было усеяно царапинами от острой колючей проволоки и ныло от сводящей с ума боли, но он был жив и направлялся к командному штабу, который виднелся на горизонте метрах в пятистах.
Пример от sambukanuka (zennolab.com)
Прикольный специфический текст на ру и его результат тут:
https://zennolab.com/discussion/threads/ai-copywriter-zarabatyvaem-dengi-s-pomoschju-nejronnoj-seti-gpt3.95889/post-641613
Пример от Danko33 | ZennoLab - Сообщество профессионалов автоматизации

*** Сгенерировано GPT3 вообще. Но не с помощью шаблона из этой темы. Но все равно классно!

Нехилая жизненная история:
https://zennolab.com/discussion/threads/ai-copywriter-zarabatyvaem-dengi-s-pomoschju-nejronnoj-seti-gpt3.95889/post-641676

Текст про КОВИД (рерайт википедии)

Коронавирусная инфекция (COVID-19) – это инфекционное заболевание, вызванное вирусом SARS-CoV-2.
У большинства заболевших COVID-19 наблюдаются легкие или умеренные симптомы, выздоровление происходит без специфического лечения. Однако у некоторых людей заболевание протекает в тяжелой форме, и им требуется медицинская помощь.

КАК РАСПРОСТРАНЯЕТСЯ ЗАБОЛЕВАНИЕ
Вирус может передаваться с каплями слюны изо рта или выделениями из носа инфицированного человека во время кашля, чихания, разговора, пения или дыхания. Размер частиц жидкости может быть разным: от крупных респираторных капель до более мелких аэрозольных частиц.
Заразиться вирусом можно воздушно-капельным путем, находясь в близости от человека с COVID-19, или в результате переноса вируса руками с зараженной поверхности на слизистые оболочки глаз, носа или рта. Вирус легче распространяется в закрытых и переполненных помещениях.
Если в организме есть коронавирус – значит, есть и коронавирусная инфекция. Интересно, что это единственный вирус, который может передаваться человеку воздушно-капельным путем.У большинства заболевших, но не у всех. У некоторых людей болезнь протекает в тяжелой форме.Как передается вирус. Что такое пыль? -.Если в глаз попала инфекция, то она может быть занесена через слизистую оболочку глаза. Это так называемое заражение с помощью слюны. Если ты в толпе и у тебя есть возможность не дышать, не надо дышать. При этом вирус может находиться в воздухе до 6 ч.
 
Последнее редактирование:
  • Спасибо
Реакции: sahha

Viking01

Client
Регистрация
19.08.2017
Сообщения
228
Благодарностей
151
Баллы
43
Python 3.9.7 не подойдет?
Не должен. Но я не пробовал.

Не найден установленный C:\Python37\python.exe
Ошибка обновления pip - Неверно задано имя папки
Не находит питон.
Или
- не добавлен в системные переменные при установке - процесс установки есть в видео,
- или в настройках шаблона неверно указан путь к папке с python
 

Viking01

Client
Регистрация
19.08.2017
Сообщения
228
Благодарностей
151
Баллы
43
Всё хочу изучить ML.NET, да никак руки не дойдут.
Вероятностное программирование - оно такое... мозг свернёшь)
Но с интерпретатором питона в сишарпе - можно CatBoost запустить.
Там тоже много интересного)
 

backoff

Client
Регистрация
20.04.2015
Сообщения
5 914
Благодарностей
6 381
Баллы
113
А можно взять статью например 5к символов и посмотреть какой будет результат?
сложно пока понять результат по 3м строчкам.
Ну я к тому что можешь такой пример выложить. исходник и что стало. взять абсолютно любой текст
 

sambukanuka

Client
Регистрация
17.09.2019
Сообщения
287
Благодарностей
96
Баллы
28
Как выглядит текст ошибки - я не знаю, у меня не воспроизводилась.

Пробуем переустановить зависимости. Они все из пакета deeppavlov
Выполняем в Командной строке:
Установка зависимостей deeppavlov:
# устанавливаем сам пакет deeppavlov
pip install deeppavlov

# устанавливаем модуль
python.exe -m deeppavlov install squad_bert

из под какой папки надо запускать C:\Python39\Scripts?
 

Viking01

Client
Регистрация
19.08.2017
Сообщения
228
Благодарностей
151
Баллы
43
Из под любой потому что они все в системную переменную добавлены. И винда по ним по всем ищем исполняемый файл
только зачем питон 3.9?
Ну попробуй сначала именно с тем что я запустил
 

ExRich

Client
Регистрация
22.05.2021
Сообщения
94
Благодарностей
20
Баллы
8

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
Эх, жаль, думал GPT-3 и смогу экономить на платных сервисах.
А это GPT-2, модель юзают уже второй год. Эта генеренка даже на дорах уже не работает, не говоря про белые сайты.
 
Последнее редактирование:
  • Спасибо
Реакции: Andrew Shell и kagorec

sambukanuka

Client
Регистрация
17.09.2019
Сообщения
287
Благодарностей
96
Баллы
28
Эх, жаль, думал GPT-3 и смогу экономить на платных сервисах.
А это GPT-2, модель юзают уже второй год. Эта генеренка даже на дорах уже не работает, не говоря про белые сайты.
Русский GPT-3 или вы про енглиш?
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
Русский GPT-3 или вы про енглиш?
Мне кажется и русский не GPT-3 или просто качество такое низкое по сравнению с английской генеренкой.
Если сгенерить на английском GPT-3 и перевести на русский, то качество намного лучше получается.
 
  • Спасибо
Реакции: faros73

Spelin

Client
Регистрация
24.09.2019
Сообщения
445
Благодарностей
115
Баллы
43
такие танцы с бубном я еще не на одном шаблоне не делал)

P.S. все еще в процессе запуска)))
 
  • Спасибо
Реакции: user100

Spelin

Client
Регистрация
24.09.2019
Сообщения
445
Благодарностей
115
Баллы
43
C#:
 Ru-генератор вызвал ошибку - Traceback (most recent call last):
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow.py", line 58, in <module>
    from tensorflow.python.pywrap_tensorflow_internal import *
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow_internal.py", line 28, in <module>
    _pywrap_tensorflow_internal = swig_import_helper()
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow_internal.py", line 24, in swig_import_helper
    _mod = imp.load_module('_pywrap_tensorflow_internal', fp, pathname, description)
  File "C:\Python37\Lib\imp.py", line 243, in load_module
    return load_dynamic(name, filename, file)
  File "C:\Python37\Lib\imp.py", line 343, in load_dynamic
    return _load(spec)
ImportError: DLL load failed with error code -1073741795


Failed to load the native TensorFlow runtime.

See https://www.tensorflow.org/install/errors

for some common reasons and solutions.  Include the entire stack trace
above this error message when asking for help. ...
Что за ошибка?
 

Tyshka

Client
Регистрация
02.01.2016
Сообщения
56
Благодарностей
6
Баллы
8
Тип Время Сообщение
21:07:59 Не найден установленный C:\Python37\python.exe
и Ошибка при работе Visual Studio
Не найден установленный C:\Python37\python.exe -укажите ВАШ путь к python.exe вместо того что у автора
Ошибка при работе Visual Studio - какая именно? В ветке многое разобрали
 

Tyshka

Client
Регистрация
02.01.2016
Сообщения
56
Благодарностей
6
Баллы
8

Tyshka

Client
Регистрация
02.01.2016
Сообщения
56
Благодарностей
6
Баллы
8
Чтобы разблокировать веб-сборку
  1. Закройте Visual Studio.
  2. С помощью проводника Windows перейдите к сборке, которую вы скачали из Интернета.
  3. Щелкните сборку правой кнопкой мыши и в контекстном меню выберите « Свойства» .
    Откроется диалоговое окно " Свойства" .
  4. На вкладке Общие нажмите кнопку Разблокировать , чтобы указать, что эта сборка является надежной.
    Примечание
мне помогло
Посмотреть вложение 82802
Вот это помогла запустить на ПК, а не на сервере. Автор ответа имел ввиду файл TextGenerator.dll ( а то я завис и долго думал, какую сборку я скачал из Интернета))
 
  • Спасибо
Реакции: wersav

Viking01

Client
Регистрация
19.08.2017
Сообщения
228
Благодарностей
151
Баллы
43
Эх, жаль, думал GPT-3 и смогу экономить на платных сервисах.
А это GPT-2, модель юзают уже второй год. Эта генеренка даже на дорах уже не работает, не говоря про белые сайты.
Мне кажется и русский не GPT-3 или просто качество такое низкое по сравнению с английской генеренкой.
Ну вот, всегда в конце концов придёт кто-то, кто даже не запустив шаблон, начнёт кидать в него какашками ))
 
  • Спасибо
Реакции: GreenWay

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
Ну вот, всегда в конце концов придёт кто-то, кто даже не запустив шаблон, начнёт кидать в него какашками ))
Да при чём здесь шаблон? К нему претензий нет. Вопросы к контенту.
Вы думаете просто так платим сервисам сотни баксов?
 

tanichev

Client
Регистрация
14.08.2020
Сообщения
654
Благодарностей
761
Баллы
93
Ну вот, всегда в конце концов придёт кто-то, кто даже не запустив шаблон, начнёт кидать в него какашками ))
Это человек такой, не обращай внимания. Я считаю что ты победил в этом конкурсе. Молодец!
 

Spelin

Client
Регистрация
24.09.2019
Сообщения
445
Благодарностей
115
Баллы
43
Ru-генератор вызвал ошибку - module 'tensorflow' has no attribute 'gfile' ...


это как поправить?)
 

Tyshka

Client
Регистрация
02.01.2016
Сообщения
56
Благодарностей
6
Баллы
8
Все что связанно с pip install выдает ошибку
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Что не так делаю?
 

Spelin

Client
Регистрация
24.09.2019
Сообщения
445
Благодарностей
115
Баллы
43
Все что связанно с pip install выдает ошибку
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Что не так делаю?
при установке питона на первом окне нужно галку поставить PATH
 

tanichev

Client
Регистрация
14.08.2020
Сообщения
654
Благодарностей
761
Баллы
93
Все что связанно с pip install выдает ошибку
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Что не так делаю?
 
  • Спасибо
Реакции: Tyshka

Viking01

Client
Регистрация
19.08.2017
Сообщения
228
Благодарностей
151
Баллы
43
Ru-генератор вызвал ошибку - module 'tensorflow' has no attribute 'gfile' ...
Ошибка tensorFlow - инструкция есть - первая ошибка, но у меня терпения не хватило ее править на офисном сервачке.
Даже ради эксперимента.
Рекомендую попровать на другой машине с видеокартой - посмотреть как оно вообще работает)


Все что связанно с pip install выдает ошибку
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Что не так делаю?
Не смог найти pip - см. последнюю описанную ошибку.
 

backoff

Client
Регистрация
20.04.2015
Сообщения
5 914
Благодарностей
6 381
Баллы
113
офф топ, картинка с другого сайта, но в тему ))

82848
 
  • Спасибо
Реакции: Viking01

Viking01

Client
Регистрация
19.08.2017
Сообщения
228
Благодарностей
151
Баллы
43
Кстати, добавил в пост с Инструкцией по установке, что может еще потребоваться git и как его поставить.
 

Tyshka

Client
Регистрация
02.01.2016
Сообщения
56
Благодарностей
6
Баллы
8
C:\Users\RoG>python get-pip.py
Python
Вижу такой ответ и все.
После этого все равно
C:\Users\RoG>pip install
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
 

tanichev

Client
Регистрация
14.08.2020
Сообщения
654
Благодарностей
761
Баллы
93

bitardenko

Client
Регистрация
27.12.2020
Сообщения
90
Благодарностей
73
Баллы
18
Ну вот, всегда в конце концов придёт кто-то, кто даже не запустив шаблон, начнёт кидать в него какашками ))
Так это GPT-3 от сбера что ли? Шаблон крутой и я бы за него проголосовал, хоть сам еще не пробовал, но сбер же с пафосным видом выложил фуфловый бредогенератор, который едва ли имеет отношение к гпт-3
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)