WebArchiveMaster - парсер Вебархива2

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Webarch.jpg


WebArchiveMaster - программа парсинга контента из ВебАрхива. Программа полностью автоматизирована и позволяет разгрузить своё время на 90%. Программа работает в связке с PHP скриптом, который можно поставить на любой хостинг или использовать Open Server - https://ospanel.io (рекомендуется).

Принцип работы очень прост - нужно только вставить домены в текстовый файл и запустить программу - все остальное она сделает сама. Никаких настроек нет, так-как все настроено на максимальную производительность.

Пример спарсенных текстов - скачать пример
Скачать мануал - WebArchiveMaster.pdf

Цена - 500 рублей. Шаблон полностью открытый и без привязок.

Пишите на емайл: [email protected] или в телеграмм.

WebArchiveMaster - парсер Вебархива + Black Widow Spider + Антиплагиат + Мануал + Content Watch за 500 рублей. Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.

Киви: 9619995137
Яндекс-Деньги: 410011187505134
В примечании введите свой емейл.

Что идет с WebArchiveMaster :

Доработал проверку текста через text.ru, используя прокси. Примерный алгоритм:
Программа всё делает автоматически, вмешательство не требуется.

  1. Парсинг русских прокси.
  2. Проверка этих прокси на работоспособность (чекинг).
  3. Берем прокси и переходим на проверку текста (берем текст из папки "База статей").
  4. После проверки переносим файл из папки "База статей" в папки "Уникальные" или "Копипаст" (в зависимости от проверки).
  5. Перед каждым файлом пишется процент уникальности - например, Уникальность 0_13% - ваш текст.txt или Уникальность 83_04% - ваш текст.txt
Скорость проверки текста зависит от прокси и загруженности сервиса. В моем случае это составляет примерно 50 текстов в час.
Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.

Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.

Проверка текста через Content-Watch, используя прокси. Примерный алгоритм:
Программа всё делает автоматически, вмешательство не требуется.
  1. Парсинг русских прокси.
  2. Проверка этих прокси на работоспособность (чекинг).
  3. Берем прокси и переходим на проверку текста (берем текст из папки "База статей").
  4. После проверки переносим файл из папки "База статей" в папки "Уникальные" или "Копипаст" (в зависимости от проверки).
  5. Перед каждым файлом пишется процент уникальности - например, Уникальность 0_13% - ваш текст.txt или Уникальность 83_04% - ваш текст.txt
  6. Добавлена возможность использования своих прокси. Для этого в файл My_proxys вставляете свои прокси, шаблон забирает их и работает с этими прокси, а файл очищает. Если прокси не рабочий, он удаляется и берется другой. Когда все прокси будут отработаны, файл проверяется, и если он пустой, запускается автоматический парсинг и чекинг прокси с hidemy. Как правило, собственные прокси работают на несколько порядков быстрее. В шаблон Textru тоже добавлена возможность использования своих прокси.
Для справки: Зеннопостер использует прокси только HTTP формата.

Скорость проверки текста зависит от прокси и загруженности сервиса. В моем случае это составляет примерно 50 текстов в час.
Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.

Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.

Новая версия Black Widow Spider для сбора тематических дропов. Нужен мощный компьютер, так-как программе нужно обработать десятки тысяч ссылок только одного сайта и правильные сайты для поиска дропов - сайты нужны старые, с комментариями не менее 3-4 лет, тогда вероятность нахождения очень сильно повышается.
  1. Программа ускорена в 3-4 раза
  2. Изменена логика и убрано лишнее
  3. Двухсуточное тестирование не выявило падений Зеннопостер
  4. Множественные запросы к base приводили к её разрастанию до 1,5 ГБ, что приводило к замедлению работы и последующему падению Зеннопостер с выеданием всех ресурсов компьютера\сервера. Теперь base использует максимум 150 Мб, с последующей итерацией инстанс автоматически перезагружается и очищает память компьютера.
  5. Каждую копию запускать в одном потоке.
В следующей версии планируется ввести блок для редактирования пользователем, работающим по признакам на пару с главным алгоритмом. Это позволит выцеплять нестандартные домены, которые не может взять никакая программа.

Программа будет постоянно дорабатываться.

Также продаю мануал нахождения "жирных" сайтов в Вебархиве. Мануал разработан мной, я давно работаю именно по нему и частично там задействован Black Widow Spider. Позволяет найти такой текст, который не поддается автоматизации. Работа ручная, но за пару часов можно найти 50-60 дропов, до которых ещё никто не доюрался, и зарядить их в WebArchiveMasters.

Это особенно актуально для тех, кто продает текста или имеет сайты определенной тематики - парсить список дропов, это тыкать пальцем в небо, тут как повезет; моя методика позволяет работать точечно. Буквально за десять минут я нашел больше сотни уникальных статей по теме "Строительство". Выхода на покупателей у меня нет и сайта о стройке тоже, поэтому, что с ними делать, без понятия, кто захочет купить курс, тому и вышлю (первому покупателю). Думаю, вы найдете, куда их пристроить.
Мануал по поиску тематических дропов
За основу был взят скрипт с Гитхаба, из его смысла был создан WebArchiveMasters, так-как восстановление сайтов потеряло актуальность 5-6 лет назад, нужно было забирать только тексты.

Помощь и уроки:
http://zennolab.com/discussion/attachments/full-text-rss-pdf.24190/
http://zennolab.com/discussion/attachments/proverka-unikalnosti-cherez-text-pdf.24188/
http://zennolab.com/discussion/attachments/webarchivemasters-pdf.24191/
http://zennolab.com/discussion/attachments/black-widow-spider-pdf.24189/

Видео по работе и установке:

https://youtu.be/e0VEUnCAsVU
https://youtu.be/z9fsoU4ZRwg

Шаблоны рассчитаны на массовую скачку текстов и проверку на плагиат с последующей продажей текстов или использованием для своих сайтов, желательно на сервере.

Предыдущая тема - http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/. Можете там почитать и пофлудить.
По всем вопросам прошу писать на [email protected] или в ЛС.
Telegram чат для поддержки: https://t.me/webarhives
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: AC1, aragorn4978 и Sanekk

Vincher

Новичок
Регистрация
29.12.2017
Сообщения
5
Благодарностей
0
Баллы
1
Привет в новой теме
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Новый Год на носу а она сидит видео пишет :-)
http://prntscr.com/i5y7x4
Жаль без голосового сопровождения....
 
  • Спасибо
Реакции: Astraport

ibelieve

Client
Регистрация
24.12.2012
Сообщения
247
Благодарностей
96
Баллы
28
  • Спасибо
Реакции: leha52rus

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
  • Спасибо
Реакции: leha52rus

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Проскочила информация, что со дня на день начнется индексация Яндекс.Дзен. Покупать уник с Дзена больше не будет смысла (хотя там и так 99% про Грудинина и Путина), а Вебархив вечен и всегда будет таким.
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
У меня этого нет. Видать там персонифицированная выдача))
Нет, это просто тренд. То, что интересно людям (рассчитано на сиюминутный всплеск просмотров и затухание). Сотни рерайтеров ловят каждый чих и подают в меру своего таланта.
 

Opibor

Новичок
Регистрация
30.01.2018
Сообщения
5
Благодарностей
2
Баллы
3
Брал у вас шаблон WebArchiveMaster, шаблоном доволен (здорово, что открытый, можно доработать под себя). И текстов уникальных в вебархиве полно, но у меня что то ничего толкового с этими текстами не выходит. Напарсил текстов 800 уникальных женской тематики (длинной более 3000 знаков), залил на сайт, прошло больше пол года, а посещаемость на сайте не превышает 20 человек в день. В общем беда какая то, надо как то внедрять LSI фразы, а как не понятно. Не могли бы вы сбросить какой нибудь мануал покупателям вашего шаблона как работать с этими LSI?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Брал у вас шаблон WebArchiveMaster, шаблоном доволен (здорово, что открытый, можно доработать под себя). И текстов уникальных в вебархиве полно, но у меня что то ничего толкового с этими текстами не выходит. Напарсил текстов 800 уникальных женской тематики (длинной более 3000 знаков), залил на сайт, прошло больше пол года, а посещаемость на сайте не превышает 20 человек в день. В общем беда какая то, надо как то внедрять LSI фразы, а как не понятно. Не могли бы вы сбросить какой нибудь мануал покупателям вашего шаблона как работать с этими LSI?
Без ключей это всего лишь тексты, сами по себе они ничего не стоят, каждый текст нужно сеошить, затачивать под НК НЧ и отслеживать ключи. Скачайте курсы Пузата где-нибудь на торренте, женская тематика - громадная конкуренция, каждый второй сайт - женский, нужно дать понять ПС, по каким ключам ранжировать и выбирать из миллиардов текстов.
 
  • Спасибо
Реакции: Vincher

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Уже неоднократно писал - напишу ещё раз - как вы думаете, почему бросают сайты и они оказываются в Вебархиве?
 
  • Спасибо
Реакции: Gepemaks

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83

Webfrilanser

Новичок
Регистрация
07.12.2017
Сообщения
23
Благодарностей
0
Баллы
1
footashes - Здравствуйте я хочу купить у вас Мануал по поиску тематических дропов!
 

Webfrilanser

Новичок
Регистрация
07.12.2017
Сообщения
23
Благодарностей
0
Баллы
1
Отписал вам на почту, Жду ответа!:-)
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Пишите на почту - [email protected], получите всё шаблоны (я сейчас занимаюсь Дзеном и на пассиве получаю 1000 в день), сброшу все шаблоны и, если нужно, проконсультирую по емейл. Сейчас с Вебархивом не работаю, но за ним будущее.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Отписал вам на почту, Жду ответа!:-)
WebArchiveMaster - парсер Вебархива + Black Widow Spider + Антиплагиат + Мануал + Content Watch + Вебмейлер за 500 рублей/
Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.

Вебмани: R282711380496, Z251978534905
Яндекс-Деньги: 410011187505134
Paypal - [email protected]

В примечании введите свой емейл.
 

Curant

Новичок
Регистрация
03.02.2018
Сообщения
3
Благодарностей
0
Баллы
1
Добрый вечер. Очень жду шаблоны /turstrani/
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Предлагаю всем переселиться в Яндекс.Дзен. Видимо, пришло то время, когда сайты останутся в прошлом. Вот мой заработок примерно за полдня с одного канала (у меня их пока семь на монетизации, два уже добрали дочитки и ждут аппрува, все это примерно за неделю - алгоритмы Яндекса, как всегда, несовершенны (тупы), спасибо Зеннопостеру, Хрум меня меньше кормит).
Screenshot_1.jpg

Screenshot_2.jpg
Пока работаю с РСЯ, но трафика валом, мучу слив на партнерки. Трафик мусорный, это как кто-то зашел в ваш магазин погреться, от вас зависит (нужно тестировать подход), сможете вы ему что-то продать или он от вас убежит (разведал в ПП, трафик с Дзена принимают на отлично, он считается как с соцсетей), буду мутить, о результатах напишу здесь.
Тематики с Вебархива идут на ура, при том, что за копипаст сразу бан. Основной канал я разогнал именно Вебархивом.
 
Последнее редактирование:
  • Спасибо
Реакции: dsdos34 и Eskada

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Да, хочу добавить - вывод мгновенный (только Яндекс.Деньги).
P.S.
Уже 272.
 
Последнее редактирование:

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Я это написал для Вебархивцев, чтобы они пересмотрели взгляд на сайты и перебросили часть ресурсов на Яндекс.Дзен, так-как уже сейчас он отжимает очень много трафика у сайтов, думаю, дальше будет ещё хуже. Ну или ориентироваться на Гугл и затачивать ключевые фразы под него.
 

AvraamZukoaa

Client
Регистрация
01.02.2018
Сообщения
4
Благодарностей
1
Баллы
3
Программа отличная. Автору спасибо! Ковыряет потихоньку тексты с уником.

Но вот вопрос. В списке файлов в Domens 23 домена. ЗП проходит 2-3 и пишет "Завершено 100 процентов". Приходится запускать снова и снова делает 2-3. Подскажите, что делаю не так?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Возможно, вы не ставите задания, насколько я понимаю. На случай любого сбоя нужно ставить пару сотен заданий, все возможные ситуации описаны в помощи. Также некоторые домены шаблон может посчитать дорвеем и пропускать их или считать их рабочими, а значит, неуникальными.

Screenshot_6.jpg
 
  • Спасибо
Реакции: AvraamZukoaa

SadisT_UA

Client
Регистрация
14.12.2012
Сообщения
38
Благодарностей
8
Баллы
8
Здравствуйте, Вы на почту отвечаете или нет? =)
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
Добрый день, не подскажите почему у меня не проверяется уникальность, идет поиск прокси, находит, и пишет "
Тип Время Сообщение
21:39:43 С этого прокси было слишком много запросов или он не анонимный " и так уже весь день?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Добрый день, не подскажите почему у меня не проверяется уникальность, идет поиск прокси, находит, и пишет "
Тип Время Сообщение
21:39:43 С этого прокси было слишком много запросов или он не анонимный " и так уже весь день?
Я так понимаю, вы используете резервные прокси для Text.ru. Лучше всего использовать свои или из встроенного проксичекера. Резервные прокси это самый последний вариант. Либо пробуйте проверять в content watch, он гораздо меньше перегружен. Ну и я сейчас проверю.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)