WebArchiveMaster - парсер Вебархива2

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Webarch.jpg


WebArchiveMaster
- программа парсинга контента из ВебАрхива. Программа полностью автоматизирована и позволяет разгрузить своё время на 90%. Программа работает в связке с PHP скриптом, который можно поставить на любой хостинг или использовать Open Server - https://ospanel.io (рекомендуется).

Принцип работы очень прост - нужно только вставить домены в текстовый файл и запустить программу - все остальное она сделает сама. Никаких настроек нет, так-как все настроено на максимальную производительность.

Пример спарсенных текстов - скачать пример
Скачать мануал - WebArchiveMaster.pdf
Цена - 500 рублей. Шаблон полностью открытый и без привязок.

WebArchiveMaster - парсер Вебархива + Black Widow Spider + Антиплагиат + Мануал + Content Watch за 500 рублей. Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.

Вебмани: R282711380496
Яндекс-Деньги: 410011187505134
В примечании введите свой емейл.

Что идет с WebArchiveMaster :

Доработал проверку текста через text.ru, используя прокси. Примерный алгоритм:
Программа всё делает автоматически, вмешательство не требуется.

  1. Парсинг русских прокси.
  2. Проверка этих прокси на работоспособность (чекинг).
  3. Берем прокси и переходим на проверку текста (берем текст из папки "База статей").
  4. После проверки переносим файл из папки "База статей" в папки "Уникальные" или "Копипаст" (в зависимости от проверки).
  5. Перед каждым файлом пишется процент уникальности - например, Уникальность 0_13% - ваш текст.txt или Уникальность 83_04% - ваш текст.txt
Скорость проверки текста зависит от прокси и загруженности сервиса. В моем случае это составляет примерно 50 текстов в час.
Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.

Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.

Проверка текста через Content-Watch, используя прокси. Примерный алгоритм:
Программа всё делает автоматически, вмешательство не требуется.
  1. Парсинг русских прокси.
  2. Проверка этих прокси на работоспособность (чекинг).
  3. Берем прокси и переходим на проверку текста (берем текст из папки "База статей").
  4. После проверки переносим файл из папки "База статей" в папки "Уникальные" или "Копипаст" (в зависимости от проверки).
  5. Перед каждым файлом пишется процент уникальности - например, Уникальность 0_13% - ваш текст.txt или Уникальность 83_04% - ваш текст.txt
  6. Добавлена возможность использования своих прокси. Для этого в файл My_proxys вставляете свои прокси, шаблон забирает их и работает с этими прокси, а файл очищает. Если прокси не рабочий, он удаляется и берется другой. Когда все прокси будут отработаны, файл проверяется, и если он пустой, запускается автоматический парсинг и чекинг прокси с hidemy. Как правило, собственные прокси работают на несколько порядков быстрее. В шаблон Textru тоже добавлена возможность использования своих прокси.
Для справки: Зеннопостер использует прокси только HTTP формата.

Скорость проверки текста зависит от прокси и загруженности сервиса. В моем случае это составляет примерно 50 текстов в час.
Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.

Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.

Новая версия Black Widow Spider для сбора тематических дропов. Нужен мощный компьютер, так-как программе нужно обработать десятки тысяч ссылок только одного сайта и правильные сайты для поиска дропов - сайты нужны старые, с комментариями не менее 3-4 лет, тогда вероятность нахождения очень сильно повышается.
  1. Программа ускорена в 3-4 раза
  2. Изменена логика и убрано лишнее
  3. Двухсуточное тестирование не выявило падений Зеннопостер
  4. Множественные запросы к base приводили к её разрастанию до 1,5 ГБ, что приводило к замедлению работы и последующему падению Зеннопостер с выеданием всех ресурсов компьютера\сервера. Теперь base использует максимум 150 Мб, с последующей итерацией инстанс автоматически перезагружается и очищает память компьютера.
  5. Каждую копию запускать в одном потоке.
В следующей версии планируется ввести блок для редактирования пользователем, работающим по признакам на пару с главным алгоритмом. Это позволит выцеплять нестандартные домены, которые не может взять никакая программа.

Программа будет постоянно дорабатываться.

Также продаю мануал нахождения "жирных" сайтов в Вебархиве. Мануал разработан мной, я давно работаю именно по нему и частично там задействован Black Widow Spider. Позволяет найти такой текст, который не поддается автоматизации. Работа ручная, но за пару часов можно найти 50-60 дропов, до которых ещё никто не доюрался, и зарядить их в WebArchiveMasters.

Это особенно актуально для тех, кто продает текста или имеет сайты определенной тематики - парсить список дропов, это тыкать пальцем в небо, тут как повезет; моя методика позволяет работать точечно. Буквально за десять минут я нашел больше сотни уникальных статей по теме "Строительство". Выхода на покупателей у меня нет и сайта о стройке тоже, поэтому, что с ними делать, без понятия, кто захочет купить курс, тому и вышлю (первому покупателю). Думаю, вы найдете, куда их пристроить.
Мануал по поиску тематических дропов
За основу был взят скрипт с Гитхаба, из его смысла был создан WebArchiveMasters, так-как восстановление сайтов потеряло актуальность 5-6 лет назад, нужно было забирать только тексты.

Помощь и уроки:
http://zennolab.com/discussion/attachments/full-text-rss-pdf.24190/
http://zennolab.com/discussion/attachments/proverka-unikalnosti-cherez-text-pdf.24188/
http://zennolab.com/discussion/attachments/webarchivemasters-pdf.24191/
http://zennolab.com/discussion/attachments/black-widow-spider-pdf.24189/


Видео по работе и установке:
https://youtu.be/e0VEUnCAsVU
https://youtu.be/z9fsoU4ZRwg

Шаблоны рассчитаны на массовую скачку текстов и проверку на плагиат с последующей продажей текстов или использованием для своих сайтов, желательно на сервере.

Предыдущая тема - http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/. Можете там почитать и пофлудить.
По всем вопросам прошу писать на [email protected] или в ЛС.
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: aragorn4978 и Sanekk

Vincher

Новичок
Регистрация
29.12.2017
Сообщения
5
Благодарностей
0
Баллы
1
Привет в новой теме
 

ibelieve

Client
Регистрация
24.12.2012
Сообщения
240
Благодарностей
94
Баллы
28
  • Спасибо
Реакции: leha52rus

Astraport

Client
Регистрация
01.05.2015
Сообщения
3 122
Благодарностей
2 149
Баллы
113
  • Спасибо
Реакции: leha52rus

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Проскочила информация, что со дня на день начнется индексация Яндекс.Дзен. Покупать уник с Дзена больше не будет смысла (хотя там и так 99% про Грудинина и Путина), а Вебархив вечен и всегда будет таким.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
У меня этого нет. Видать там персонифицированная выдача))
Нет, это просто тренд. То, что интересно людям (рассчитано на сиюминутный всплеск просмотров и затухание). Сотни рерайтеров ловят каждый чих и подают в меру своего таланта.
 

Opibor

Новичок
Регистрация
30.01.2018
Сообщения
5
Благодарностей
2
Баллы
3
Брал у вас шаблон WebArchiveMaster, шаблоном доволен (здорово, что открытый, можно доработать под себя). И текстов уникальных в вебархиве полно, но у меня что то ничего толкового с этими текстами не выходит. Напарсил текстов 800 уникальных женской тематики (длинной более 3000 знаков), залил на сайт, прошло больше пол года, а посещаемость на сайте не превышает 20 человек в день. В общем беда какая то, надо как то внедрять LSI фразы, а как не понятно. Не могли бы вы сбросить какой нибудь мануал покупателям вашего шаблона как работать с этими LSI?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Брал у вас шаблон WebArchiveMaster, шаблоном доволен (здорово, что открытый, можно доработать под себя). И текстов уникальных в вебархиве полно, но у меня что то ничего толкового с этими текстами не выходит. Напарсил текстов 800 уникальных женской тематики (длинной более 3000 знаков), залил на сайт, прошло больше пол года, а посещаемость на сайте не превышает 20 человек в день. В общем беда какая то, надо как то внедрять LSI фразы, а как не понятно. Не могли бы вы сбросить какой нибудь мануал покупателям вашего шаблона как работать с этими LSI?
Без ключей это всего лишь тексты, сами по себе они ничего не стоят, каждый текст нужно сеошить, затачивать под НК НЧ и отслеживать ключи. Скачайте курсы Пузата где-нибудь на торренте, женская тематика - громадная конкуренция, каждый второй сайт - женский, нужно дать понять ПС, по каким ключам ранжировать и выбирать из миллиардов текстов.
 
  • Спасибо
Реакции: Vincher

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Уже неоднократно писал - напишу ещё раз - как вы думаете, почему бросают сайты и они оказываются в Вебархиве?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63

Webfrilanser

Новичок
Регистрация
07.12.2017
Сообщения
23
Благодарностей
0
Баллы
1
footashes - Здравствуйте я хочу купить у вас Мануал по поиску тематических дропов!
 

Webfrilanser

Новичок
Регистрация
07.12.2017
Сообщения
23
Благодарностей
0
Баллы
1
Отписал вам на почту, Жду ответа!:-)
 

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Пишите на почту - [email protected], получите всё шаблоны (я сейчас занимаюсь Дзеном и на пассиве получаю 1000 в день), сброшу все шаблоны и, если нужно, проконсультирую по емейл. Сейчас с Вебархивом не работаю, но за ним будущее.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Отписал вам на почту, Жду ответа!:-)
WebArchiveMaster - парсер Вебархива + Black Widow Spider + Антиплагиат + Мануал + Content Watch + Вебмейлер за 500 рублей/
Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.

Вебмани: R282711380496, Z251978534905
Яндекс-Деньги: 410011187505134
Paypal - [email protected]

В примечании введите свой емейл.
 

Curant

Новичок
Регистрация
03.02.2018
Сообщения
3
Благодарностей
0
Баллы
1
Добрый вечер. Очень жду шаблоны /turstrani/
 

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Предлагаю всем переселиться в Яндекс.Дзен. Видимо, пришло то время, когда сайты останутся в прошлом. Вот мой заработок примерно за полдня с одного канала (у меня их пока семь на монетизации, два уже добрали дочитки и ждут аппрува, все это примерно за неделю - алгоритмы Яндекса, как всегда, несовершенны (тупы), спасибо Зеннопостеру, Хрум меня меньше кормит).
Screenshot_1.jpg

Screenshot_2.jpg
Пока работаю с РСЯ, но трафика валом, мучу слив на партнерки. Трафик мусорный, это как кто-то зашел в ваш магазин погреться, от вас зависит (нужно тестировать подход), сможете вы ему что-то продать или он от вас убежит (разведал в ПП, трафик с Дзена принимают на отлично, он считается как с соцсетей), буду мутить, о результатах напишу здесь.
Тематики с Вебархива идут на ура, при том, что за копипаст сразу бан. Основной канал я разогнал именно Вебархивом.
 
Последнее редактирование:
  • Спасибо
Реакции: dsdos34 и Eskada

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Я это написал для Вебархивцев, чтобы они пересмотрели взгляд на сайты и перебросили часть ресурсов на Яндекс.Дзен, так-как уже сейчас он отжимает очень много трафика у сайтов, думаю, дальше будет ещё хуже. Ну или ориентироваться на Гугл и затачивать ключевые фразы под него.
 

AvraamZukoaa

Client
Регистрация
01.02.2018
Сообщения
4
Благодарностей
1
Баллы
3
Программа отличная. Автору спасибо! Ковыряет потихоньку тексты с уником.

Но вот вопрос. В списке файлов в Domens 23 домена. ЗП проходит 2-3 и пишет "Завершено 100 процентов". Приходится запускать снова и снова делает 2-3. Подскажите, что делаю не так?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Возможно, вы не ставите задания, насколько я понимаю. На случай любого сбоя нужно ставить пару сотен заданий, все возможные ситуации описаны в помощи. Также некоторые домены шаблон может посчитать дорвеем и пропускать их или считать их рабочими, а значит, неуникальными.

Screenshot_6.jpg
 
  • Спасибо
Реакции: AvraamZukoaa

SadisT_UA

Client
Регистрация
14.12.2012
Сообщения
36
Благодарностей
6
Баллы
8
Здравствуйте, Вы на почту отвечаете или нет? =)
 

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
Добрый день, не подскажите почему у меня не проверяется уникальность, идет поиск прокси, находит, и пишет "
Тип Время Сообщение
21:39:43 С этого прокси было слишком много запросов или он не анонимный " и так уже весь день?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
785
Благодарностей
310
Баллы
63
Добрый день, не подскажите почему у меня не проверяется уникальность, идет поиск прокси, находит, и пишет "
Тип Время Сообщение
21:39:43 С этого прокси было слишком много запросов или он не анонимный " и так уже весь день?
Я так понимаю, вы используете резервные прокси для Text.ru. Лучше всего использовать свои или из встроенного проксичекера. Резервные прокси это самый последний вариант. Либо пробуйте проверять в content watch, он гораздо меньше перегружен. Ну и я сейчас проверю.
 

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)