WebArchiveMaster - парсер Вебархива2

Discussion in 'Продажа и покупка шаблонов ZennoPoster/ZennoDroid' started by footashes, Jan 20, 2018.

  1. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Webarch.jpg

    WebArchiveMaster
    - программа парсинга контента из ВебАрхива. Программа полностью автоматизирована и позволяет разгрузить своё время на 90%. Программа работает в связке с PHP скриптом, который можно поставить на любой хостинг или использовать Open Server - https://ospanel.io (рекомендуется).

    Принцип работы очень прост - нужно только вставить домены в текстовый файл и запустить программу - все остальное она сделает сама. Никаких настроек нет, так-как все настроено на максимальную производительность.

    Пример спарсенных текстов - скачать пример
    Скачать мануал - WebArchiveMaster.pdf
    Цена - 500 рублей. Шаблон полностью открытый и без привязок.

    WebArchiveMaster - парсер Вебархива + Black Widow Spider + Антиплагиат + Мануал + Content Watch за 500 рублей. Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.

    Вебмани: R282711380496
    Яндекс-Деньги: 410011187505134
    В примечании введите свой емейл.

    Что идет с WebArchiveMaster :

    Доработал проверку текста через text.ru, используя прокси. Примерный алгоритм:
    Программа всё делает автоматически, вмешательство не требуется.

    1. Парсинг русских прокси.
    2. Проверка этих прокси на работоспособность (чекинг).
    3. Берем прокси и переходим на проверку текста (берем текст из папки "База статей").
    4. После проверки переносим файл из папки "База статей" в папки "Уникальные" или "Копипаст" (в зависимости от проверки).
    5. Перед каждым файлом пишется процент уникальности - например, Уникальность 0_13% - ваш текст.txt или Уникальность 83_04% - ваш текст.txt
    Скорость проверки текста зависит от прокси и загруженности сервиса. В моем случае это составляет примерно 50 текстов в час.
    Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.

    Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.

    Проверка текста через Content-Watch, используя прокси. Примерный алгоритм:
    Программа всё делает автоматически, вмешательство не требуется.
    1. Парсинг русских прокси.
    2. Проверка этих прокси на работоспособность (чекинг).
    3. Берем прокси и переходим на проверку текста (берем текст из папки "База статей").
    4. После проверки переносим файл из папки "База статей" в папки "Уникальные" или "Копипаст" (в зависимости от проверки).
    5. Перед каждым файлом пишется процент уникальности - например, Уникальность 0_13% - ваш текст.txt или Уникальность 83_04% - ваш текст.txt
    6. Добавлена возможность использования своих прокси. Для этого в файл My_proxys вставляете свои прокси, шаблон забирает их и работает с этими прокси, а файл очищает. Если прокси не рабочий, он удаляется и берется другой. Когда все прокси будут отработаны, файл проверяется, и если он пустой, запускается автоматический парсинг и чекинг прокси с hidemy. Как правило, собственные прокси работают на несколько порядков быстрее. В шаблон Textru тоже добавлена возможность использования своих прокси.
    Для справки: Зеннопостер использует прокси только HTTP формата.

    Скорость проверки текста зависит от прокси и загруженности сервиса. В моем случае это составляет примерно 50 текстов в час.
    Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.

    Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.

    Новая версия Black Widow Spider для сбора тематических дропов. Нужен мощный компьютер, так-как программе нужно обработать десятки тысяч ссылок только одного сайта и правильные сайты для поиска дропов - сайты нужны старые, с комментариями не менее 3-4 лет, тогда вероятность нахождения очень сильно повышается.
    1. Программа ускорена в 3-4 раза
    2. Изменена логика и убрано лишнее
    3. Двухсуточное тестирование не выявило падений Зеннопостер
    4. Множественные запросы к base приводили к её разрастанию до 1,5 ГБ, что приводило к замедлению работы и последующему падению Зеннопостер с выеданием всех ресурсов компьютера\сервера. Теперь base использует максимум 150 Мб, с последующей итерацией инстанс автоматически перезагружается и очищает память компьютера.
    5. Каждую копию запускать в одном потоке.
    В следующей версии планируется ввести блок для редактирования пользователем, работающим по признакам на пару с главным алгоритмом. Это позволит выцеплять нестандартные домены, которые не может взять никакая программа.

    Программа будет постоянно дорабатываться.

    Также продаю мануал нахождения "жирных" сайтов в Вебархиве. Мануал разработан мной, я давно работаю именно по нему и частично там задействован Black Widow Spider. Позволяет найти такой текст, который не поддается автоматизации. Работа ручная, но за пару часов можно найти 50-60 дропов, до которых ещё никто не доюрался, и зарядить их в WebArchiveMasters.

    Это особенно актуально для тех, кто продает текста или имеет сайты определенной тематики - парсить список дропов, это тыкать пальцем в небо, тут как повезет; моя методика позволяет работать точечно. Буквально за десять минут я нашел больше сотни уникальных статей по теме "Строительство". Выхода на покупателей у меня нет и сайта о стройке тоже, поэтому, что с ними делать, без понятия, кто захочет купить курс, тому и вышлю (первому покупателю). Думаю, вы найдете, куда их пристроить.
    Мануал по поиску тематических дропов
    За основу был взят скрипт с Гитхаба, из его смысла был создан WebArchiveMasters, так-как восстановление сайтов потеряло актуальность 5-6 лет назад, нужно было забирать только тексты.

    Помощь и уроки:
    http://zennolab.com/discussion/attachments/full-text-rss-pdf.24190/
    http://zennolab.com/discussion/attachments/proverka-unikalnosti-cherez-text-pdf.24188/
    http://zennolab.com/discussion/attachments/webarchivemasters-pdf.24191/
    http://zennolab.com/discussion/attachments/black-widow-spider-pdf.24189/


    Видео по работе и установке:





    https://youtu.be/e0VEUnCAsVU
    https://youtu.be/z9fsoU4ZRwg

    Шаблоны рассчитаны на массовую скачку текстов и проверку на плагиат с последующей продажей текстов или использованием для своих сайтов, желательно на сервере.

    Предыдущая тема - http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/. Можете там почитать и пофлудить.
    По всем вопросам прошу писать на [email protected] или в ЛС.
     

    Attached Files:

    Last edited: Jan 20, 2018
    aragorn4978 and Sanekk like this.
  2. Vincher

    Vincher Новичок

    Joined:
    Dec 29, 2017
    Messages:
    5
    Likes Received:
    0
    Привет в новой теме
     
  3. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Привет всем новичкам.
     
  4. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    133
    Likes Received:
    13
    Новый Год на носу а она сидит видео пишет :-)
    http://prntscr.com/i5y7x4
    Жаль без голосового сопровождения....
     
    Astraport likes this.
  5. ibelieve

    ibelieve Client

    Joined:
    Dec 24, 2012
    Messages:
    235
    Likes Received:
    92
    Весь в работе. :-)
    У меня прошлый НГ такой же был. )
     
    leha52rus likes this.
  6. Astraport

    Astraport Client

    Joined:
    May 1, 2015
    Messages:
    2,382
    Likes Received:
    1,508
    Лайк за внимательность))
     
    leha52rus likes this.
  7. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    У меня часы просто на час вперед идут, было 23:00, вроде, ждали Путина, помню смутно. Что что-то записывал, вообще не помню.
     
  8. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Проскочила информация, что со дня на день начнется индексация Яндекс.Дзен. Покупать уник с Дзена больше не будет смысла (хотя там и так 99% про Грудинина и Путина), а Вебархив вечен и всегда будет таким.
     
  9. Astraport

    Astraport Client

    Joined:
    May 1, 2015
    Messages:
    2,382
    Likes Received:
    1,508
    У меня этого нет. Видать там персонифицированная выдача))
     
  10. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Нет, это просто тренд. То, что интересно людям (рассчитано на сиюминутный всплеск просмотров и затухание). Сотни рерайтеров ловят каждый чих и подают в меру своего таланта.
     
  11. Opibor

    Opibor Новичок

    Joined:
    Jan 30, 2018
    Messages:
    5
    Likes Received:
    2
    Брал у вас шаблон WebArchiveMaster, шаблоном доволен (здорово, что открытый, можно доработать под себя). И текстов уникальных в вебархиве полно, но у меня что то ничего толкового с этими текстами не выходит. Напарсил текстов 800 уникальных женской тематики (длинной более 3000 знаков), залил на сайт, прошло больше пол года, а посещаемость на сайте не превышает 20 человек в день. В общем беда какая то, надо как то внедрять LSI фразы, а как не понятно. Не могли бы вы сбросить какой нибудь мануал покупателям вашего шаблона как работать с этими LSI?
     
  12. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Без ключей это всего лишь тексты, сами по себе они ничего не стоят, каждый текст нужно сеошить, затачивать под НК НЧ и отслеживать ключи. Скачайте курсы Пузата где-нибудь на торренте, женская тематика - громадная конкуренция, каждый второй сайт - женский, нужно дать понять ПС, по каким ключам ранжировать и выбирать из миллиардов текстов.
     
    Vincher likes this.
  13. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Уже неоднократно писал - напишу ещё раз - как вы думаете, почему бросают сайты и они оказываются в Вебархиве?
     
  14. Astraport

    Astraport Client

    Joined:
    May 1, 2015
    Messages:
    2,382
    Likes Received:
    1,508
    Потому что забухал и пропил деньги на домен)))
     
  15. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Всё немного сложнее - не хочется повторяться, но если будут вопросы, то опишу по пунктам.
     
  16. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
  17. Webfrilanser

    Webfrilanser Новичок

    Joined:
    Dec 7, 2017
    Messages:
    17
    Likes Received:
    0
    footashes - Здравствуйте я хочу купить у вас Мануал по поиску тематических дропов!
     
  18. Webfrilanser

    Webfrilanser Новичок

    Joined:
    Dec 7, 2017
    Messages:
    17
    Likes Received:
    0
    Отписал вам на почту, Жду ответа!:-)
     
  19. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Пишите на почту - [email protected], получите всё шаблоны (я сейчас занимаюсь Дзеном и на пассиве получаю 1000 в день), сброшу все шаблоны и, если нужно, проконсультирую по емейл. Сейчас с Вебархивом не работаю, но за ним будущее.
     
  20. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    WebArchiveMaster - парсер Вебархива + Black Widow Spider + Антиплагиат + Мануал + Content Watch + Вебмейлер за 500 рублей/
    Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.

    Вебмани: R282711380496, Z251978534905
    Яндекс-Деньги: 410011187505134
    Paypal - [email protected]

    В примечании введите свой емейл.
     
  21. Curant

    Curant Новичок

    Joined:
    Feb 3, 2018
    Messages:
    2
    Likes Received:
    0
    Добрый вечер. Очень жду шаблоны /turstrani/
     
  22. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Предлагаю всем переселиться в Яндекс.Дзен. Видимо, пришло то время, когда сайты останутся в прошлом. Вот мой заработок примерно за полдня с одного канала (у меня их пока семь на монетизации, два уже добрали дочитки и ждут аппрува, все это примерно за неделю - алгоритмы Яндекса, как всегда, несовершенны (тупы), спасибо Зеннопостеру, Хрум меня меньше кормит).
    Screenshot_1.jpg
    Screenshot_2.jpg Пока работаю с РСЯ, но трафика валом, мучу слив на партнерки. Трафик мусорный, это как кто-то зашел в ваш магазин погреться, от вас зависит (нужно тестировать подход), сможете вы ему что-то продать или он от вас убежит (разведал в ПП, трафик с Дзена принимают на отлично, он считается как с соцсетей), буду мутить, о результатах напишу здесь.
    Тематики с Вебархива идут на ура, при том, что за копипаст сразу бан. Основной канал я разогнал именно Вебархивом.
     
    Last edited: Feb 4, 2018
    dsdos34 and Eskada like this.
  23. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Да, хочу добавить - вывод мгновенный (только Яндекс.Деньги).
    P.S.
    Уже 272.
     
    Last edited: Feb 4, 2018
  24. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Я это написал для Вебархивцев, чтобы они пересмотрели взгляд на сайты и перебросили часть ресурсов на Яндекс.Дзен, так-как уже сейчас он отжимает очень много трафика у сайтов, думаю, дальше будет ещё хуже. Ну или ориентироваться на Гугл и затачивать ключевые фразы под него.
     
  25. AvraamZukoaa

    AvraamZukoaa Client

    Joined:
    Feb 1, 2018
    Messages:
    4
    Likes Received:
    1
    Программа отличная. Автору спасибо! Ковыряет потихоньку тексты с уником.

    Но вот вопрос. В списке файлов в Domens 23 домена. ЗП проходит 2-3 и пишет "Завершено 100 процентов". Приходится запускать снова и снова делает 2-3. Подскажите, что делаю не так?
     
  26. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Возможно, вы не ставите задания, насколько я понимаю. На случай любого сбоя нужно ставить пару сотен заданий, все возможные ситуации описаны в помощи. Также некоторые домены шаблон может посчитать дорвеем и пропускать их или считать их рабочими, а значит, неуникальными.

    Screenshot_6.jpg
     
    AvraamZukoaa likes this.
  27. SadisT_UA

    SadisT_UA Client

    Joined:
    Dec 14, 2012
    Messages:
    35
    Likes Received:
    6
    Здравствуйте, Вы на почту отвечаете или нет? =)
     
  28. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Да, но много спама пробивается, может что удаляется.
     
  29. enema

    enema Новичок

    Joined:
    Feb 8, 2018
    Messages:
    20
    Likes Received:
    3
    Добрый день, не подскажите почему у меня не проверяется уникальность, идет поиск прокси, находит, и пишет "
    Тип Время Сообщение
    21:39:43 С этого прокси было слишком много запросов или он не анонимный " и так уже весь день?
     
  30. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    659
    Likes Received:
    248
    Я так понимаю, вы используете резервные прокси для Text.ru. Лучше всего использовать свои или из встроенного проксичекера. Резервные прокси это самый последний вариант. Либо пробуйте проверять в content watch, он гораздо меньше перегружен. Ну и я сейчас проверю.
     

Пользователи просматривающие тему (Пользователей: 0, Гостей: 2)