WebArchiveMaster - парсер Вебархива2

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
Я так понимаю, вы используете резервные прокси для Text.ru. Лучше всего использовать свои или из встроенного проксичекера. Резервные прокси это самый последний вариант. Либо пробуйте проверять в content watch, он гораздо меньше перегружен. Ну и я сейчас проверю.
Я так понял что встроенный проксечекер не доступен в демо версии Зенопостера?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Я так понял что встроенный проксечекер не доступен в демо версии Зенопостера?
В Демо нет. И вроде, не позволяет использовать прокси вообще, хотя показывает, что использует.
 

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
Я так понимаю, вы используете резервные прокси для Text.ru. Лучше всего использовать свои или из встроенного проксичекера. Резервные прокси это самый последний вариант. Либо пробуйте проверять в content watch, он гораздо меньше перегружен. Ну и я сейчас проверю.
А в демо версии зеннопостера не доступен проксичекер?
Вот что у меня идет
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 304
Благодарностей
5 421
Баллы
113

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
  • Спасибо
Реакции: Mikhail B.

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
Запускаю проверку на уник, прокси из своего списка удаляются, а из проксичекера ни один не работает уже в течении 7ми часов, что это может быть?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Запускаю проверку на уник, прокси из своего списка удаляются, а из проксичекера ни один не работает уже в течении 7ми часов, что это может быть?
В помощи всё описано, понятно, её никто не читает. В проксичекере нужно использовать фильтрацию, чтобы отсеять 90% шлака.
Screenshot_1.jpg
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Хочу написать по Вебархиву и проверке на Антиплагиат - в связи со вспышкой интереса к Яндекс.Дзен очередь на проверку на копипаст на Текст.ру может достигать 70 - 120 очередности проверок, также забиты прокси, так-как все ломанулись в Дзен. Модераторы там уже не справляются и проверка новых материалов сейчас достигает 3 часов. Также усложнился алгоритм. Они обрезали все RSS каналы для сайтов и тянут трафик на себя. Подробнее я напишу в ветке Дзена, также разошлю новый шаблон с примерами своих и чужих каналов.

Сейчас хочу приложить пример парсинга ВебархивМастер, чтобы вы представляли, как он работает. На уникальность не проверял, это просто пример работы:
 

Вложения

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
В помощи всё описано, понятно, её никто не читает. В проксичекере нужно использовать фильтрацию, чтобы отсеять 90% шлака.
Посмотреть вложение 26989
Как раз таки мануал я читал, и "0" там стоит, но он все удаляет и пишет что нет своего списка прокси, в прошлой ветки кто то писал о такой же проблеме, но решения я не нашел))
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Как раз таки мануал я читал, и "0" там стоит, но он все удаляет и пишет что нет своего списка прокси, в прошлой ветки кто то писал о такой же проблеме, но решения я не нашел))
Да, хочу написать, что я работаю на версии 5.9.9.1, как будет работать на других версиях, не знаю, так-как их слишком много. То, что на младших работать не будет, это точно. Сегодня протестирую на новой версии и отпишу.
 

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
Да, хочу написать, что я работаю на версии 5.9.9.1, как будет работать на других версиях, не знаю, так-как их слишком много. То, что на младших работать не будет, это точно. Сегодня протестирую на новой версии и отпишу.
Я на 5.15.0.0
 

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
Да, хочу написать, что я работаю на версии 5.9.9.1, как будет работать на других версиях, не знаю, так-как их слишком много. То, что на младших работать не будет, это точно. Сегодня протестирую на новой версии и отпишу.
А можно ссылку на ветку Дзен, интересно будет почитать
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Вот, проверил на 5.13.1.0. Всё работает нормально, берет из файла свои прокси. Проблема найти хорошие прокси, чтобы не фильтровать и проверять, на что уходит много времени. Алгоритм шаблона был разработан специально для плохих прокси, которая может умереть в любой момент, прокси проверяется неоднократно.

 

enema

Новичок
Регистрация
08.02.2018
Сообщения
20
Благодарностей
3
Баллы
3
Вот, проверил на 5.13.1.0. Всё работает нормально, берет из файла свои прокси. Проблема найти хорошие прокси, чтобы не фильтровать и проверять, на что уходит много времени. Алгоритм шаблона был разработан специально для плохих прокси, которая может умереть в любой момент, прокси проверяется неоднократно.

Попробую позже с платными прокси
 

AvraamZukoaa

Client
Регистрация
01.02.2018
Сообщения
4
Благодарностей
1
Баллы
3
Проверяю с проксичекером. Все работает. Список файлов в папке "Уникальные" не быстро, но растет :-) Версия 5.15.
 
  • Спасибо
Реакции: footashes

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
А можно ссылку на ветку Дзен, интересно будет почитать
По Дзену отпишу к вечеру, покажу выплаты. Насчет проверки данных нейросетями Яндекся, видимо, я ошибся, их нейро выглядит вот так:
2015.10.05_08-39-29215.JPG
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Проверяю с проксичекером. Все работает. Список файлов в папке "Уникальные" не быстро, но растет :-) Версия 5.15.
Проверка Текст.ру и КонтентВатч изначально не планировалась для промышленных масштабов, я об этом писал. Это предназначено для тех, кому нужно проверить 40-50 текстов, одновременно забирая готовые и подкидывая новые. Если нужно проверять сотни и тысячи текстов, нужно использовать программу AntiPlagiarism.NET, которая поддерживает пакетную проверку. Но потребуются хорошие прокси и антикапча + рекапча. Она позволит отсеять много шлака, но проверка через Текст.ру всё равно потребуется.
 

intourist

Client
Регистрация
30.08.2010
Сообщения
36
Благодарностей
8
Баллы
8
footashes, спасибо за шаблон
у меня такой вопрос. я собираю тексты на английском языке, на каком сервисе мне лучше проверять их на уникальность? корректно ли text.ru и content-watch.ru показывают уникальность для англ. текстов или лучше использовать какой-нибудь бурж сервис?

вижу ты еще используешь AntiPlagiarism.NET, вообще судя по описанию этого софта это хороший вариант для моих нужд. что посоветуешь исходя из опыта?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
footashes, спасибо за шаблон
у меня такой вопрос. я собираю тексты на английском языке, на каком сервисе мне лучше проверять их на уникальность? корректно ли text.ru и content-watch.ru показывают уникальность для англ. текстов или лучше использовать какой-нибудь бурж сервис?

вижу ты еще используешь AntiPlagiarism.NET, вообще судя по описанию этого софта это хороший вариант для моих нужд. что посоветуешь исходя из опыта?
Ну, только text.ru, они позиционируют себя по всем языкам, на них и нужно ориентироваться. AntiPlagiarism.NET - это пакетная проверка в промышленных масштабах, разгадка капчи для Яндекса - для меня (другой софт) + для Гугл - Рекапча, на остальные ПС можно не ориентироваться, они, как правило, используют выдачу этих двух гигантов в разных вариациях.
 
  • Спасибо
Реакции: intourist

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Кому интересен Дзен - http://zennolab.com/discussion/threads/jandeks-dzen-sliv-trafika.45534/page-2#post-342661, сейчас проводится проверка на плагиат текстов, напарсеных с Вебархива с помощью WebArchiveMaster (за несколько часов около 600 текстов по своей методике), цель - побить свой рекорд по выводу канала за два дня с помощью уника (я выводил другими методами).

Дзен, если честно, я понять не могу - там контрл, картинка, кликбейт не играет никакой роли, я проанализировал не одну сотню своих публикаций и не пойму, как оно работает и по какому алгоритму. Это как биткоин, кто раньше встал, того и тапки. Если интересно, как поведет себя уник из Вебархива, через 5-6 дней покажу результат. Правда, думаю, я как обычно, 4-5 дней буду гулять с родственниками, и один день работать, тем не менее.

Скрин сервера, но ничего не обещаю, скорее всего, забью и буду работать серыми методами:

Screenshot_2.png

О, случайно на сервере нашел уже проверенный уник, будет уже проще:
Screenshot_3.png


P.S.
Сейчас проверил выборочно - по Текст.ру все тексты показывают такой результат. Так что, если хотите взять, берите сейчас, потом пригодится ©.
Screenshot_1.jpg
 
Последнее редактирование:

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Вебархив в Дзене показал себя плохо. Много просмотров и мало показов, что говорит о том, что Дзен - прежде всего новостная платфома с "горячими" новостями и блоговые статьи заходят плохо. Людям не интересны тематики типа "Как вылечить грипп подорожником", зато им интересно "Шурыгина изнасиловала шурыгина".
Скоро выборы, модерация в Дзене на данный момент ручная и очень жесткая. Выборы пройдут, Путин наконец-то восторжествует и всё нормализуется.
Да, хочу написать - мои каналы начали перебивать договорные, типа Триникси, поэтому я на одной сетке получил бан за возростание, и сейчас с пессемизированной сетки мой доход составляет не 1000,а 370-389 рублей в день. Скорее всего, сетка ушла по стуку, или кому-то что-то не понравилось.
Хорошо,что у меня не одна сетка.
 
Последнее редактирование:
  • Спасибо
Реакции: -BeeR-, one и daymos

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Всё-таки я поспешил с выводами - Вебархив показывает себя хорошо, нужно только правильно всё делать. Если вы ведете несколько каналов, не лепите всё на один номер - по горькому опыту: уйдет в пессемизацию один канал - уйдут все, что привязаны на этот номер.

Как правильно делать - регистрировать номер у смс-регистраторов (2 рубля-смс), один канал - один номер. На разные каналы заходить с разных браузеров, неплохо привязать прокси к каналу (как в ВК). Это основное. Не майтесь фигней и не надейтесь на долгосрочное сотрудничество с Яндексом, типа веду белый канал и всё будет хорошо.

Смотрите в сторону слива, видел скриншоты, у многих выходит, но нужно понять специфику Дзена, поработать с ним, он очень не любит ссылки и прекрасно их вычисляет, дальше думайте сами.
 

gold

Client
Регистрация
06.08.2011
Сообщения
17
Благодарностей
1
Баллы
3
Вебархив классная темка,но если нужны тексты строго по нужным ключевикам то поможет слабо.Есть другой способ,но с им повозиться надо немного с текстами.

Автор я стукну на мыло может тебе тоже интересно будет.Тематика то одна.

Да всех с праздником с Днем защитника Отечества ,особенно кто служил мужики…
 

Hool

Client
Регистрация
27.03.2015
Сообщения
65
Благодарностей
6
Баллы
8
Приобрести еще можно?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Приобрести еще можно?
Можно всегда.
WebArchiveMaster - парсер Вебархива + Black Widow Spider + Антиплагиат + Мануал + Content Watch за 500 рублей. Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.

Вебмани: R282711380496
Яндекс-Деньги: 410011187505134
В примечании введите свой емейл.

Все шаблоны открыты для редактирования, можно менять и дополнять всё что угодно (многие модернизирубт под себя). По умолчанию проверка уникальности стоит 80%, можно поставить, какой требуется.
 

one

Client
Регистрация
22.09.2015
Сообщения
6 790
Благодарностей
1 264
Баллы
113

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
  • Спасибо
Реакции: one

one

Client
Регистрация
22.09.2015
Сообщения
6 790
Благодарностей
1 264
Баллы
113
Хорошо, гляну.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Как-то грустно и скучно. Весна, авитаминоз, ничего делать не хочется, деньги с РСЯ капают, но вечно такое продолжаться не может. Чтобы себя мотивировать, хочу устроить марафон - Вебархив VS Яндекс.Дзен. Ждем решения администраторов, можно ли создать такую тему, где я буду описывать свои взлёты и падения, так-как в коммерческой теме я спамить не буду.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Сейчас по методике, основанной на вероятности поиска нужной тематики, есть возможность выйти в лидеры. Тематика должна быть, узкой - если собаки, не нужно писать о сапогах (собаки в сапогах, согласитесь, это натянуто - алго это очень не нравится, сейчас идет борьба с терминаторами роботами, пришло время), пишите узкую тематику, о том, что интерекно. Не забывайте о ключах (алгоритм Дзена базируется на ключах).

Используя текст из Вебархива, не забывайте про ключи - используйте актуальную тематику (интересную людям), используйте Мутаген или производную формулу для КейКоллектора, что проще. Ранжирование идет по ключам и трендам, что связанно.
 

Кто просматривает тему: (Всего: 3, Пользователи: 0, Гости: 3)