WebArchiveMaster - парсер Вебархива2

Discussion in 'Продажа и покупка шаблонов ZennoPoster/ZennoDroid' started by footashes, Jan 20, 2018.

  1. one

    one Client

    Joined:
    Sep 22, 2015
    Messages:
    5,192
    Likes Received:
    867
    Какую конкретно?
     
  2. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Есть похожая формула для Колектора, похожая на ту, что использует Мутаген. Где то её выкладывали. Основана на математических вычислениях ранжирования сайтов для Яндекса. Смотрел, довольно близко.Всё меняется - как сейчас, не знаю, но думаю, как прежде.
     
  3. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    199
    Likes Received:
    52
    А как сделать так что бы он складывал не все в кучу, каждая статья в отдельный файл
    а то помойка какая-то получается у меня:-)
     
  4. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Это первичный файл, после скачки всех текстов каждый текст формируется в свой файл, а этот удалится.
    Screenshot_1.png
     
    leha52rus likes this.
  5. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    199
    Likes Received:
    52
    А можно работать в многопоточку ?
     
  6. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Там происходит слишком много процессов с перезаписью. В многопотоке можно работать так: клонировать папки и назвать их Вебархив1..Вебархив10 и каждую папку запустить в отдельном потоке, чтобы они не пересекались.
     
    leha52rus likes this.
  7. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    199
    Likes Received:
    52
    Дзен кормишь как я понимаю исключительно из архива?
    Как он интересно с копи\пастом ?
    Быстро вылетают бложики, или какое то время держутся....?
     
  8. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Нет, там другое. Вебархив - это ручное, а мне лень. Улететь может любой канал за стоп-слова, кликбейт или картинку, ссылку, или модератору что-то не понравится, поэтому нужно делать несколько каналов с разными тематиками. Ну и весь народ попер в Дзен, алгоритмы постоянно меняются. Видел крутейшие каналы с авторским текстом о жизни с просмотрами 50-100. И кучу шлака с просмотрами 1000-10000. Как оно работает и что именно выстрелит, никто не знает, можно только предполагать.
     
  9. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    199
    Likes Received:
    52
  10. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Нет, некоторые ссылки не ведут напрямую на страницу с текстом, поэтому, если стандартно текст не берется, запускается перепроверка через Вебархив по снепшоту. Таких сайтов с редиректом немного, для них дополнительная проверка. Сбой сети - возможно, прерывается доступ к скрипту на Опен Сервере. Прокси не нужны, если нет множественных запросов (один поток).
     
    leha52rus likes this.
  11. one

    one Client

    Joined:
    Sep 22, 2015
    Messages:
    5,192
    Likes Received:
    867
    А когда рассылка была? Что то нету у меня в миэле.
     
  12. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    В ЛС написал.
     
    one likes this.
  13. mih81

    mih81 Новичок

    Joined:
    Feb 8, 2016
    Messages:
    4
    Likes Received:
    1
    Приобрёл WebArchiveMaster
    Пазобрался.
    Всё работает спасибо.
     
  14. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Сейчас провожу эксперимент с 5 каналами из Вебархива, так-как Яндекс хочет сделать именно блогосферу для авторов, типа ЖЖ, хотят прикрутить комментарии и многое другое. Думаю, сайты вчерашний день, нужно уходить в Дзен, который сам дает какой никакой трафик, а не ждать по месяцам с сайтами, когда ПС даст каплю трафика, и даст ли вообще. Через несколько дней, когда алгоритм подберет аудиторию, напишу, как оно пошло. Вот, закинул несколько часов назад, пока так:

    Screenshot_1.png
    Screenshot_2.png

    Сейчас делаю каналы в Дзен, пока идет проверка на уникальность, через несколько часов запущу каналы (каждый канал на свой номер). На сервере с 1 гигом памяти работают: Хрум, ксевил, Зеннопостер, Антиплагиат, куча папок и файлов. Если кто-то вам говорит, что для запуска нужен какой-то особый сервер, смело шлите его подальше. Я работаю на самом слабом сервере вроде, 500 рублей\месяц. В общем, сейчас работа выглядит это так:

    Screenshot_2.png
    Screenshot_3.png
    Screenshot_1.png
    Screenshot_4.png
    Далеко не каждая тематика заходит в Дзен - выделю основные - политика и Развлечения. Хотя Дзен позиционирует себя как платформа для авторов, пока это не работает и у Дзена много уязвимостей.

    Но я надеюсь на то, что они смогут нормализовать работу и запускаю белые каналы (хотя доход мне приносят серые) в надежде на долгосрочное сотрудничество. Отпишу через несколько дней.

    Кто работает по Вебархиву - не используйте парсинг доменов, у вас не хватит времени и ресурсов обработать данные и отсеять шлак. Используйте мою методику на вероятностях, которая идет в архиве - я за 30-40 минут собрал несколько тысяч текстов разных тематик, из которых примерно 70-80% уник по текст.ру.

    Завтра напишу подробнее, а сейчас советую не терять время - пока вы спите, кто-то зарабатывает. Что и как по Дзену - неофициальный канал: https://web.telegram.org/#/[email protected]
    P.S.
    У меня сейчас 11 каналов на монете(доры), но сейчас упор буду делать на белые, и вам советую.
     
    Last edited: Feb 27, 2018
  15. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Опять в Дзене влупили только топовые каналы. Ска, обещали двинуть обычных блогеров-авторов. Меняют всё на ходу. Мои доры растут, а отличные тексты у интересных авторов подают до нуля. К примеру, этот - https://zen.yandex.ru/sirota
     
  16. 99387

    99387 Новичок

    Joined:
    Mar 1, 2018
    Messages:
    2
    Likes Received:
    0
    Комрады! Как в ЛС тут писать? Капец туплю...
     
  17. Mikhail B.

    Mikhail B. Moderator

    Joined:
    Dec 23, 2014
    Messages:
    5,837
    Likes Received:
    1,893
    Новички не могут писать в лс.
     
  18. 99387

    99387 Новичок

    Joined:
    Mar 1, 2018
    Messages:
    2
    Likes Received:
    0
    Почему-то я так и подумал....ладно, буду заколёбывать вопросами человека по почте и тут ))
     
  19. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Отписал на почту.
     
  20. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Извиняюсь. Обновился Фаерфокс и снес мне все данные и плагины (всё было завязано на нём, больше нигде не хранилось). Сейчас всё восстановлено и я работаю в полном режиме.
    Сейчас у меня 11 доров на Дзене и несколько "белых" каналов - все обработать я не могу даже с помощью программы постинга в каналы, поэтому выложу здесь:
    Здесь несколько тематик, напарсенныз Мастером Вебарзива, которые я физически не могу обработать. Скажу, что за этим будущее - выборы пройдут, а Вебархив вечен. У меня 11 каналов на монете, но будущее за белыми, вот такими - https://zen.yandex.ru/media/id/5a9413a35f496758d117e7fb.
    У меня работает Зенно:
    1.jpg
    2.jpg
    Дзен пока не особо балует - но за уником будущее. Людям нравится - набрать подписоты и слить на партнерку - сейчас, для меня - это как модернизация спам-рассылки: новый уровень.
    Да, кому нужно быстро и программно проверить много текста на уник - пишите на почту.
     

    Attached Files:

    Last edited: Mar 3, 2018
  21. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Тут ключевое слово даже не уникальный контент, а "горячая" тематика. Вот только выборы (блять, выборы) борипа кончатся, а Дзен позиционирует себя как блог-платформа. Я так понимаю, хочет заместить ЖЖ. Тем не менее, он дает живой трафик и грех жаловаться.
     
  22. karol

    karol Новичок

    Joined:
    Mar 2, 2018
    Messages:
    7
    Likes Received:
    1
    Не пойму о какой методике речь?
     
  23. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Та, которая видео. Основана на вероятностях того, что сообщество по интересам рекламируют свои сайты на сайтах близкой тематики.
     
  24. enema

    enema Новичок

    Joined:
    Feb 8, 2018
    Messages:
    20
    Likes Received:
    3
    но часто это блоги от 1го лица, или блоги о себе, такие тексты особо ни кому не нужны
     
  25. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Много и от третьего лица, я называю их "заточенные под семантику", в основном для открутки контекста, лично меня они раздражают. Всегда были авторские тексты, направленные на взаимодействие с аудиторией с последующей продажей (курсов, сбора подписчиков и т.д.). Как правило, такие тексты наиболее комментируемые, а не прочитал и забыл.
    Но это ближе к блогам и блогплатформам.
     
  26. iskrakovrov

    iskrakovrov Client

    Joined:
    Mar 28, 2015
    Messages:
    355
    Likes Received:
    56
    А обновки давно были? А то раньше с завидной периодичностью приходило на почту, а сейчас уже месяца полтора тишина. Ничего не менялось? (iskrakovrov(животное)gmail.com)
     
  27. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Обновление WebArchiveMaster - парсер Вебархива.
    • Добавлен глобальный черный список - проверяемый домен сравнивается со списком, и если этот домен там присутствует, берется следующий, иначе парсится текст и при удачном завершении этот домен дописывается в черный список. Это сделано, чтобы домены не дублировались, если он уже проверялся.
    • Сделаны выходные настройки, чтобы было удобнее (с пояснениями).
    • Переработана помощь
    • Улучшена фильтрация
    • Алгоритм остался прежним, там менять нечего
    • Переработана проверка на отсечение категорий. Она значительно убирает ненужные страницы, но дает много запросов к Вебархиву, поэтому можно использовать в 1-2 потока.
    Разошлю сегодня вечером или завтра к обеду (после тестирования).
     
    jemeni, one and AvraamZukoaa like this.
  28. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Отправил всем. Если не получили, пишите на почту, я перешлю.
     
  29. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Через 2-3 дня будет глобальное обновление. Теперь можно отсекать категории на списках стоп слов, которые вы можете дополнять для себя:

    Code (text):
    1. далее…
    2. Далее...
    3. Читать дальше
    4. read more
    5. Read more
    6. Read More
    7. Read more…
    8. Read the rest of this entry
    9. Читать продолжение записи
    10. [...]
    11. [Читать далее]
    12. (далее…)
    Это позволит отсечь 90% шлака. Все данные будут дополнительно сохраняться в папку этого же домена с префиксом для анализа. Также небольшая оптимизация кода. Работает на v. 5.9.9.1, остальные версии нестабильны. Одна из ошибок старших версий - остановка инстанса и нереагирование на задания.
     
  30. footashes

    footashes Client

    Joined:
    Feb 20, 2015
    Messages:
    758
    Likes Received:
    300
    Сейчас делаю видео, где покажу, как это работает - выложу через 2-3 часа, не пропустите. Мой основной контент на Дзене - Вебархив. И сегодня разошлю обновление - нет дополнительных запросов к Вебархиву, скорость не замедляется, отсеивается 90% ненужных категорий.
     
    AvraamZukoaa and karol like this.

Пользователи просматривающие тему (Пользователей: 0, Гостей: 1)