WebArchiveMaster - парсер Вебархива2

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
В рассылке есть скрипт на Руби для загрузки всего веб-сайт из интернет-архива со структурой. Я сделал видео по установке Руби и показал, как скачивать сайт. Это идет как бонус. Сам принцип WebArchiveMastersV4.13 совсем другой - забирать только тексты и проверять на уникальность. Парсинг всего сайта в 2022 давно не имеет смысла. Также там могут быть картинки из личного архива, с этими картинками уже были прецеденты, поэтому я забираю только текст.

Только что спарсил на Руби, прикладываю, запустить на Опен Сервере, возможно, поправить css. В принципе, готовый сайт.
 

Вложения

Ruhas

Client
Регистрация
26.11.2019
Сообщения
576
Благодарностей
149
Баллы
43
В рассылке есть скрипт на Руби для загрузки всего веб-сайт из интернет-архива со структурой. Я сделал видео по установке Руби и показал, как скачивать сайт. Это идет как бонус. Сам принцип WebArchiveMastersV4.13 совсем другой - забирать только тексты и проверять на уникальность. Парсинг всего сайта в 2022 давно не имеет смысла. Также там могут быть картинки из личного архива, с этими картинками уже были прецеденты, поэтому я забираю только текст.

Только что спарсил на Руби, прикладываю, запустить на Опен Сервере, возможно, поправить css. В принципе, готовый сайт.
Про сайты согласен, но там есть интересные сервисы, которые можно переделать под себя)
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Сегодня вечером будет показ видео прототипа новой программы по работе с Яндекс.Дзен. Полная автоматизация. Рассылка будет в первую очередь по покупателям Вебархивмастер. Будет показан принцип работы (видео) и открыт предзаказ.

Предзаказ хорошо себя показал при продаже плагина FreeProxyLite

Купить можно здесь - _catcut.net/product/42524

Кстати, сегодняшние выплаты:
Screenshot11.png




Screenshot2.png
[/SOILER]

Тесты и викторины

Итак, представляю полностью рабочий прототип тестов и викторин для Яндекс.Дзен. Кому это подойдет? Всем, кто ведет канал и столкнулся с кризисом идей - вы можете разбавить свои мысли тестами и викторинами - людям это нравится. Если у вас ещё нет канала на Дзен - самое время его завести.

Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

Для чего нужен предзаказ? Узнать, кому это нужно и нужно ли вообще. После оплаты напишите на [email protected], я внесу ваш емейл в базу рассылки. Это займет 2-3 дня - программа уже работает, мне понадобится время написать помощь - что за что отвечает и как работает.

Посмотреть пример можно здесь
 
Последнее редактирование:
  • Спасибо
Реакции: max_linder

max_linder

Client
Регистрация
24.09.2019
Сообщения
13
Благодарностей
9
Баллы
3
Обновление WebArchiveMastersV4.13 в связи с изменением верстки Вебархива:

- пофиксена небольшая ошибка, когда было совпадение регулярного выражения с данными, предоставленными Вебархивом,из-за чего парсер считал, что спарсил все ссылки и уходил на фильтрацию данных (это не так - в определенных обстоятельствах данные, которые проверялись, могли совпасть, если в ссылке присутствовало слово сравнения - например,Nexte, и в ссылке было, к примеру,http:\\kulbyar\visinexterin\appetit.htm), программа считала, что данные закончились и уходила на второй этап - фильтрация ссылок (отсеивание таких данных, как: *.jpg, replitcom и т.д). Это проявилось только несколько дней назад, так-как Вебархив изменил и усложнил парсинг.

Также хочу показать, на что способен Зеннопостер - сайт https://pibarum.ru/. Сделан полностью автоматически, обратите внимание на категорию "Тесты на знания", на сервере Зеннопостер парсит, обрабатывает и постит полностью на автомате, данные рассчитаны на 3 месяца, примерно 10 000 тестов. Попробуйте попроходить их, возможны ошибки, т.к. полный автомат, но всё это легко поправить, внести изменения в программу.

По всем вопросам, особенно тем, кто покупал WebArchiveMasters через магазин, пишите на [email protected]

Также прикрепляю частично проверенный домен (для проверки работоспособности) без чистки для проверки работоспособности:

Обновленный скрипт разошлю сегодня, после дополнительной проверки.
Добрый день. WebArchiveMastersV4.13 последнее время на все домены выдает такое сообщение:
"Нужных данных в Вебархиве нет. Берем другой домен для проверки. Попробуйте проверить сайт вручную."
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Добрый день. WebArchiveMastersV4.13 последнее время на все домены выдает такое сообщение:
"Нужных данных в Вебархиве нет. Берем другой домен для проверки. Попробуйте проверить сайт вручную."
Я разбираюсь с этим.
 
Последнее редактирование модератором:
  • Спасибо
Реакции: max_linder

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Новая версия WebArchiveMastersV4.14. Проверьте работоспособность, по проблемам пишите на почту. Отправил всем. Для проверки использовал ZennoPoster RU 5.30.0.0., так-как он использует Хром, ZennoPoster RU 5.17.2.0 устаревший Фаерфокс 52. Также были эксперименты со входящими настройками, смотрите, чтобы было примерно так:
1.jpg

2.jpg
 
Последнее редактирование:
  • Спасибо
Реакции: max_linder

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Актуально. Пока рубли не превратились в тыкву, это Маст хэв. Всё проходит - Вебархив остается всегда.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
В связи с открытием торгов через несколько дней, доллар вполне может стоить 400-500 рублей. Поэтому спешите купить WebArchiveMasters, так-как цена будет увеличена либо продажа прекращена, будут только обновления. Я собираюсь добавлять новые фишки и займусь в упор парсингом текста. Также в пакет теперь входит шаблон Тестов и Викторин для Яндекс.Дзен (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825).

Screenshot.png
Скриншот 16-03-2022 111813.jpg

Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
Или через магазин
_catcut.net/product/42948

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
 
Последнее редактирование:

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Пример только-что спаршенного сайта с Вебархива (смотрите в прикреплении).
Screenshot.png

Также интересная новость по Дзен - с этого дня порог монетизации — 100 подписчиков (без ограничения по времени). Для взаимодействия с аудиторией вы можете использовать шаблон Тестов и Викторин для Яндекс.Дзен (входит в пакет шаблонов). Спешите!!! Есть шанс выйти на монету в Дзен - людям нравятся тесты и викторины.

Подробнее - https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825

Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
Или через магазин (есть комиссия магазина!)
_catcut.net/product/42948

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
 

Вложения

vadima78

Client
Регистрация
26.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Новая версия WebArchiveMastersV4.14. Проверьте работоспособность, по проблемам пишите на почту. Отправил всем. Для проверки использовал ZennoPoster RU 5.30.0.0., так-как он использует Хром, ZennoPoster RU 5.17.2.0 устаревший Фаерфокс 52. Также были эксперименты со входящими настройками, смотрите, чтобы было примерно так:
спасибо. попробую. а то такая же проблема
 
Последнее редактирование:

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
что то нету у меня использовать снепшот. а проблема такая же "Нужных данных в Вебархиве нет. Берем другой домен для проверки. Попробуйте проверить сайт вручную."
Точно используется ZennoPoster RU 5.30.0.0 и WebArchiveMastersV4.14? В нем используется Хром, а в ZennoPoster RU 5.17.2.0 используется устаревший Фаерфокс. Напишите на [email protected]
 

vadima78

Client
Регистрация
26.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Точно используется ZennoPoster RU 5.30.0.0 и WebArchiveMastersV4.14? В нем используется Хром, а в ZennoPoster RU 5.17.2.0 используется устаревший Фаерфокс. Напишите на [email protected]
прошу прощения. еще и версию шаблона старую брал. в мануале запутался малость...
сейчас на новой попробуем
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Актуально как никогда. Схемы ломаются - Вебархив вечен.
 
  • Спасибо
Реакции: KolkaPetkinSyn

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Распродажа всего 3 дня! Цена - 300 рублей за весь пакет программ. Сейчас идет работа над проверкой на уникальность через Текст.ру, используя плагин FreeProxyLite (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825). Это позволит проверять текст используя прокси расширений Хром (сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные).

Все купившие WebArchiveMasters получат его бесплатно.

Акция продлится до вечера пятницы. Поспешите, эта штука всегда пригодится!

Цена - 300 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
 
  • Спасибо
Реакции: garikn и todayer

vadima78

Client
Регистрация
26.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Распродажа всего 3 дня! Цена - 300 рублей за весь пакет программ. Сейчас идет работа над проверкой на уникальность через Текст.ру, используя плагин FreeProxyLite (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825). Это позволит проверять текст используя прокси расширений Хром (сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные).

Все купившие WebArchiveMasters получат его бесплатно.

Акция продлится до вечера пятницы. Поспешите, эта штука всегда пригодится!

Цена - 300 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
а кто раньше купил тому не достанется?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
  • Спасибо
Реакции: vadima78

garikn

Client
Регистрация
03.08.2021
Сообщения
87
Благодарностей
11
Баллы
8
Распродажа всего 3 дня! Цена - 300 рублей за весь пакет программ. Сейчас идет работа над проверкой на уникальность через Текст.ру, используя плагин FreeProxyLite (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825). Это позволит проверять текст используя прокси расширений Хром (сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные).

Все купившие WebArchiveMasters получат его бесплатно.

Акция продлится до вечера пятницы. Поспешите, эта штука всегда пригодится!

Цена - 300 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
Написал на почту. В личку продублировать?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Сейчас идет работа над проверкой на уникальность через Текст.ру, используя плагин FreeProxyLite (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825). Это позволит проверять текст используя прокси расширений Хром (сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные).

Планы изменились, планировалось использовать разработки на BAS, но разработчик с Украины и написал, что средства от использования его программы пойдут на поддержку ВСУ, поэтому всё остановлено. Ждем окончания СВО. Надеюсь, Зеннопостер хотя-бы из России.
 

vadima78

Client
Регистрация
26.09.2020
Сообщения
8
Благодарностей
0
Баллы
1

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Сегодня вечером будет рассылка шаблона проверки на уникальность через Текст.ру, используя плагин FreeProxyLite (это позволит проверять текст используя прокси расширений Хром - сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные). Достаточно забросить тексты для проверки, запустить программу и забыть на пару дней. Она сделает всё сама - распределит проверенные тексты в зависимости от уникальности и остановится, когда все проверит.

По традиции - распродажа всего 3 дня! Цена - 350 рублей за весь пакет программ.

Все купившие WebArchiveMasters получат его бесплатно.

Акция продлится до вечера воскресенья. Поспешите, эта штука всегда пригодится!

Цена - 350 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134


В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
 
Последнее редактирование:
  • Спасибо
Реакции: max_linder и Zennovods

Zennovods

Client
Регистрация
11.02.2019
Сообщения
212
Благодарностей
125
Баллы
43

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Актуально.
Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146


В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
 
Последнее редактирование:
  • Спасибо
Реакции: max_linder

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
Кто брал через магазин, отпишите на емейл [email protected] для внесения вашей почты в базу рассылок для обновлений.

Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146


В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83
WebArchiveMastersV4.14 -парсинг текста с Вебархива. Для тех, у кого есть сайт или на продажу. Я использую для бирж текста - Миралинкс, Ротапост и т.т, чтобы не писать самому. Просто ищешь в базе статью примерной тематик, уже проверенную на уникальность, постишь на своем сайте и получаешь деньги. Все просто.

Парсинг выглядит примерно так - собирает статьи, домены, комментарии:

11.jpg

Текста парсятся в таком виде:
22.jpg


333.jpg

Также идут дополнительные шаблоны - весь комплект к парсеру - проверка на уникальность, чистка текста и т.д.

Новое:
Проверка текста через Текст.ру с ProxyLiteFree - проверка на уникальность, используя прокси расширения Хром. На данный момент в ротации 46 расширений.
Тесты и викторины - прототип тестов и викторин для Яндекс.Дзен. Создает тесты и викторины для Яндекс.Дзен.

И многое другое. И по традиции скидка - до конца выходных цена за комплект 400 рублей. Даже если сейчас не пригодится, взять про запас, уникальный текст всегда пригодится.

Кто брал через магазин, отпишите на емейл [email protected] для внесения вашей почты в базу рассылок для обновлений.

Цена - 400 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146

Или так - Ссылка на магазин - новая версия от 01.05.2022: _catcut.net/product/43540


В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.
 

Grush20

Client
Регистрация
27.07.2017
Сообщения
32
Благодарностей
5
Баллы
8
Добрый день. Функционал восстановления всего сайта, а не только сбора текста сейчас работает?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83

Вложения

Grush20

Client
Регистрация
27.07.2017
Сообщения
32
Благодарностей
5
Баллы
8
Последнее редактирование:

footashes

Client
Регистрация
20.02.2015
Сообщения
1 041
Благодарностей
426
Баллы
83

Grush20

Client
Регистрация
27.07.2017
Сообщения
32
Благодарностей
5
Баллы
8

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)