WebArchiveMaster - парсер Вебархива2

Serhii Diachenko

Новичок
Регистрация
06.03.2016
Сообщения
5
Благодарностей
1
Баллы
3
footashes сказал(а):
У меня не работает TextruV1.4.
Я залил спаршенные тексты в папку article, а шаблон по проверке выдаёт: "Все тексты в директории Article проверены. Директория Article пуста". Хотя в ней 3000 текстов почти.
В Краулере проверка на плагиат работает. Но мне критично чтобы работал этот шаблон, на одном ПК я скраплю текст, на другом проверяю уникальность.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
У меня не работает TextruV1.4.
Я залил спаршенные тексты в папку article, а шаблон по проверке выдаёт: "Все тексты в директории Article проверены. Директория Article пуста". Хотя в ней 3000 текстов почти.
В Краулере проверка на плагиат работает. Но мне критично чтобы работал этот шаблон, на одном ПК я скраплю текст, на другом проверяю уникальность.
Нельзя в директорию "Article" просто так закинуть текст. Текст должен лежать по названию домена, так-как там происходит много операций - в папке "Article" должен быть, например домен "woman.ru", в котором должны уже лежать тексты для проверки.

Принцип такой: проверяется папка "Article" и берется название домена. После этого создаются вспомогательные директории, в которые перемещается провереный текст - уникальный отдельно, копипаст отдельно. После того, как все тексты проверены, "woman.ru" перемещается в директорию "ReadyText" и проверяется, есть ли еще директория с текстом на проверку. Посмотрите пример.

Если что, пришлите скриншоты и версию Зеннопостер. Проверено на ZennoPoster RU 5.17.1.0 - ZennoPoster RU 5.17.2.0

https://yadi.sk/i/3GREN-oat_0b_A
 
  • Спасибо
Реакции: aragorn4978

a1exe1

Client
Регистрация
17.04.2015
Сообщения
21
Благодарностей
1
Баллы
3
ТС у вас есть телеграм для связи>?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Последнее редактирование:

Serhii Diachenko

Новичок
Регистрация
06.03.2016
Сообщения
5
Благодарностей
1
Баллы
3
Нельзя в директорию "Article" просто так закинуть текст. Текст должен лежать по названию домена, так-как там происходит много операций - в папке "Article" должен быть, например домен "woman.ru", в котором должны уже лежать тексты для проверки.
Спасибо. Да, именно так и решилось.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Всем, кто писал на почту и не получил ответ - сейчас куча праздников. В течении 2-3 дней я все разгребу и каждому отвечу.
К тому же - по рассылке вы можете посмотреть тут. Будет интересно.
 
Последнее редактирование:

Stethem

Client
Регистрация
17.06.2017
Сообщения
24
Благодарностей
4
Баллы
3
Была ошибка:
Screenshot_4.png

full-text-rss стоит на хостинге
Исправил ошибку - откатил на php 7.0
 

Bandu

Client
Регистрация
23.01.2014
Сообщения
3
Благодарностей
2
Баллы
3
Приветствую! хотел спросить по поводу Проверки ключевых слов. Вот мне нужны статьи со словами "вода", "воде", "воды" в названии или теле статьи. Как мне лучше сделать? А то вот это количество проверяемых ссылок меня в тупик заводит.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Приветствую! хотел спросить по поводу Проверки ключевых слов. Вот мне нужны статьи со словами "вода", "воде", "воды" в названии или теле статьи. Как мне лучше сделать? А то вот это количество проверяемых ссылок меня в тупик заводит.
Отписал в ЛС. В помощи описано - количество проверяемых ссылок - сколько ссылок будет браться рандомно для проверки в них искомых слов (по умолчанию 10). То есть, если на сайте 300 текстов (ссылок на эти тексты), возьмется рандомно 10 ссылок на эти тексты и проверятся на наличие искомых слов. Если такие слова не найдутся, возьмется следующий домен для проверки. Иначе запишется домен со ссылкой на текст, где нашлось это слово.
 

Yurius38

Client
Регистрация
02.12.2018
Сообщения
18
Благодарностей
0
Баллы
1
Отписал в ЛС. В помощи описано - количество проверяемых ссылок - сколько ссылок будет браться рандомно для проверки в них искомых слов (по умолчанию 10). То есть, если на сайте 300 текстов (ссылок на эти тексты), возьмется рандомно 10 ссылок на эти тексты и проверятся на наличие искомых слов. Если такие слова не найдутся, возьмется следующий домен для проверки. Иначе запишется домен со ссылкой на текст, где нашлось это слово.
Как с вами связаться? Пишу на почту, пишу в лс, но вы не отвечаете уже в течении 6 дней.
 

vsemmoney

Новичок
Регистрация
28.03.2019
Сообщения
8
Благодарностей
0
Баллы
1
Чтобы пользоваться программой нужно покупать зенку?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Как с вами связаться? Пишу на почту, пишу в лс, но вы не отвечаете уже в течении 6 дней.
Отписал в ЛС
Чтобы пользоваться программой нужно покупать зенку?
Да. Или потренироваться на демо. Но придется 15 минут вводить капчу, нельзя использовать прокси и т.д.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Небольшое уточнение - запуск в многопотоке. У меня Зеннопостер Лайт - этого мне хватает более чем. Как запустить в многопотоке WebArchiveMastersV4.4, TextruV1.4
Размножаем папки (WebArchiveMasters1...WebArchiveMasters4), привязываем каждую папку к своему потоку и делаем общим blacklisting.txt (это нужно, чтобы потоки смотрели блеклист и не брали те домены, которые в него записаны). То же самое с проверкой на уникальность TextruV1.4.

Я использую уник для постинга на сайт и для Ротапост, ГГЛ, Миралинкс, чтобы не тратиться на контент. Также с помощью Зеннопостер восстанавливаю дропы и переношу на ВордПресс. Сейчас, например, занимаюсь этим дропом - http://otpuskvsegda.ru. И таких куча. Немного отстоятся, наполнятся и будут проданы на Телдери. Разбирают хорошо, но приходится поработать. Именно для этого Зеннопостер мне и нужен. Другие темы меня не интересуют, так-как эта отлично работает и будет работать, пока есть Вебархив.

Кто хочет попробовать сделать это своим бизнесом:

Цена - 600 рублей. Шаблон полностью открытый и без привязок. Если нужно решение по скоростной проверки на уникальность, то +200 рублей.

Яндекс-Деньги: 410011187505134
Киви - +7 961 999‑51‑37
 
Последнее редактирование:

one

Client
Регистрация
22.09.2015
Сообщения
6 781
Благодарностей
1 262
Баллы
113
ТС, сорри, ну никак не могу понять как восстановить сайт из веб архива твоим шаблоном. Укажи где что почитать?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
ТС, сорри, ну никак не могу понять как восстановить сайт из веб архива твоим шаблоном. Укажи где что почитать?
Приоритет на скачивание текстов и их проверка на уникальность.
Профилактика рахита | Наши малыши Такую болезнь как рахит можно вылечить, но лучше ею не болеть. Для этого необходимо делать комплекс профилактических действий и специальную гимнастику, полезен будет и массаж.
Уделите особое внимание купанию, его можно заменить лечебными ваннами.
Если ребёнок легко возбуждается и слишком активен, то ему подойдут хвойные ванны. Длительность такого купания увеличивают с 5 до 10 минут, курс лечения около от 12 до 15 ванн.
Если ребёнок вялый, малоподвижный, его трудно растормошить, то здесь больше подойдут тонизирующие ванны с добавлением морской соли. Купание с морской солью должно быть продолжительностью от 3 до 5 минут. Повторите это 8-10 раз. Купать следует через день. Сейчас очень большое разнообразие солей для ванны, подберите сами, ту которая наиболее подойдёт вашему ребёнку.
Если у ребёнка диатез, то можно порекомендовать ванны с лечебными травами. Сделайте смесь из коры дуба, череды, корня аиры, листьев подорожника. Заваривать нужно из расчёта 1 ст. ложка трав на один литр воды. Купать по 5-10 минут, пока на коже исчезнут следы диатеза.
Ежедневно принимать витамин Д по 1 капле, в течение всего года, кроме солнечных летних дней. Лучше до 1, 5 лет.
Ребёнок должен получать достаточное количество кальция и фосфора. Поэтому, если ребёнок уже не на грудном вскармливании, в его рацион питание должны входить молоко, творог, сыр, кефир, рыба, яйца, в общем, продукты с большим содержанием кальция и фосфора. Но постарайтесь кормить ребёнка грудью как можно дольше, и не отлучайте его от груди, пока не придёт биологическое время для этого.
Обязательно, каждый день гулять с ребёнком, около 2-х часов.
Тугое пеленание уже в прошлом. Одевайте ребёнку ползунки и распашонки, так он сможет активно двигаться, его кости быстрее окрепнут, и рахит обойдёт стороной.
Ежедневная гимнастика и плавание.
Упражнения для предупреждения рахита.
Если у ребёнка рахит, то нередко он плохо удерживает голову, поэтому первые упражнения нужно проводить горизонтально. Длительность такой гимнастики по 10-15 минут, несколько раз в день. Если ребёнок в хорошем настроении. Необходимо уделить особое внимание укреплению мышц шеи, спины, грудной клетки и живота. в начале и в конце лёгкий массаж 2-3 минут. Поглаживание и растирание всего тела.
На спине.
Придерживая малыша за голени, побуждайте его достать игрушку, сначала с одной стороны, затем с другой.
То же самое, но отодвиньте игрушку на 40-50см. или поднимите над ним. Пусть он пытается до неё дотянуться. Здесь задействованы передняя группа мышц, плеч и живота.
Одной рукой придерживайте малыша за ножки, другой за противоположенную кисть, побуждайте его повернуться, сначала на бок, затем на живот. Повторите повороты и в другую сторону.
На животе.
Одну руку положите под грудь ребёнку, а другой сделайте опору для его стоп. Положите перед ним игрушку и побуждайте отталкиваться от вашей руки, стимулирую ползательный рефлекс.
Придерживайте ребёнка за голени и перекладывайте игрушку с одной стороны на другую, чтобы малыш учился поднимать, поворачивать и держать голову.
Ребёнок лёжа то на спине, то на животе отталкивается стопами от вашей руки.
Почаще выкладывайте ребёнка на живот, так укрепляются соответствующие мышцы, формируются правильные изгибы позвоночника, исправляются возможные деформации грудной клетки.
Помогите вашему малышу быть здоровым!

Для восстановления сайта идет другая программа с видео и примерами по принципу работы. В рассылаемом письме всё описано.

P.S.

В течении недели - цена - 500 рублей. Шаблон полностью открытый и без привязок. + решение по скоростной проверки на уникальность.

Яндекс-Деньги: 410011187505134
Киви - +7 961 999‑51‑37

Screenshot_1.jpg
 
Последнее редактирование:
  • Спасибо
Реакции: one

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Непрофильный актив. Портал https://lifetimy.ru отлеживался полгода. Статьи (из Вебархива) сознательно не оптимизировались под поисковые запросы до полугода. Сейчас некогда им заниматься, поэтому, если у вас есть жена, которой нечем заняться, можете купить ей этот сайт под развитие. Сайт принят в РСЯ и Ротапост - статьи гораздо интереснее писать, когда видишь, как на балансе РСЯ прибавляются деньги. Идеально, если есть возможность перебрасывать трафик через соцсети или завести канал в Яндекс.Дзен.
РСЯ.jpg

Ротапост.jpg

В Ротапосте не продано ни одной ссылки (сайт чистый - нет ни входящих не исходящих ссылок, имеет ИКС и возраст - готов к грамотному развитию по ключам). В РСЯ принят сегодня - я с РСЯ никаких дел иметь не хочу, а вы можете поработать. Посещалка минимальная - 3-7 человек (сайт специально не оптимизирован под запросы, не имеет никаких ссылок, так-как готовился к штурму сложнейшей женской тематике). Также передаются почты с метрикой.

Хотите прикупить сайт жене под развитие? Пишите по адресу [email protected] и предлагайте свою цену. Сделаем так - завтра в 12:00, по московскому времени (https://time100.ru/), закончим сделку по последней ставке. Отвечать на письма не буду, завтра отпишу в теме, продан сайт или нет.

Технические подробности - передаю домен через REG.RU в ваш аккаунт в течении нескольких минут, также аккаунт на Бегет (сайт весит 6 гигобайт, тариф 250 рублей в месяц).

P.S.
В теме писать ничего не нужно, пишите на емейл.
 
Последнее редактирование:
Регистрация
01.12.2018
Сообщения
13
Благодарностей
2
Баллы
3
Спасибо за обновление.
Возможно ли сделать частичное сохранение html тегов разметки?
Пример из Datacol на скрине ниже.
Это бы очень облегчило работу при массовом импорте.
Посмотреть вложение 34562
Да, это несложно. Будет позже, после обкатки.
Здравствуйте.
Напомню на всякий случай, вдруг обкатка уже прошла.
В качестве просьбы.
 

vsemmoney

Новичок
Регистрация
28.03.2019
Сообщения
8
Благодарностей
0
Баллы
1
Собираюсь покупать.
Скажите конкретно, чтобы потом не вскрылись подводные камни:
1. Достаточно ли всё такие Lite версии зенки?
2. Нужны ли какие то дополнительные вложения кроме 500 рублей на покупку?
3. Прокси придётся покупать для работы или подойдут паблик? просто с прокси в программах вечные проблемы, они у меня почему то никогда не работают)
 

vsemmoney

Новичок
Регистрация
28.03.2019
Сообщения
8
Благодарностей
0
Баллы
1
По какой то причине автор не принимает вебмани, ну да ладно тогда придется обойтись без парсера) тогда удалите с темы реквизиты, чтобы не вводить людей в заблуждение
 

manka163

Client
Регистрация
28.12.2016
Сообщения
10
Благодарностей
1
Баллы
3
Помогите пожалуйста разобраться. Недавно приобрела шаблон. Бесшаблонный парсер установила на подддомен. При вводе его адреса в браузере все работает (как на картинке в инструкции). Только вот текст с вебархива не скачивается.
Есть две проблемы:
1. Довольно часто на сайтах находит текстовые ссылки и начинает их перебирать. Хотя текстовых ссылок ни одной не увидела (смотрела в файле Чистая карта).
2. Не скачивает текст даже когда он реально на сайте есть. Лимит у меня в настройках - минимум 500 символов текста.

Сейчас несколько раз запускала домен на проверку, где точно есть тексты. Ни разу ни одного не скачал. И ещё - иногда он находит на нем 96 текстовых ссылок, а иногда не находит ни одной. По факту текстовых ссылок там нет.
https://i.paste.pics/849681b058d59af7c12b3b7ea8c8bf0c.png
https://i.paste.pics/63fbdd34f5372acd59e42b4b5966af43.png
https://i.paste.pics/789fcfcbf729339573ec8497500576ed.png
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Помогите пожалуйста разобраться. Недавно приобрела шаблон. Бесшаблонный парсер установила на подддомен. При вводе его адреса в браузере все работает (как на картинке в инструкции). Только вот текст с вебархива не скачивается.
Есть две проблемы:
1. Довольно часто на сайтах находит текстовые ссылки и начинает их перебирать. Хотя текстовых ссылок ни одной не увидела (смотрела в файле Чистая карта).
2. Не скачивает текст даже когда он реально на сайте есть. Лимит у меня в настройках - минимум 500 символов текста.

Сейчас несколько раз запускала домен на проверку, где точно есть тексты. Ни разу ни одного не скачал. И ещё - иногда он находит на нем 96 текстовых ссылок, а иногда не находит ни одной. По факту текстовых ссылок там нет.
https://i.paste.pics/849681b058d59af7c12b3b7ea8c8bf0c.png
https://i.paste.pics/63fbdd34f5372acd59e42b4b5966af43.png
https://i.paste.pics/789fcfcbf729339573ec8497500576ed.png
Проблема где-то на вашей стороне. Возможно, обработчик стоит попробовать установить на локальном Опен Сервере. Поддомен хостинга может неправильно обрабатывать данные, неизвестно, что это за хостинг. Пришлите те домены, где есть текст, но программа его не видит. Я с таким не сталкивался, возможно, зависит от скорости интернета. Также возможно, 53 фаерфокс уже устарел, такое было с 45, когда Вебархив не отдавал некоторые сайты и пришлось адаптировать под 53.

Я проверю и адаптирую под Хром и крайнюю версию Зеннопостер. Попробуйте открыть сайт в браузере и походить по ссылкам. Очень часто бывает, что сайт показывается нормально, но сами страницы уже удалены из Вебархива и открываются пустыми.

Пустые страницы (пример):
Screenshot_2.jpg
Такое означает - сработала функция проверки - минимум 500 символов текста и там меньше текста. Такая страница игнорируется и берется другая; на странице просто нет текста.

Обработка ссылок - должно быть так (стандартные настройки с шагом 1000):
Screenshot_1.jpg
Пример скаченного сайта и спаршеных доменов прикрепляю в аттаче.
 

Вложения

manka163

Client
Регистрация
28.12.2016
Сообщения
10
Благодарностей
1
Баллы
3
Домен znanie-miru.ru

Парсер на Бегете.

Сейчас ссылку одной из страниц проверяемого сайта вставила прямо в парсер, в браузере, не через зеннопостер. Текст нормально скачал из вебархива:



А в зеннопостере говорит, что текста нет там.

Вчера тоже догадалась через опенсервер попробовать. Но пока не настроила. У меня зеннопостер на сервере, памяти немного там. Так что пока закачала, разобралась. Добралась до ошибки: порт 80 занят. У техподдержки спрошу, как его освободить. Надеюсь, они сегодня работают. В общем этот вариант пока в процессе.
 

manka163

Client
Регистрация
28.12.2016
Сообщения
10
Благодарностей
1
Баллы
3
Не нашла, как можно отредактировать сообщение, поэтому дописываю в следующем )
Забыла сказать, что использую версию зеннопостера 5.17.2, а вот какая там версия браузера не знаю, где посмотреть.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Не нашла, как можно отредактировать сообщение, поэтому дописываю в следующем )
Забыла сказать, что использую версию зеннопостера 5.17.2, а вот какая там версия браузера не знаю, где посмотреть.
Всё настроено автоматом под новейший браузер. Если бы было что-то не так, шаблон бы выдал предупреждение, что используется старый браузер.
 

manka163

Client
Регистрация
28.12.2016
Сообщения
10
Благодарностей
1
Баллы
3
Кажется проблема решилась или почти решилась. Вместе с техподдержкой освободили порт 80 на сервере. Видимо этот порт нужен был парсеру для связи с зеннопостером. Правда текст с этого сайта все равно не спарсился, в логе пишет, что вебархив не отдает данные. Но даже это уже прорыв )) Один текст записал в "Шлак" и даже спарсил один домен из комментов. А раньше вообщеБуду тестировать на других доменах.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 037
Благодарностей
426
Баллы
83
Кажется проблема решилась или почти решилась. Вместе с техподдержкой освободили порт 80 на сервере. Видимо этот порт нужен был парсеру для связи с зеннопостером. Правда текст с этого сайта все равно не спарсился, в логе пишет, что вебархив не отдает данные. Но даже это уже прорыв )) Один текст записал в "Шлак" и даже спарсил один домен из комментов. А раньше вообщеБуду тестировать на других доменах.
Я просил постом выше сбросить проблемные домены мне на почту, чтобы я сам их проверил. Самый новейший браузер Фаерфокса Зеннопостер уже фактически устарел, возможно, стоит перейти на Хром. Нужно проанализировать проблему, так-как я с таким не сталкивался. У меня всё работает как часы.
 

deonisii

Client
Регистрация
23.03.2012
Сообщения
92
Благодарностей
14
Баллы
8
Я, извиняюсь, не имею времени читать всё полотно сообщений. Скажите пожалуйста, имеется ли возможность реализовать скрипт full-text-rss на стационарном компе?
Просто в предыдущих версиях он не работал на опен сервере. Спрашиваю, потому что не вижу смысла покупать хост за 4-10$ при мощно функционируещем стационарнике.
 

Olegator

Client
Регистрация
15.02.2019
Сообщения
64
Благодарностей
11
Баллы
8
Я, извиняюсь, не имею времени читать всё полотно сообщений. Скажите пожалуйста, имеется ли возможность реализовать скрипт full-text-rss на стационарном компе?
Просто в предыдущих версиях он не работал на опен сервере. Спрашиваю, потому что не вижу смысла покупать хост за 4-10$ при мощно функционируещем стационарнике.
да, можно, я тоже перешел с хостинга на стационарку, было 24ГБ оперативы, сейчас 16ГБ и хватает за глаза, но если вы используете несколько копий Краулера, то при 16ГБ оперативы тянет только 10 копий, если больше, то идут серьезные проблемы и краулеры пропускают тексты и вытягивают на запись мало.
 

vsemmoney

Новичок
Регистрация
28.03.2019
Сообщения
8
Благодарностей
0
Баллы
1
Идёт 4 день уже, шаблон после оплаты автор так и не скинул, на почте не отвечает) видимо занят сильно раз минутное дело не в силах свершить.. в голове не укладывается даже как это возможно, ведь сам как человек представляющий услуги не понимаю куда можно исчезать так постоянно и проще тогда тему закрывать или писать в ей что не появлюсь в теме т.к занят..



Сначала с кошельками мутит что-то)) в теме указаны яндекс и вебмани, по почте сказал на киви или яндекс и что на вебмани уже не прокатит, искал вариант как еще пополнить, а в итоге отправил кое как с яндекса. Видимо потом и поддержки не дождешься раз даже 2 минут нет на то, чтобы этот шаблон скинуть.
 

Вложения

  • 51,7 КБ Просмотры: 147

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)