Как чекнуть сотню тысяч сайтов на валидность?
- Автор темы Sambo7
- Дата начала
- Регистрация
- 23.05.2018
- Сообщения
- 286
- Благодарностей
- 12
- Баллы
- 18
Благодарю, конечно за ответ. Только мне это не очень понятно... Если у Вас мало времени, может быть, кто другой, будет добр, объяснить попонятней, как это сделать? С Post Get, пока еще не работал, поэтому не понятно!
В любом случае, благодарю Вас от души, за ответ, спасибо!
В любом случае, благодарю Вас от души, за ответ, спасибо!
Nord
Client
- Регистрация
- 22.03.2012
- Сообщения
- 2 375
- Благодарностей
- 1 436
- Баллы
- 113
Roman*
Client
- Регистрация
- 25.09.2013
- Сообщения
- 1 651
- Благодарностей
- 655
- Баллы
- 113
Примерно вот так, но как я вижу нынешние сайты, очень часто есть защита клауда, которая при гет запросе с зенки отдает 403 ошибку или как авито 302 редирект в заголовке, это все можно учитывать, когда парсите с гет запроса какие то фразы отвечающие за работоспособность самого сайта, бывает что домен продается, но тоже будет 200 OK, а страница будет не этого домена, а регистратора, короче нюансов море.
- Регистрация
- 23.05.2018
- Сообщения
- 286
- Благодарностей
- 12
- Баллы
- 18
Может где то на форуме, есть хотя-бы примерный пример подобного шаблона, который можно было бы переделать под себя?...
Гуглил, ничего путнего не нашел. Есть какая-то ветка, с подобным вопросом, но там ничего не понятно... Вот тут
Вот смотрю на Ваш пример, аж руки опускаются... Нет, то что Вы конечно ответили, это здорово... Однако, я многого не понимаю..
Мне почему-то казалось, что чтобы проверить сайты на работоспособность, нужно буквально несколько кубиков, со строкой кода...
Однако всё не так легко... как кажется....
Гуглил, ничего путнего не нашел. Есть какая-то ветка, с подобным вопросом, но там ничего не понятно... Вот тут
Вот смотрю на Ваш пример, аж руки опускаются... Нет, то что Вы конечно ответили, это здорово... Однако, я многого не понимаю..
Мне почему-то казалось, что чтобы проверить сайты на работоспособность, нужно буквально несколько кубиков, со строкой кода...
Однако всё не так легко... как кажется....
- Регистрация
- 23.05.2018
- Сообщения
- 286
- Благодарностей
- 12
- Баллы
- 18
А если попытаться написать простой шаб на кубиках:
1. Переход на сайт (тянем ссылки со списка).
2. Если сайт загружается, т.е. проверка какого то текста....
А какой текст можно искать на работающем сайте???
3. Работающий сайт записываем в отдельный список.
И вуаля... Да возможно сожгем не мало электроэнергии, но для меня подобный способ лучше, чем сидеть без дела, и "ждать когда рак на горе свиснет"...
Если Вам не сложно, обозначьте пожалуйста, по каким признакам можно определить что сайт работающий??? Пункт 2.
1. Переход на сайт (тянем ссылки со списка).
2. Если сайт загружается, т.е. проверка какого то текста....
А какой текст можно искать на работающем сайте???
3. Работающий сайт записываем в отдельный список.
И вуаля... Да возможно сожгем не мало электроэнергии, но для меня подобный способ лучше, чем сидеть без дела, и "ждать когда рак на горе свиснет"...
Если Вам не сложно, обозначьте пожалуйста, по каким признакам можно определить что сайт работающий??? Пункт 2.
oOmp
Client
- Регистрация
- 22.01.2018
- Сообщения
- 197
- Благодарностей
- 86
- Баллы
- 28
Sok0lov
Client
- Регистрация
- 25.11.2021
- Сообщения
- 90
- Благодарностей
- 50
- Баллы
- 18
Mass Alive Checker - ScrapeBox
Вот можно быстро проверить Скрэйпбоксом
Alexbrush
Client
- Регистрация
- 20.11.2020
- Сообщения
- 128
- Благодарностей
- 102
- Баллы
- 43
Весь чекер это 5 блоков в цикле или без цикла и в многопотоке, но с этим сам разберёшься наверно.
Сделал за пару минут, но лучше тебе особенно на таких простых задачках самостоятельно изучать и пробовать собирать шаблоны. Больше практики - больше возможностей в использовании зеннопостер.
heks
Client
- Регистрация
- 01.10.2013
- Сообщения
- 1 082
- Благодарностей
- 263
- Баллы
- 83
(?<=HTTP/1\.1\ )[\w\W]*?(?=\ O) регулярку только такую сделать нужно иногда ответ Ok встречается и в список указать фал куда будет сохраняться если в многопотоке запускать
Alexbrush
Client
- Регистрация
- 20.11.2020
- Сообщения
- 128
- Благодарностей
- 102
- Баллы
- 43
Согласен по регулярке. По файлам откуда брать и куда ложить наверно разберётся как привязать. Здесь не было задачи сделать готовый шаблон за него, а оставить немного маневра самостоятельно доделать под себя. Я больше хотел показать простоту самой сборки такого типового шаблона чекера, а дальше уже сам
- Регистрация
- 23.05.2018
- Сообщения
- 286
- Благодарностей
- 12
- Баллы
- 18
Я конечно Вам от души благодарен, однако, проверил Ваш файл через вирустотал...
Показывает вирусы...
Вложения
Alexbrush
Client
- Регистрация
- 20.11.2020
- Сообщения
- 128
- Благодарностей
- 102
- Баллы
- 43
Обычный файл проекта zp, какие там вирусы?) Чуть меньше паранойи с левым софтом антивирусом и будет жить легче.
На сегодня встроенная защита от Windows справляется достаточно хорошо. Антивирусы и прочие сканеры принимают за вирусы слишком много лишнего, что они просто не могут определить и помечают это как вирусы.
Последнее редактирование:
heks
Client
- Регистрация
- 01.10.2013
- Сообщения
- 1 082
- Благодарностей
- 263
- Баллы
- 83
ты файл чекни который тебе человек дал зачем ты чекаешь ссылку ?
