Правильные прогулки по сайту

[boris99]

Здравствуйте!

Поделитесь опытом - кто как делает "прогулку" роботом по случайному сайту? Какой принцип этого действия?
Понятно, что выбор какой-то ссылки на странице, подвести мышь, перейти. Но как выбираете куда идти, по каким ссылкам? (робот зашел на главную, опустился вниз и нажал на "политику обработки персональных данных"? Ну как-то глупо... значит полный рандом не есть хорошо)
Или перешел на какую-то страницу - там всплывающее окно открылось "подпишитесь на рассылку". У всех свои тексты, свои стили и верстка, даже крестик закрытия разный.. как понять и закрыть?
И т.п. Много действий, которые робот сам по себе с трудом сделает.
Кто как обходит это все?

 

[Phoenix78]

как напишешь так и будет. напишешь полный рандом, будет полный рандом. самый простой вариант.
нужно очеловечить, тогда садись за изучение и пробуй писать. не понравиться результат еще раз пробуй.
универсального решения нет. все люди разные и создать робота эмулирующего разных людей это не поле перейти !

тем более на случайных сайтах нужны случайные клики по внутренним или внешним ссылкам. вот и разделяй сначала по этому признаку.
хочешь что бы кликал только в верхней части экрана, фильтруй элементы по месторасположению. прокликал, давай роботу разрешения кликать везде
исключай не видимые элементы.
напиши фильтр обхода ловушек. щас не знаю есть но раньше делали ссылки типа "Не нажимать это для ссылка для ботов"
менюшки вот бываю выпадающие кстати. пока не наведешь мышь на меню на ссылку не ткнешь. тоже надо отдельно учитывать.
напиши проверку открытых лишних окон. полезная вещь особенно на незнакомых сайтах.

и да не парься насчет полного обхода ограничений. счетчик сделай попыток клика по ссылке. ткнул , проверил изменение урл, счетчик увеличил дальше пошел. когда наберешь нужное количество успешных переходов выходишь. если что то не так надо начинать с главной страницы.

Дерзай