Здравствуйте!
Поделитесь опытом - кто как делает "прогулку" роботом по случайному сайту? Какой принцип этого действия?
Понятно, что выбор какой-то ссылки на странице, подвести мышь, перейти. Но как выбираете куда идти, по каким ссылкам? (робот зашел на главную, опустился вниз и нажал на "политику обработки персональных данных"? Ну как-то глупо... значит полный рандом не есть хорошо)
Или перешел на какую-то страницу - там всплывающее окно открылось "подпишитесь на рассылку". У всех свои тексты, свои стили и верстка, даже крестик закрытия разный.. как понять и закрыть?
И т.п. Много действий, которые робот сам по себе с трудом сделает.
Кто как обходит это все?
Поделитесь опытом - кто как делает "прогулку" роботом по случайному сайту? Какой принцип этого действия?
Понятно, что выбор какой-то ссылки на странице, подвести мышь, перейти. Но как выбираете куда идти, по каким ссылкам? (робот зашел на главную, опустился вниз и нажал на "политику обработки персональных данных"? Ну как-то глупо... значит полный рандом не есть хорошо)
Или перешел на какую-то страницу - там всплывающее окно открылось "подпишитесь на рассылку". У всех свои тексты, свои стили и верстка, даже крестик закрытия разный.. как понять и закрыть?
И т.п. Много действий, которые робот сам по себе с трудом сделает.
Кто как обходит это все?