Разрыв связи в моб. проксях. Поделитесь мнением.

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 328
Благодарностей
5 431
Баллы
113
Есть кто плотно работает на моб проксях и на вебе? Поделитесь решениями при разрывах.

Делаю гет запрос на чек зеннолаб, и проверкой на пустоту перед действием. Но все равно проскакивают разрывы, причем сайты ведут себя по разному. Бывает сайт пишет: соединение разорвано, бывает просто about:blank и пустая страница, или попросту глючит функционал сайта. Я уже запутался. Прошу помощи и советов в этом направлении.
 

bercut

Новичок
Регистрация
16.10.2018
Сообщения
4
Благодарностей
0
Баллы
1
Тоже столкнулся с этой проблемой, пока решаю это гет запросами, но тут появляется вопрос, почему запрос который якобы должен сократить время выполняется около 3 секунд, т.е нельзя после каждого действия проверить сеть через гет, ибо это сильно нагрузит по времени выполнение шаблона. Может это я что-то не так делаю если гет запрос выполняется 3-3.5сек, в настройках его выполнения стоит таймаут 5.
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 328
Благодарностей
5 431
Баллы
113
нельзя после каждого действия проверить сеть через гет, ибо это сильно нагрузит по времени выполнение шаблона.
Можно я так и делаю. поставил таймаут 1 секунда и вперед)
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
541
Благодарностей
395
Баллы
63
Код:
Ping ping = new Ping();    
            try  
            {  
                PingReply reply = ping.Send(proxy, 2000);  
                if (reply != null && (reply.Status == IPStatus.Success))    
                {                  
                    Proxylst.Add(proxy);
                }
            }
            catch (PingException e)      
            {          
                project.SendInfoToLog("Bad Proxy: " + proxy, true);
            }
через пингвина можно чекать.. кусок из парсера, если прокся норм кладет назад в список
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 328
Благодарностей
5 431
Баллы
113
через пингвина можно чекать.. кусок из парсера, если прокся норм кладет назад в список
Так мы уже взяли прокси в начале работы. А теперь необходимо просто чекать ее на разрыв. Как правило у людей 1-2 моб канала.
 

Чешир

Client
Регистрация
27.06.2014
Сообщения
1 540
Благодарностей
899
Баллы
113
Есть кто плотно работает на моб проксях и на вебе? Поделитесь решениями при разрывах.

Делаю гет запрос на чек зеннолаб, и проверкой на пустоту перед действием. Но все равно проскакивают разрывы, причем сайты ведут себя по разному. Бывает сайт пишет: соединение разорвано, бывает просто about:blank и пустая страница, или попросту глючит функционал сайта. Я уже запутался. Прошу помощи и советов в этом направлении.
После каждого запроса проверять на наличие определенного слова, свидетельствующего об успехе
Если таковых нет, то искать слово, говорящее о разрыве соединения. Таких слов много, они бывают разные.
Помню, для у меня они даже были в отдельном файле записаны в виде
отказывает|не удалась|шибка|connection failed и т.д.
и из этого фала грузились в регекс, который проверял ошибку.
Файл с ошибками дополнялся по мере отладки
Так же была проверка на урл (не бланк ли он)
Если была ошибка соединения, запрос повторялся. На каждом повторе запросов стоял счетчик и пауза. Если проект превышал значение счетчика (обычно я давал 10 попыток) или если была ошибка не прописанная в файле ошибок, то проект завершался по бэдэнду и в отдельную папку сохранялся скрин окна, урл и код страницы. Так я отлаживал косяки.
Это муторно для веб-проекта, но сделать это можно.
Для пост-гет проекта не так муторно, принцип тот же

А проверять соединение перед действием - это пустое занятие, сразу говорю
 
  • Спасибо
Реакции: Mikhail B.

Чешир

Client
Регистрация
27.06.2014
Сообщения
1 540
Благодарностей
899
Баллы
113
тут такой еще момент
запросы как бы деляться на две категории
1-просто открыть некий урл. Тут все просто. в случае ошибки соединения повторяешь открытие урла
2-сложный вариант - кликнуть на элементе... там типа джава-скрипт открывает что-то и просто переходом по урлу этого не съэмулировать. тут сложнее. Допустим, ты кликнул по кнопке, произошел обрыв и у тебя пустая страница или сообщение об ошибке сервера, т.е. кнопки по которой можно было бы повторно кликнуть у тебя на странице нет. В этом случае нужно прописывать открытие после обнаружения ошибки той страницы, с которой можно снова попасть на страницу с кнопкой. Там иногда выносит мозг, но все решаемо
Я как-то год назад добивался от своих шабов очень высокой стабильности. Но это муторно для моб. проксей. Но реально.
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 328
Благодарностей
5 431
Баллы
113
тут такой еще момент
запросы как бы деляться на две категории
1-просто открыть некий урл. Тут все просто. в случае ошибки соединения повторяешь открытие урла
2-сложный вариант - кликнуть на элементе... там типа джава-скрипт открывает что-то и просто переходом по урлу этого не съэмулировать. тут сложнее. Допустим, ты кликнул по кнопке, произошел обрыв и у тебя пустая страница или сообщение об ошибке сервера, т.е. кнопки по которой можно было бы повторно кликнуть у тебя на странице нет. В этом случае нужно прописывать открытие после обнаружения ошибки той страницы, с которой можно снова попасть на страницу с кнопкой. Там иногда выносит мозг, но все решаемо
Я как-то год назад добивался от своих шабов очень высокой стабильности. Но это муторно для моб. проксей. Но реально.
Я еще пошел в направлении скорости. т.е. ускорить выполнение шаблона тем самым, минимизировать кол-во обрывов за 1 выполнение.
 

krepskiy

Client
Регистрация
18.02.2016
Сообщения
178
Благодарностей
144
Баллы
43
  • Спасибо
Реакции: barabanim и Mikhail B.

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 328
Благодарностей
5 431
Баллы
113
Добавлю от себя, что для сайта чек зеннолаб стоит 1 сек поставить таймаут. т.к. если прокся не может 2Кб кода загрузить дольше чем за 1 сек, то скорей всего канал перегружен и дальнейшая работа приведет только к ошибкам.
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 328
Благодарностей
5 431
Баллы
113
  • Спасибо
Реакции: Alex.A

krepskiy

Client
Регистрация
18.02.2016
Сообщения
178
Благодарностей
144
Баллы
43

xuroo

Client
Регистрация
07.10.2016
Сообщения
161
Благодарностей
41
Баллы
28
Есть кто плотно работает на моб проксях и на вебе? Поделитесь решениями при разрывах.

Делаю гет запрос на чек зеннолаб, и проверкой на пустоту перед действием. Но все равно проскакивают разрывы, причем сайты ведут себя по разному. Бывает сайт пишет: соединение разорвано, бывает просто about:blank и пустая страница, или попросту глючит функционал сайта. Я уже запутался. Прошу помощи и советов в этом направлении.
всегда чекал айпи на своем php скрипте.

надежно, если чекер твой.
если айпи не серверный показал, все ок.

если серверный - ифы и циклы на свой вкус)

roistat_visit - это гет трекер ройстата
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)