GetTraffic работает не корректно

Yuriy Zymlex · 04.04.2022

Делайте проверку на наличие элементов в коллекции, на null и выводите в лог всё что можно, в целях отладки.

Sanya330 · 05.04.2022

Была проблема что с 1 поиска не находило запрос, хотя он в мониторе был, решил просто зациклить, находит раза с пятого)

Yuriy Zymlex · 05.04.2022

Gratsh сказал(а):
Так же очень часто если он вдруг все таки загрузился в переменную бывает что не получается извлечь ответ от сервера, хотя он то же имеется.

Для этого случая есть метод Refresh.

Gratsh сказал(а):
Но трафик банально не заходит в переменную, т.е его просто нет, хотя в таблице он есть.

Необходим минимальный, рабочий шаблон пример.

Sanya330 · 05.04.2022

Gratsh сказал(а):
А что именно зациклить? Вызов GetTraffic и обработку?
Или выполнение с нуля в плане загрузки страницы и так далее?

Зациклил C# кубик поиска запросы и получения из него headers/body.

Wide · 08.04.2022

Так же наблюдаю проблему на 7.7.0.0 и на всех движках. Хз и паузы ставил, и шаблон отдельно писал для отлова бага. В трафике данные есть, получать их не хочет, вернее получает но с периодичностью ~ 2 к 3-5. После прочтения форума понял что баг ещё давнейший. Нужно в ветку писать, только вот пока пофиксят не актуально уже будет. На мой взгляд это одна из главных причин отрапортовать про баг.

Yuriy Zymlex · 16.04.2022

Gratsh сказал(а):
Так, а какой смысл этого действия если после первого чтения весь объект стирается, а запрос к примеру был первым - вторым по очереди?

Получите объект и в цикле делайте у него Refresh(), пока не появятся.

Yuriy Zymlex · 17.04.2022

Gratsh сказал(а):
очень часто при наличии запроса да же не находит по ссылке его наличие.

Необходим пример разработчикам.

Wide · 17.04.2022

Zymlex сказал(а):
Необходим пример разработчикам.

Я вам пример одного из багов скидывал тоже

Yuriy Zymlex · 17.04.2022

Gratsh сказал(а):
при наличии запроса да же не находит по ссылке его наличие

Wide сказал(а):
Я вам пример одного из багов скидывал тоже

Не очищать трафик автоматически при Navigate
Там точно не в этом дело?

THE CaHeK · 17.04.2022

Gratsh сказал(а):
Салют.

Есть нетривиальная задача: перейти на страницу, дождаться ее полной загрузки, выполнить заполнение полей формы и нажать на кнопку входа, после этого подождать полной загрузки страницы и при помощи GetTraffic извлечь запрос на форму и получить ответ.

Сделал такой проект, все работает кроме корректного извлечения трафика.

Перед переходом на страницу выполняю : instance.UseTrafficMonitoring = true;
Далее после того как запрос на форму прошел выполняю такой код:

Сохраняю трафик в переменную проекта, для того что бы обращаться к нему не один раз:

project.Context["traff"] = instance.ActiveTab.GetTraffic();

Ищу нужный запрос по маске, записываю его ответ в переменную проекта, а так же вывожу все ссылки запросов в лог для отладки:

var traffic = project.Context["traff"]; foreach(TrafficItem t in traffic) { project.SendInfoToLog(t.Url); if (t.Url.Contains("/rest") && t.Method=="POST") { try { project.Variables["responce"].Value = System.Text.Encoding.UTF8.GetString(t.ResponseBody); } catch { continue; } } }

В 100% случаях не работает если в PM нажать на кнопку выполнить с начала, после если произвести те же самые действия руками на странице (или по шагам после того как проект 1 раз выполнился полностью) в 50% случаев работает правильно (в лог выводит ссылки, в переменную записывает нужный ответ).

Что я имею ввиду под словами "не работает": в таблице трафика в PM трафик есть всегда (и ответ на нужный мне запрос то же есть), маска 100% правильная (как минимум потому что ссылка всегда одинаковая и по этой маске он иногда находит запрос), но функция не срабатывает.

В чем может быть дело?

Вы можете ловить ошибку, еще из за того, что запрос еще не "дошел". Вот вытащил из старого шаблона пример. Внедрите у себя WaitResponse, может частично поможет.
+ Navigate

WaitResponse:

foreach(var t in traffic) {
    if (t.Url==url_atmarket) {
        t.WaitResponse(10, 1); //
        string bodyResponse = System.Text.Encoding.UTF8.GetString(t.ResponseBody);
        string status_Code = t.ResultCode.ToString();  
        string RequestBody = t.RequestBody;
        if(bodyResponse.Contains("success")){
            return project.Variables["get_atmarket"].Value = bodyResponse;
        }else{
            throw new Exception("В ссылке, не нашли success(какая-то поебень в ответе - отладить)");
        }
    }
   
}
throw new Exception("Не было нашей ссылки");

Yuriy Zymlex · 17.04.2022

THE CaHeK сказал(а):
Вы можете ловить ошибку, еще из за того, что запрос еще не "дошел". Вот вытащил из старого шаблона пример. Внедрите у себя WaitResponse, может частично поможет.

WaitResponse:

foreach(var t in traffic) { if (t.Url==url_atmarket) { t.WaitResponse(10, 1); // string bodyResponse = System.Text.Encoding.UTF8.GetString(t.ResponseBody); string status_Code = t.ResultCode.ToString(); string RequestBody = t.RequestBody; if(bodyResponse.Contains("success")){ return project.Variables["get_atmarket"].Value = bodyResponse; }else{ throw new Exception("В ссылке, не нашли success(какая-то поебень в ответе - отладить)"); } } } throw new Exception("Не было нашей ссылки");

Уже писал выше 2 раза, на этот случай есть Refresh()

Wide · 17.04.2022

Zymlex сказал(а):
Не очищать трафик автоматически при Navigate
Там точно не в этом дело?

Там в целом трабла с гет трафиком. Я невнимательно прочитал описание этого топика. Но в моей теме ответственный за раздел, бы и отписаться по багу.

djaga · 17.03.2023

Схожая проблема кажись, заодно подниму тему.)
В инспекторе во вкладке network есть запрос, а в окне трафик и после исполнения кода нет запроса. Хотя браузер буквально один и тот же.

Я выполняю данный код:

C#:

instance.UseTrafficMonitoring = true;
string site = "ссылка";
instance.ActiveTab.Navigate(site);
instance.ActiveTab.WaitDownloading();

var trafficItems = instance.ActiveTab.GetTraffic();

var resList = trafficItems
    .Where(item => item.Url.Contains("искомое"))
    .Select(item => new Dictionary<string, string>
    {
        { "url", item.Url },
        { "requestBody", item.RequestBody },
        { "responseBody", item.ResponseBody == null ? "" : Encoding.UTF8.GetString(item.ResponseBody) }
    })
    .ToList();

В инспекторе:

В окне трафика данного запроса нет.

Это может быть связано как-то с генерацией с помощью js? Если да, то как получить это изображение, которое есть на странице?

n0n3mi1y · 17.03.2023

djaga сказал(а):
Схожая проблема кажись, заодно подниму тему.)
В инспекторе во вкладке network есть запрос, а в окне трафик и после исполнения кода нет запроса. Хотя браузер буквально один и тот же.

Я выполняю данный код:

C#:

instance.UseTrafficMonitoring = true; string site = "ссылка"; instance.ActiveTab.Navigate(site); instance.ActiveTab.WaitDownloading(); var trafficItems = instance.ActiveTab.GetTraffic(); var resList = trafficItems .Where(item => item.Url.Contains("искомое")) .Select(item => new Dictionary<string, string> { { "url", item.Url }, { "requestBody", item.RequestBody }, { "responseBody", item.ResponseBody == null ? "" : Encoding.UTF8.GetString(item.ResponseBody) } }) .ToList();

В инспекторе:
Посмотреть вложение 104718

В окне трафика данного запроса нет.

Это может быть связано как-то с генерацией с помощью js? Если да, то как получить это изображение, которое есть на странице?

Там вроде не URL-ка вовзращается, а картинка в base64 готовом, если мне не кажется.

Yuriy Zymlex · 17.03.2023

djaga сказал(а):
В инспекторе:

Кажется тут дело в blob протоколе.

Yuriy Zymlex · 17.03.2023

djaga сказал(а):
Если да, то как получить это изображение, которое есть на странице?

Его можно просто получить как есть, в крайнем случае просто заскринить:

https://help.zennolab.com/en/v5/zennoposter/5.40.0.0/webframe.html#topic128.html

djaga · 17.03.2023

Zymlex сказал(а):
в URL же оно конвертируется в иную последовательность символов:

https://zennolab.com/discussion/threads/urlencode-probelov.82503/#post-553006
или что-то другое.

Не понял вас. Вы имеете в виду, что проблема в кодировке поиска?
Я если что и без поиска конкретного url собирал абсолютно все строки из трафика и в gui ZM тоже смотрел. Там его просто нет.)
То есть буквально там нет ничего подобного.(

djaga · 17.03.2023

Zymlex сказал(а):
Его можно просто получить как есть, в крайнем случае просто заскринить:

В инспекторе в ответе есть цела картинка, а на странице она разделяется на куски и используется в разных частях.
Из-за этого интерес вызывает именно целикова картинка. Скринить кусочки и потом собирать, слишком костельно.(

n0n3mi1y · 17.03.2023

djaga сказал(а):
В инспекторе в ответе есть цела картинка, а на странице она разделяется на куски и используется в разных частях.
Из-за этого интерес вызывает именно целикова картинка. Скринить кусочки и потом собирать, слишком костельно.(

Че в js-e этом? Может, проще его выполнить на странице и прочитать результат, как вариант? Если он не огромный, то можно его попробовать разобрать.

Besedi · 19.03.2023

Zymlex сказал(а):
Его можно просто получить как есть, в крайнем случае просто заскринить:

https://help.zennolab.com/en/v5/zennoposter/5.40.0.0/webframe.html#topic128.html

А как правильно скринить?

C#:

//фиксируем ошибку в подкаталоге с уникальным именем
//сохраняем скриншот, дом, сурс страницы и переменные с их значениями

string dt_tm = "Error_"+DateTime.Now.ToString("yyyy_MM_dd__HH_mm_ss__")+Environment.TickCount.ToString();

//Директория ошибок и создание если отсутствует
string errorpath = Path.Combine(project.Directory,"Errors");
if (!Directory.Exists(errorpath)){
    Directory.CreateDirectory(errorpath);
}

//директория конкретной ошибки и создание если отсутствует
string cur_errorpath = Path.Combine(errorpath,dt_tm);
if (!Directory.Exists(cur_errorpath)){
    Directory.CreateDirectory(cur_errorpath);
}

string path_screenshot = Path.Combine(cur_errorpath,"ScreenShot.jpeg");
string path_dom = Path.Combine(cur_errorpath,"dom.txt");
string path_source = Path.Combine(cur_errorpath,"source.txt");
string path_vars = Path.Combine(cur_errorpath,"vars.txt");
string path_log = Path.Combine(cur_errorpath,"log.txt");

//скриншот
ZennoPoster.ImageProcessingUntreatedFromScreenshot(instance.Port, path_screenshot);
//DOM
File.WriteAllText(path_dom,instance.ActiveTab.DomText,Encoding.UTF8);
//Source
File.WriteAllText(path_source,instance.ActiveTab.GetSourceText("UTF8"),Encoding.UTF8);

//vars
var sb = new StringBuilder();
foreach(var variable in project.Variables.Keys){   
    sb.AppendFormat("Name: {0} Value: {1}\r\n", variable, project.Variables[variable].Value);
}

File.WriteAllText(path_vars,sb.ToString(),Encoding.UTF8);

//данные об ошибке
var sbl = new StringBuilder();
LastError le = project.GetLastError();
if (le!=null)
{
      sbl.AppendLine("Error ID: "+le.ActionId);
      sbl.AppendLine("Error comment: "+le.ActionComment);
    //sbl.AppendLine("Error Message: "+le.Exception.Message);
    sbl.AppendLine("Error Source: "+le.Exception.Source);
}

File.WriteAllText(path_log,sbl.ToString(),Encoding.UTF8);

project.SendWarningToLog("Данные по ошибке сохранены в каталоге "+cur_errorpath,true);

Использую такой код для сохранения скриншота и не только, но он почему-то айфреймы (капчи например) не скринит

usboff · 28.03.2023

Подтверждаю наличие ошибки, GetTraffic работал корректно, но не с того ни с сего стал возвращать 1-3 запроса и всё, весь остальной траф будто игнорит. Перепробовал уже все что можно. Работает раз через раз. Кто-то нашел решение?

Wide · 29.03.2023

usboff сказал(а):
Подтверждаю наличие ошибки, GetTraffic работал корректно, но не с того ни с сего стал возвращать 1-3 запроса и всё, весь остальной траф будто игнорит. Перепробовал уже все что можно. Работает раз через раз. Кто-то нашел решение?

Попробуй кэш очистить, у себя заметил, что кэшированные урлы не мониторит.

GetTraffic работает не корректно

Client

Moderator

Client

Client

Client

Moderator

Client

Client

Client

Moderator

Client

Moderator

Client

Moderator

Client

Moderator

Client

Client

Client

Client

Moderator

Moderator

Client

Client

Client

Client

Client

Client

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)