Проблема при запросах с использованием мобильных юзерагентов

killareben

killareben

Client
Регистрация
09.06.2022
Сообщения
28
Благодарностей
0
Баллы
1
Добрый день, имею такую проблему. Мне нужно залогиниться в аккаунте фб посредством HTTP запроса. Но при использовании пк юзерагентов все в порядке, а мобильных по типу :Mozilla/5.0 (Linux; Android 7.0; SM-J530FM Build/NRD90M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.126 Mobile Safari/537.36 Instagram 42.0.0.19.95 Android (24/7.0; 320dpi; 720x1280; samsung; SM-J530FM; j5y17lte; samsungexynos7870; ru_RU; 104766893).

Запрос проходит но от фб я получаю эту страницу, и через стандартный HTTP запрос от зеннопостера, и через Leaf.Xnet С#. И именно с этими юзерагентами это случается, но не со всеми некоторые проходят нормально но большинство нет.
106683

C#: 
                using (var First_page = new Leaf.xNet.HttpRequest())
                {
                    First_page.Proxy = proxy;
                    First_page.UseCookies = true;
                    First_page[HttpHeader.DNT] = "1";
                    First_page.AllowAutoRedirect = true;
                    First_page.MaximumAutomaticRedirections = 5;
                    First_page.ConnectTimeout = 15000; // Устанавливаем время ожидания в 15 секунд
                    First_page.AddHeader(HttpHeader.Accept, "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8");
                    First_page.AddHeader(HttpHeader.AcceptLanguage, "ru-RU,ru-RU,ru;q=0.5");
                    First_page.AddHeader("Upgrade-Insecure-Requests", "1");
                    First_page.UserAgent = _userAgent;
                    First_page.AddHeader("sec-ch-ua", "\" Not;A Brand\";v=\"99\", \"Google Chrome\";v=\"97\", \"Chromium\";v=\"97\"");
                    First_page.AddHeader("sec-ch-ua-mobile", "?1");
                    First_page.AddHeader("sec-ch-ua-platform", "Android");
                    First_page.AddHeader("Connection", "keep-alive");

                    // GET на Первую страницу
                    Leaf.xNet.HttpResponse response_first_page = First_page.Get("https://mbasic.facebook.com");
                    // Сохраняем куки из GET-запроса
                    cookies = First_page.Cookies.GetCookieHeader("https://mbasic.facebook.com");
                    _currentURL = response_first_page.Address.ToString();
                }
 
blackbyte

blackbyte

Client
Регистрация
05.09.2022
Сообщения
188
Благодарностей
105
Баллы
43
С чего ты взял, что дело в юзерагентах ?
У меня с любым User-Agent пускает, хоть что там напиши.
106684


Скинь все заголовки запроса.
 
killareben

killareben

Client
Регистрация
09.06.2022
Сообщения
28
Благодарностей
0
Баллы
1
killareben сказал(а):
Добрый день, имею такую проблему. Мне нужно залогиниться в аккаунте фб посредством HTTP запроса. Но при использовании пк юзерагентов все в порядке, а мобильных по типу :Mozilla/5.0 (Linux; Android 7.0; SM-J530FM Build/NRD90M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.126 Mobile Safari/537.36 Instagram 42.0.0.19.95 Android (24/7.0; 320dpi; 720x1280; samsung; SM-J530FM; j5y17lte; samsungexynos7870; ru_RU; 104766893).

Запрос проходит но от фб я получаю эту страницу, и через стандартный HTTP запрос от зеннопостера, и через Leaf.Xnet С#. И именно с этими юзерагентами это случается, но не со всеми некоторые проходят нормально но большинство нет. Посмотреть вложение 106683
C#: 
                using (var First_page = new Leaf.xNet.HttpRequest())
                {
                    First_page.Proxy = proxy;
                    First_page.UseCookies = true;
                    First_page[HttpHeader.DNT] = "1";
                    First_page.AllowAutoRedirect = true;
                    First_page.MaximumAutomaticRedirections = 5;
                    First_page.ConnectTimeout = 15000; // Устанавливаем время ожидания в 15 секунд
                    First_page.AddHeader(HttpHeader.Accept, "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8");
                    First_page.AddHeader(HttpHeader.AcceptLanguage, "ru-RU,ru-RU,ru;q=0.5");
                    First_page.AddHeader("Upgrade-Insecure-Requests", "1");
                    First_page.UserAgent = _userAgent;
                    First_page.AddHeader("sec-ch-ua", "\" Not;A Brand\";v=\"99\", \"Google Chrome\";v=\"97\", \"Chromium\";v=\"97\"");
                    First_page.AddHeader("sec-ch-ua-mobile", "?1");
                    First_page.AddHeader("sec-ch-ua-platform", "Android");
                    First_page.AddHeader("Connection", "keep-alive");

                    // GET на Первую страницу
                    Leaf.xNet.HttpResponse response_first_page = First_page.Get("https://mbasic.facebook.com");
                    // Сохраняем куки из GET-запроса
                    cookies = First_page.Cookies.GetCookieHeader("https://mbasic.facebook.com");
                    _currentURL = response_first_page.Address.ToString();
                }
Нажмите, чтобы раскрыть...
Так это весь запрос и все его заголовки, а подозрение на юзеры упало, из-за того что с другими все в порядке проходит.
 
blackbyte

blackbyte

Client
Регистрация
05.09.2022
Сообщения
188
Благодарностей
105
Баллы
43
killareben

killareben

Client
Регистрация
09.06.2022
Сообщения
28
Благодарностей
0
Баллы
1
минуту
 
killareben

killareben

Client
Регистрация
09.06.2022
Сообщения
28
Благодарностей
0
Баллы
1
Заголовок запроса :
C#: 
Host: mbasic.facebook.com
User-Agent: Mozilla/5.0 (Linux; Android 10; I4113 Build/53.1.A.3.105; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/92.0.4515.115 Mobile Safari/537.36 Instagram 199.1.0.34.119 Android (29/10; 540dpi; 1080x2358; Sony; I4113; I4113; qcom; ru_RU; 308633528)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate
Accept-Language: ru-RU,ru-RU,ru;q=0.5
заголовок ответа :
C#: 
Content-Encoding: gzip
Set-Cookie: datr=PQdaZOsKbTzVbb-pvRAWhJku; expires=Thu, 08-May-2025 08:41:33 GMT; Max-Age=63072000; path=/; domain=.facebook.com; secure; httponly; SameSite=None
Pragma: no-cache
Cache-Control: private, no-cache, no-store, must-revalidate
Expires: Sat, 01 Jan 2000 00:00:00 GMT
content-security-policy: default-src data: blob: 'self' https://*.fbsbx.com 'unsafe-inline' *.facebook.com *.fbcdn.net 'unsafe-eval';script-src *.facebook.com *.fbcdn.net *.facebook.net *.google-analytics.com *.google.com 127.0.0.1:* 'unsafe-inline' blob: data: 'self' connect.facebook.net 'unsafe-eval';style-src fonts.googleapis.com *.fbcdn.net data: *.facebook.com 'unsafe-inline';connect-src *.facebook.com facebook.com *.fbcdn.net *.facebook.net wss://*.facebook.com:* wss://*.whatsapp.com:* wss://*.fbcdn.net attachment.fbsbx.com ws://localhost:* blob: *.cdninstagram.com 'self' android-webview-video-poster: http://localhost:3103 wss://gateway.facebook.com wss://edge-chat.facebook.com wss://snaptu-d.facebook.com wss://kaios-d.facebook.com/ v.whatsapp.net *.fbsbx.com *.fb.com;font-src data: *.gstatic.com *.facebook.com *.fbcdn.net *.fbsbx.com;img-src android-webview-video-poster: *.fbcdn.net *.facebook.com data: https://*.fbsbx.com *.tenor.co media.tenor.com facebook.com *.cdninstagram.com fbsbx.com fbcdn.net *.giphy.com connect.facebook.net *.carriersignal.info blob: googleads.g.doubleclick.net www.googleadservices.com *.whatsapp.net *.fb.com *.oculuscdn.com;media-src *.cdninstagram.com blob: *.fbcdn.net *.fbsbx.com www.facebook.com *.facebook.com https://*.giphy.com data:;frame-src *.doubleclick.net *.google.com *.facebook.com www.googleadservices.com *.fbsbx.com fbsbx.com data: www.instagram.com *.fbcdn.net https://paywithmybank.com https://sandbox.paywithmybank.com;worker-src blob: *.facebook.com data:;
report-to: {"max_age":86400,"endpoints":[{"url":"https:\/\/www.facebook.com\/browser_reporting\/?minimize=0"}],"group":"coep_report"}, {"max_age":259200,"endpoints":[{"url":"https:\/\/mbasic.facebook.com\/ajax\/mtouch_error_reports\/"}]}
cross-origin-embedder-policy-report-only: require-corp;report-to="coep_report"
X-Frame-Options: DENY
X-Content-Type-Options: nosniff
X-XSS-Protection: 0
cross-origin-opener-policy: same-origin-allow-popups
Vary: Sec-Fetch-Site, Sec-Fetch-Mode
Vary: Accept-Encoding
Content-Type: text/html; charset=utf-8
Strict-Transport-Security: max-age=15552000; preload
X-FB-Debug: TqzriILSx++tEIFhjzyNEkqpDJS1ifLNsm36S9N3c8M+dXRsiKusmC0ucn3lbBeEteqyoj4n6ABnlDVQP9shUg==
Date: Tue, 09 May 2023 08:41:33 GMT
X-FB-Connection-Quality: EXCELLENT; q=0.9, rtt=36, rtx=0, c=10, mss=1380, tbw=3215, tp=-1, tpl=-1, uplat=85, ullat=1
Alt-Svc: h3=":443"; ma=86400
Transfer-Encoding: chunked
Connection: keep-alive
106685
 
killareben

killareben

Client
Регистрация
09.06.2022
Сообщения
28
Благодарностей
0
Баллы
1
это обычным зено HTTP GET запросом
 
blackbyte

blackbyte

Client
Регистрация
05.09.2022
Сообщения
188
Благодарностей
105
Баллы
43
killareben сказал(а):
это обычным зено HTTP GET запросом
Нажмите, чтобы раскрыть...
У тебя просто кривые юзерагенты, смотри:

Твой useragent - Mozilla/5.0 (Linux; Android 10; I4113 Build/53.1.A.3.105; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/92.0.4515.115 Mobile Safari/537.36 Instagram 199.1.0.34.119 Android (29/10; 540dpi; 1080x2358; Sony; I4113; I4113; qcom; ru_RU; 308633528)

Нормальный useragent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36

Видишь разницу?)

Mobile Safari/537.36 Instagram 199.1.0.34.119 Android (29/10; 540dpi; 1080x2358; Sony; I4113; I4113; qcom; ru_RU; 308633528-) < - это лишнее ( точнее это уже другой useragent ).

Лучше найди нормальный список useragents и всё будет работать.

Например вот - https://zennolab.com/discussion/threads/api-parser-user-agent.106476/

или что-то подобное.
 
Последнее редактирование:
killareben

killareben

Client
Регистрация
09.06.2022
Сообщения
28
Благодарностей
0
Баллы
1
Разницу я вижу, но это юзерагенты не кривые как вы выразились, а определенные с дополнительным списком инфрормации об устройстве, которые используются в приложениях, но все равно спасибо. Попробую убрать данный ключ и попробую без него.
 
killareben

killareben

Client
Регистрация
09.06.2022
Сообщения
28
Благодарностей
0
Баллы
1
blackbyte сказал(а):
У тебя просто кривые юзерагенты, смотри:

Твой useragent - Mozilla/5.0 (Linux; Android 10; I4113 Build/53.1.A.3.105; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/92.0.4515.115 Mobile Safari/537.36 Instagram 199.1.0.34.119 Android (29/10; 540dpi; 1080x2358; Sony; I4113; I4113; qcom; ru_RU; 308633528)

Нормальный useragent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36

Видишь разницу?)

Mobile Safari/537.36 Instagram 199.1.0.34.119 Android (29/10; 540dpi; 1080x2358; Sony; I4113; I4113; qcom; ru_RU; 308633528-) < - это лишнее ( точнее это уже другой useragent ).

Лучше найди нормальный список useragents и всё будет работать.

Например вот - https://zennolab.com/discussion/threads/api-parser-user-agent.106476/

или что-то подобное.
Нажмите, чтобы раскрыть...
Объясню чуть подробнее. На данные UA зарегистрированы аккаунты FB, и для более доверенного входа через HTTP запрос я хотел бы использовать так же их, зайти в акк с того UA на который был он зарегистрирован. Да их там 2 в одном. Но с веб все в порядке работают они, а вот на запросах возникает на некоторых из них данная ошибка которую я указал. но я бы хотел понять как я могу ее исправить чтоб использовать их в запросах.
 
killareben

killareben

Client
Регистрация
09.06.2022
Сообщения
28
Благодарностей
0
Баллы
1
Скорей всего вы правы UA в запросах совместный не пройдет, разделив проходит и та и та часть. Пока на это остановлюсь попробую так
 
Вам необходимо войти или зарегистрироваться, чтобы здесь отвечать.

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)

Верх Низ