Помогите: Парсинг телефонов с сайта OLX

doc · 05.05.2017

принцип тот же. дергаешь запросом страницу. парсишь нужные параметры. дергаешь запросом телефон

backoff · 05.05.2017

можно...
наглядно

идешь сюда (как пример) - https://www.olx.ua/obyavlenie/batareya-akkumulyator-dlya-noutbuka-asus-acer-lenovo-hp-samsung-ID6pVb9.html

дергаешь токен - 01f93f4ede8903194d0f856e1f6099e5b16e03f197e4b98f1424813b813186d55d3b2658c619babe9c7f93aac41fadebc357e7289bf6b060f612b128146ad7b3
дергаешь id объявы - 6pVb9

делаешь гет - https://www.olx.ua/ajax/misc/contact/phone/6pVb9/?pt=01f93f4ede8903194d0f856e1f6099e5b16e03f197e4b98f1424813b813186d55d3b2658c619babe9c7f93aac41fadebc357e7289bf6b060f612b128146ad7b3

получаешь в ответ телефон/ы

не за что :-)

Valiksim · 05.05.2017

backoff сказал(а):
не за что

Тут спасибо говорят только буковками. Иногда, даже мысленно. Но благодарят все

Alex62 сказал(а):
Спасибо большое

denchik · 09.06.2017

Сейчас пробовал этим методом, не получается, в ответ приходит {"value":"000 000 000"} Подскажите, где я не так делаю или olx что-то изменил? Спасибо.

Valiksim · 09.06.2017

denchik сказал(а):
Подскажите, где я не так делаю или olx что-то изменил?

Трудно сказать? Но, предположить можно, что токен сменился, если ты его не получаешь при каждом запросе

32d8ab46578b49b09174582878209dd6da800ea33db50b6937b7f74b38b2485be545f5d5604f39402263178df184049812e08f32511bfcb3e2f8f37b487a6385

denchik · 09.06.2017

Valiksim сказал(а):
Трудно сказать? Но, предположить можно, что токен сменился, если ты его не получаешь при каждом запросе

32d8ab46578b49b09174582878209dd6da800ea33db50b6937b7f74b38b2485be545f5d5604f39402263178df184049812e08f32511bfcb3e2f8f37b487a6385

И в этом примере и другие пробовал, получал свежий токен, менял ID - ответ такой же во всех случаях.

redman · 09.06.2017

Всё работает. Просто токен другой нужно подставлять. Отснифай и сравни запросы.

denchik · 09.06.2017

redman сказал(а):
Всё работает. Просто токен другой нужно подставлять. Отснифай и сравни запросы.

Я новичок, что значит "отснифай"? Можете показать, какой у Вас гет запрос, который выдаёт номер?

redman · 09.06.2017

denchik сказал(а):
Я новичок, что значит "отснифай"? Можете показать, какой у Вас гет запрос, который выдаёт номер?

Запрос такой же как и был, только токен другой.
Отснифать значит отследить какие запросы идут, можно с помощью зенки (Монитор трафика), или с помощью спецсофта, называется сниффер.

denchik · 09.06.2017

redman сказал(а):
Запрос такой же как и был, только токен другой.
Отснифать значит отследить какие запросы идут, можно с помощью зенки (Монитор трафика), или с помощью спецсофта, называется сниффер.

Спасибо за помощь. Открыт Монитор трафика, нашел где передаётся get запрос, а в ответе номера телефонов, добавляю этот запрос в ПМ - результат все равно
{"value":"000 000 000"}. Для этого товара https://www.olx.ua/obyavlenie/bmx-novinka-ekstremalnyy-velosiped-fomas-f-200-2017-ispaniya-kachestvo-IDsTtry.html get запрос https://www.olx.ua/ajax/misc/contact/phone/sTtry/?pt=2308cbde50fd1146708eec81d4882b6d26dee246b78fda0c8a1cf185ac1b22a7bf18472f737e6e1770aa49051844e150e227de4d074e0625c92f947543d64e2d Если я правильно понял, то этот запрос сработает только 1 раз? А в другой раз будет другой токен?

redman · 09.06.2017

denchik сказал(а):
Если я правильно понял, то этот запрос сработает только 1 раз? А в другой раз будет другой токен?

Да.
Ищем его в предыдущих запросах. + куки

denchik · 09.06.2017

redman сказал(а):
Да.
Ищем его в предыдущих запросах. + куки

Благодарю. А можно подробнее на счёт кук? Их нужно как-то в запрос добавить или что с ними делать?

redman · 09.06.2017

denchik сказал(а):
Их нужно как-то в запрос добавить или что с ними делать?

Берем куки, сохраняем в переменную, используем в следующем запросе.

denchik · 09.06.2017

redman сказал(а):
Берем куки, сохраняем в переменную, используем в следующем запросе.

Знаю что уже надоел Вам)), но не могли бы привести пример, как потом в запрос добавить куки?

redman · 09.06.2017

http://zennolab.com/discussion/threads/set-cookie-post-get-kak-prosche-vzjat.34589/

imaxvelll · 21.07.2017

Приветствую!
Возможно ли вытянуть номер с этой страницы?
https://www.olx.ua/obyavlenie/contact/prodam-lenovo-z585-i5-8gb-ozu-500gb-hdd-gforce-640m-2gb-IDtsMM4.html
Делал Get запрос - безуспешно

orka13 · 21.07.2017

потерто

imaxvelll · 21.07.2017

orka13 сказал(а):
потерто

Значит нет номера уже на сервере?

imaxvelll · 21.07.2017

В гуглокеше осталась
http://webcache.googleusercontent.com/search?q=cache:https://www.olx.ua/obyavlenie/prodam-lenovo-z585-i5-8gb-ozu-500gb-hdd-gforce-640m-2gb-IDtsMM4.html#

yriy158 · 21.10.2017

Здравствуйте!
Столкнулся с проблемо что в ответе на гет запрос с токеном на получение номера приходит вот такое: {"value":"000 000 000"}.
Схема моего шаба: гет-запрос на обявление - парсим токен телефона и ID обявления - гет-запрос на получение номера с токеном и с ID обявления. https://www.olx.ua/ajax/misc/contact/phone/ID-обявления/?pt=токен
Не могли бы подсказать как все же спарсить номера? Заранее благодарен!

КарлМаркс · 21.10.2017

yriy158 сказал(а):
Здравствуйте!
Столкнулся с проблемо что в ответе на гет запрос с токеном на получение номера приходит вот такое: {"value":"000 000 000"}.
Схема моего шаба: гет-запрос на обявление - парсим токен телефона и ID обявления - гет-запрос на получение номера с токеном и с ID обявления. https://www.olx.ua/ajax/misc/contact/phone/ID-обявления/?pt=токен
Не могли бы подсказать как все же спарсить номера? Заранее благодарен!

проверь куки

devas111 · 29.12.2017

Немного осилил с GET
Но беда в том что не соображу почему рабочая регулярка не парсит результат

devas111 · 02.01.2018

Комрады, помогите, плиз с регуляркой.
Не получается сохранить телефон с OLX.UA ; GET запрос

Mikhail B. · 02.01.2018

devas111 сказал(а):
Комрады, помогите, плиз с регуляркой.
Не получается сохранить телефон с OLX.UA ; GET запрос

А где сам запрос*?

devas111 · 02.01.2018

Запрос сперва парсю в вариацию и потом подставляю в GET.
например

Код:

https://www.olx.ua/obyavlenie/semena-vozdushka-sort-sofievskiy-dostavka-novaya-pochta-IDx5TSA.html

https://www.olx.ua/ajax/misc/contact/phone/x5TSA/?pt=63ac061662b88d3fe2c319bb30c5ada1f398759bd149c4bdb7d47ca48372e7b8d23aaae64bdc62119c85235327d46f5c1e13ccf1638922191c130dcf3885386b

В HTTP Analizer телефончик видно

Код:

{"value":"098 940 8894"}

А в ПрожектМакере не парсит.

Mikhail B. · 02.01.2018

devas111 сказал(а):
Запрос сперва парсю в вариацию и потом подставляю в GET.
например

Код:

https://www.olx.ua/obyavlenie/semena-vozdushka-sort-sofievskiy-dostavka-novaya-pochta-IDx5TSA.html https://www.olx.ua/ajax/misc/contact/phone/x5TSA/?pt=63ac061662b88d3fe2c319bb30c5ada1f398759bd149c4bdb7d47ca48372e7b8d23aaae64bdc62119c85235327d46f5c1e13ccf1638922191c130dcf3885386b

В HTTP Analizer телефончик видно

Код:

{"value":"098 940 8894"}

А в ПрожектМакере не парсит.

Ты не понял. Ты попросил помочь с регуляркой. Давай помогу, ты код дай мне с которого ты не можешь спарсить номер. Или ты не верно выразился и имел ввиду другое?

devas111 · 02.01.2018

Может вы меня не правильно поняли.
Смотрите не только 25 пост, но и 24 пост (с 30.12.17 суббота)
На скрине всё понятно должно быть.
Не могу понять почему не парсится в ПрожектМакере, хотя в конструкторе регулярок всё работает.
Вот загодовок

Код:

HTTP/1.1 200 OK
Content-Security-Policy: default-src * 'unsafe-eval' 'unsafe-inline' data:; frame-ancestors 'self' app.optimizely.com apps.facebook.com fonts.googleapis.com
X-Xss-Protection: 1
X-Content-Type-Options: nosniff
Referrer-Policy: unsafe-url
Strict-Transport-Security: max-age=31536000; includeSubDomains
X-B: tablica-dc4-242
X-T: D=39028 t=1514884364746326
Content-Type: application/json; charset=utf-8
Expires: Tue, 02 Jan 2018 09:12:44 GMT
Cache-Control: max-age=0, no-cache, no-store
Pragma: no-cache
Date: Tue, 02 Jan 2018 09:12:44 GMT
Connection: keep-alive
Content-Length: 24

{"value":"050 784 9578"}

Mikhail B. · 02.01.2018

devas111 сказал(а):
Может вы меня не правильно поняли.
Смотрите не только 25 пост, но и 24 пост (с 30.12.17 суббота)
На скрине всё понятно должно быть.
Не могу понять почему не парсится в ПрожектМакере, хотя в конструкторе регулярок всё работает.
Вот загодовок

Код:

HTTP/1.1 200 OK Content-Security-Policy: default-src * 'unsafe-eval' 'unsafe-inline' data:; frame-ancestors 'self' app.optimizely.com apps.facebook.com fonts.googleapis.com X-Xss-Protection: 1 X-Content-Type-Options: nosniff Referrer-Policy: unsafe-url Strict-Transport-Security: max-age=31536000; includeSubDomains X-B: tablica-dc4-242 X-T: D=39028 t=1514884364746326 Content-Type: application/json; charset=utf-8 Expires: Tue, 02 Jan 2018 09:12:44 GMT Cache-Control: max-age=0, no-cache, no-store Pragma: no-cache Date: Tue, 02 Jan 2018 09:12:44 GMT Connection: keep-alive Content-Length: 24 {"value":"050 784 9578"}

Точно! Ивзини не увидел. щас посмотрю.

P.S. А у тебя в запросе стоит брать содержимое?

Помогите: Парсинг телефонов с сайта OLX

Client

Вложения

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Новичок

Client

Новичок

Новичок

Client

Активный пользователь

Client

Вложения

Client

Moderator

Client

Moderator

Client

Moderator

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)