Парсинг Title на разных сайтах с помощью POST/GET

bismark132

Client
Регистрация
19.05.2016
Сообщения
47
Благодарностей
2
Баллы
8
Всем привет, есть необходимость парсить тег title на разных сайта, возможно ли это сделать на POST/GET запросах. И если да то подтолкните к правильному решению.)
 

gevolushn

Известная личность
Регистрация
25.03.2019
Сообщения
518
Благодарностей
269
Баллы
63
Вы про это?
4.png

Если да, то не вижу проблемы парсить регуляркой.
5.png

Правда я думаю можно не всю страницу выгружать запросом, а только наименьшую часть, где есть title. Но тут я пока слаб.
 

minsky

Client
Регистрация
18.08.2013
Сообщения
105
Благодарностей
27
Баллы
28
А не проще уже готовым софтом? Чем мучаться
 

bismark132

Client
Регистрация
19.05.2016
Сообщения
47
Благодарностей
2
Баллы
8
Вы про это?
Посмотреть вложение 39122
Если да, то не вижу проблемы парсить регуляркой.
Посмотреть вложение 39123
Правда я думаю можно не всю страницу выгружать запросом, а только наименьшую часть, где есть title. Но тут я пока слаб.
Да, про это. Для парсинга регуляркой в любом случае будет лишняя нагрузка на железо. Мне бы хотелось парсить этот метатег без парсинга содержимого страницы.)
 

bismark132

Client
Регистрация
19.05.2016
Сообщения
47
Благодарностей
2
Баллы
8

gevolushn

Известная личность
Регистрация
25.03.2019
Сообщения
518
Благодарностей
269
Баллы
63
А можно ссылку на готовое решение?
Я конечно дико извиняюсь, но почему нельзя воспользоваться или головой, или поисковиком?
https://netpeak.net/ru/blog/avtomatizirovanniy-parsing-saytov-s-pomoshchyu-kimono-i-tablits-google/
https://netpeak.net/ru/blog/instrumenty-dlya-parsinga-v-rabote-seo-spetsialista/
Две первые ссылки, которые я нашел в гугле. А также можно было самому разобрать где и почему находится тег title.
 

bismark132

Client
Регистрация
19.05.2016
Сообщения
47
Благодарностей
2
Баллы
8
Я пробовал работать с гуглом, но там не все title отображаются в нужной кодировке, в итоге получаем кучу кракозябр, как решить этот момент я так и не понял.

Сложность работы с гет/пост в моем случае будет в том, что сайты будут разные и, скорее всего, нужно писать парсер для каждого сайта, что точно не вариант (но может я что-то не понимаю, так как только начинаю изучать гет/пост). Как вариант можно парсить примерно первые 100 строк страницы и уже в них искать нужный код, но опять же хочется чтобы парсились именно нужные данные без парсинга лишнего содержимого.
 

bismark132

Client
Регистрация
19.05.2016
Сообщения
47
Благодарностей
2
Баллы
8

Lord_Alfred

Client
Регистрация
09.10.2015
Сообщения
3 916
Благодарностей
3 852
Баллы
113

minsky

Client
Регистрация
18.08.2013
Сообщения
105
Благодарностей
27
Баллы
28

minsky

Client
Регистрация
18.08.2013
Сообщения
105
Благодарностей
27
Баллы
28
Не, не то. Мне нужен именно тег, а не контентное содержание.

P.S. Подскажите сайты или может плейлисты на ютубе где можно начать изучать C# для использования в зенке.
Кстати, да хорошее решение, тег тоже вытягивает
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)