Selenium, как удобное дополнение к ZennoPoster

soprano

Client
Регистрация
25.08.2011
Сообщения
796
Благодарностей
839
Баллы
93
Для простого парсинга селениум норм, а вот как появляется рекапча - то всё. Гугл выдаёт ему всегда самую сложную капчу
Можно сохранить профиль при первом обращении к ресурсу с каптчей, или сохранить куки, и тогда далее можно без каптчи заходить

C#:
// Создаем cookie
Cookie COOKIE = new Cookie("имя", "содержимое", "домен", "путь", new Date("дата"));
// Создаем браузер
WebDriver driver = new ChromeDriver(options);
// Добавляем cookie в браузер
driver.manage().addCookie(COOKIE);
 

soprano

Client
Регистрация
25.08.2011
Сообщения
796
Благодарностей
839
Баллы
93
Вот так можно сделать скриншот элемента браузера
C#:
                var driver = new ChromeDriver(driverpath);   
                driver.Manage().Window.Size = new System.Drawing.Size(1024, 768);
                driver.Navigate().GoToUrl("https://zennolab.com/discussion");
            
                var screenshotDriver = driver as ITakesScreenshot;
                Screenshot screenshot = screenshotDriver.GetScreenshot();
                    var bmpScreen = new Bitmap(new MemoryStream(screenshot.AsByteArray));

                IWebElement element = driver.FindElement(By.XPath("//h1[@class='p-title-value']"));
                var cropArea = new Rectangle(element.Location, element.Size);
                var bitmap = bmpScreen.Clone(cropArea, bmpScreen.PixelFormat);
                bitmap.Save(file);
                
                driver.Quit();
 
  • Спасибо
Реакции: ex3maL, Denn и pix

evgosyan

Client
Регистрация
06.08.2020
Сообщения
26
Благодарностей
22
Баллы
3
Не подскажете, пожалуйста, с TOR возможна интеграция? Или есть какие-то ограничения?
 

avtostopshik

Client
Регистрация
09.09.2016
Сообщения
754
Благодарностей
135
Баллы
43
Всё запускалось на версии 5.47.0.0 без проблем.
А вот у меня никак не хочет работать. Пишет:
C#:
Тип    Время         Сообщение
    2021-04-01   16:00:45.625    Компиляция кода действия id: a5768292-f40c-410f-9d1d-729ffbfaf642 группы действий id: 3f31f32e-9e57-40d2-b7a8-127f46eafe51    Ошибка в действии "CS1502" "Наиболее подходящий перегруженный метод для "OpenQA.Selenium.Firefox.FirefoxDriver.FirefoxDriver(OpenQA.Selenium.Firefox.FirefoxProfile)" имеет несколько недопустимых аргументов". [Строка: 3; Cтолбец: 21]
    2021-04-01   16:00:45.625    Компиляция кода действия id: a5768292-f40c-410f-9d1d-729ffbfaf642 группы действий id: 3f31f32e-9e57-40d2-b7a8-127f46eafe51    Ошибка в действии "CS1503" "Аргумент "1": преобразование типа из "string" в "OpenQA.Selenium.Firefox.FirefoxProfile" невозможно". [Строка: 3; Cтолбец: 39]
При этом в коде вот так:
C#:
var driverpath = pathDr + @"\selenium";
IWebDriver driver = new FirefoxDriver(driverpath);
А если пишу вот так:
C#:
var driverpath = pathDr + @"\selenium";
IWebDriver driver = new FirefoxDriver();
То ругается по другому:
C#:
    2021-04-01   16:02:39.636    Выполнение действия CSharp OwnCode: google search. id: a5768292-f40c-410f-9d1d-729ffbfaf642 группы действий id: 3f31f32e-9e57-40d2-b7a8-127f46eafe51    The geckodriver.exe file does not exist in the current directory or in a directory on the PATH environment variable. The driver can be downloaded at https://github.com/mozilla/geckodriver/releases.
Скачаны последние версии драйверов мозиллы и хрома.
Хром тоже кстати не работает - но там по другим причинам и на него пофигу, мозилла нужна потому-что.
Если добавить geckodriver.exe в папку к библиотекам, запускается консольное окно с надписью:
1617267987073 geckodriver INFO Listening on 127.0.0.1:58562
Через 3 секунды в логе зенки такая ошибка:
Cannot start the driver service on http://localhost:58562/
 
Последнее редактирование:

rol

Client
Регистрация
19.09.2017
Сообщения
42
Благодарностей
7
Баллы
8
Всем привет . не получилось запустить шаблон из статьи пробовал скачивать последний браузера что то не получается браузер открывается и сразу сворачивается, может кто поделится рабочим шаблоном для ознакомления , нужно спарсить все данные сайта https://www.gismeteo.ru/ и сохранить в переменную .
 

soprano

Client
Регистрация
25.08.2011
Сообщения
796
Благодарностей
839
Баллы
93
Gismeteo отдает данные по населенному пункту в json
А Selenium будет месяцы парсить, скорость небольшая и только один поток.
 

rol

Client
Регистрация
19.09.2017
Сообщения
42
Благодарностей
7
Баллы
8
Gismeteo отдает данные по населенному пункту в json
А Selenium будет месяцы парсить, скорость небольшая и только один поток.
Хотелось бы для ознакомления посмотреть как работает silenium, если есть для ознакомления рабочий шаблон - пример парсинга страницы любого сайта. Буду благодарен любой информации.
 

kokoko

Client
Регистрация
23.06.2016
Сообщения
249
Благодарностей
19
Баллы
18
Мне непонятно зачем добавлять селениум а зенку, когда селениум и так напрямую работает и парсит и многопоток может и Хайд режим и дофига настроек есть
 

morpheus93

Client
Регистрация
25.01.2012
Сообщения
1 035
Благодарностей
237
Баллы
63
Ребята, вы можете попробовать Pupeteer с дополнительным плагином stealth. Это намного проще в освоении и использовании.
 

kokoko

Client
Регистрация
23.06.2016
Сообщения
249
Благодарностей
19
Баллы
18
Ребята, вы можете попробовать Pupeteer с дополнительным плагином stealth. Это намного проще в освоении и использовании.
я лично забыл когда зенку использовал, хотя прошка у меня, так post get запросы через python и requests и selenium
 

avtostopshik

Client
Регистрация
09.09.2016
Сообщения
754
Благодарностей
135
Баллы
43
я лично забыл когда зенку использовал, хотя прошка у меня, так post get запросы через python и requests и selenium
Зенка много где совершенно не обязательной является и использование вижуал студио, python и requests и selenium и прочего отдельно от зенки - естественный шаг при повышении уровня навыков в кодинге. Но зенка всегда нужна по прежнему в двух вещах:
1. У неё отличная эмуляция браузера и при написании шаблонов, где это нужно, не придётся заново всю эмуляцию прописывать
2. Защита от взлома. Это актуально для тех, кто продаёт свои шаблоны - используя зенку, можно быть спокойным, что никто не получит доступа к шаблону без твоего "разрешения".
 

kokoko

Client
Регистрация
23.06.2016
Сообщения
249
Благодарностей
19
Баллы
18
Зенка много где совершенно не обязательной является и использование вижуал студио, python и requests и selenium и прочего отдельно от зенки - естественный шаг при повышении уровня навыков в кодинге. Но зенка всегда нужна по прежнему в двух вещах:
1. У неё отличная эмуляция браузера и при написании шаблонов, где это нужно, не придётся заново всю эмуляцию прописывать
2. Защита от взлома. Это актуально для тех, кто продаёт свои шаблоны - используя зенку, можно быть спокойным, что никто не получит доступа к шаблону без твоего "разрешения".
ну на счёт заново писать эмуляцию я поспорю, у меня отдельным файлом прописаны все настройки , один раз написал шаб настроек и все, копипасти во все проекты, только чуть подправляй)
 

avtostopshik

Client
Регистрация
09.09.2016
Сообщения
754
Благодарностей
135
Баллы
43
ну на счёт заново писать эмуляцию я поспорю, у меня отдельным файлом прописаны все настройки , один раз написал шаб настроек и все, копипасти во все проекты, только чуть подправляй)
Ага, только эту эмуляцию сначала ещё написать надо. А потом постоянно актуализировать и улучшать.
А команда зеннолаб делает это за тебя.
А про "заново", имел ввиду - в зеннопостере она уже написана, а если от зенки отказаться - то писать нужно самому заново с нуля.
 
  • Спасибо
Реакции: solar25 и lbvf65
Регистрация
23.03.2015
Сообщения
1 113
Благодарностей
649
Баллы
113
А можно как-то взаимодействовать с уже открытым браузером?
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)