Считаю, что настало время переводить зенку на хромиум. Можно сделать даже лучше, дать возможность выбирать в настройках проекта, на каком движке его выполнять. В нынешнее время, когда даже самый захудалый сайт использует аналитикс или вебвизор, крайне глупо пытаться на движке геко мимикрировать под хром, оперу, сафари или осла. Простейшая функция на 2 строчки кода позволяет определить используемый движок. Я уж не говорю о наличии 100500 библиотек для этих целей, облегчающих жизнь веб разработчикам и позволяющих даже полному нубу вычислить бота. Геко используют только файрфокс (с не самой высокой долей рынка браузеров) и пара его клонов, которые можно даже не брать в расчет. Ну а хромиум, это как минимум хром с самой высокой долей среди браузеров, опера, яндекс браузер (в России 2 место), различные поделки типа амиго + мобильные версии этих браузеров. Можно беспалева мимикрировать под любой из них (кроме мобильных). Среди толпы всегда легче затеряться. Еще одно преимущество этого движка в том, что разработчики всегда проверяют работу сайта в хроме, довольно часто забывая про файрфокс, из-за чего иногда попадаются сайты с криво работающим или частично неработающим функционалом под геко, но прекрасно работающие под хромиум. Кроме того, хромиум работает быстрее и съедает меньше процессорного времени.
Переход на движок chromium
- Автор темы freeman
- Дата начала
amyboose
Client
- Регистрация
- 21.04.2016
- Сообщения
- 2 312
- Благодарностей
- 1 191
- Баллы
- 113
Я думаю, что в многопоточном сценарии, когда запускается множество браузеров Геко и хромиум, Геко жрет меньше ресурсов и имменно поэтому разрабы перешли именно на ФФ.
Я написал для себя аналог зенки (браузерную часть) и там, где зенка захлебывалась на 20 потоках (из-за 100% нагрузки проца), мое решение на базе хромого спокойно работало на 30 потоках. И это без оптимизации.
Последнее редактирование модератором:
amyboose
Client
- Регистрация
- 21.04.2016
- Сообщения
- 2 312
- Благодарностей
- 1 191
- Баллы
- 113
я знаю что такое Selenium. Сам пользуюсь Оперой, так как Фаерфокс тормознутый, но скорее всего не просто так разрабы перешли на него, значит в многопоточном сценарии он как-то себя ведет лучше. Врятли это необоснованный выбор.
P.S.: Я обоими руками за движок хромиума, но скорее всего с вероятностью в 99% разрабы об этой идее даже думать не будут.
Последнее редактирование модератором:
Если знаешь что такое селениум, можешь протестить хромдрайвер + хром и гекодрайвер + файрфокс в многопотоке и сам все поймешь. Переход зенки был с убогого и глючного осла, а почему именно на геко, потому что была готовая обертка geckofx с открытыми исходниками. Львиная доля функционала уже написана и фичи свои допиливать можно. Да и файрфокс на тот момент был лидером.
amyboose
Client
- Регистрация
- 21.04.2016
- Сообщения
- 2 312
- Благодарностей
- 1 191
- Баллы
- 113
Я не запускал селениум для тестов, но в этом сложности особой не должно возникнуть, если возникнет необходимость. Но насчет тестов сравнения ФФ c хромом я примерно так и предполагал. Не зря же разрабы хотят переписать движок ФФ полностью. Я сам бы хотел иметь бота на хромиуме, так как это быстрый движок, правда он написан, если я не ошибаюсь, на С.
Последнее редактирование:
Ну так и геко написан на c/c++. Есть же обертки для с#, например cefsharp, cefglue с открытыми исходниками или коммерческие awesomium, eo.webbrowser. Разрабы зенки могут использовать их, как в свое время использовали geckofx. Хотя, судя по тому, как они по 2 - 3 месяца не могут запилить фичи, на реализацию которых нужно 2 дня, напрашивается вывод, что они вкрай обленились. Не упрек, просто факт.
DmitryAk
Client
- Регистрация
- 14.12.2016
- Сообщения
- 860
- Благодарностей
- 818
- Баллы
- 93
Люто поддерживаю.
С хромиумом правда другой момент.. мало заюзать обертку - сначала надо вычистить код хромиума от гуглотрекингов и некоторых "фич" типа QUIC протокола, который по UDP так невзначай с гуглом данными обменивается. Найти где в хромиуме было выпилено выключение webrtc, найти и добавить обратно поддержку смены прокси в работающем инстансе. Может еще что..
Хромиум жрет меньше это факт, даже не смотря на то, что запускает процессы, там где гекко запускает потоки.
С хромиумом правда другой момент.. мало заюзать обертку - сначала надо вычистить код хромиума от гуглотрекингов и некоторых "фич" типа QUIC протокола, который по UDP так невзначай с гуглом данными обменивается. Найти где в хромиуме было выпилено выключение webrtc, найти и добавить обратно поддержку смены прокси в работающем инстансе. Может еще что..
amyboose
Client
- Регистрация
- 21.04.2016
- Сообщения
- 2 312
- Благодарностей
- 1 191
- Баллы
- 113
Может это уже на уровне Хрома реализовано, а не на уровне Хромиума, так как этим движком пользуются и другие разработчики браузеров?
DmitryAk
Client
- Регистрация
- 14.12.2016
- Сообщения
- 860
- Благодарностей
- 818
- Баллы
- 93
Неа.. именно хромиума. С QUIC сам лично столкнулся в браузере на основе хромимум сборки.. весело он так сливал инфу на гуггл, хотя все отслеживания были отключены.
Есть флаг для сборки хромиума с отключенным webrtc, но я не пересобирал, просто запретил сообщать ip при включенном webrtc. Менять прокси при работающем инстансе можно.
Так я и сделал, но только взаимодействие с браузером, т.к. это основная задача. Но зенка это не только автоматизация браузера, это целая инфраструктура. Там и планировщик, и работа с каптчами, и проксичекер. Удобно, когда все в одном месте.
samsonnn
Client
- Регистрация
- 02.06.2015
- Сообщения
- 1 657
- Благодарностей
- 1 323
- Баллы
- 113
поделитесь вашей разработкой браузера если можно, может рекапча через кап монстр будет нормально разгадываться, если вам не жалко конечно.
Это лишь библиотека на базе cefsharp, который является c# оберткой над хромиумом. Как проверить, нормально ли разгадывается рекаптча или нет, при каких условиях? Я думаю для гугла нет разницы, я уже шаманил с этим.
Estrys
Пользователь
- Регистрация
- 15.09.2016
- Сообщения
- 45
- Благодарностей
- 42
- Баллы
- 18
DmitryAk
Client
- Регистрация
- 14.12.2016
- Сообщения
- 860
- Благодарностей
- 818
- Баллы
- 93
Oleg1987
Client
- Регистрация
- 11.08.2014
- Сообщения
- 1 165
- Благодарностей
- 744
- Баллы
- 113
Кстати вот что заявлено у bas
Не знаю на сколько это реально, но если такое возможно, то у zenno это должно было быть еще вчера
amyboose
Client
- Регистрация
- 21.04.2016
- Сообщения
- 2 312
- Благодарностей
- 1 191
- Баллы
- 113
Как дела с многопоточностью обстоят у BAS и использованием проксей?
И есть ли версия, где тупо окно, чтобы можно было кодить безо всякой GUI шелухи на чистом коде?
Если все в порядке, то я в свободное время обязательно скачаю его, открою документацию и пойду тестить
И есть ли версия, где тупо окно, чтобы можно было кодить безо всякой GUI шелухи на чистом коде?
Если все в порядке, то я в свободное время обязательно скачаю его, открою документацию и пойду тестить
lzlmrf
Client
- Регистрация
- 14.08.2015
- Сообщения
- 487
- Благодарностей
- 148
- Баллы
- 43
Oleg1987
Client
- Регистрация
- 11.08.2014
- Сообщения
- 1 165
- Благодарностей
- 744
- Баллы
- 113
amyboose
Client
- Регистрация
- 21.04.2016
- Сообщения
- 2 312
- Благодарностей
- 1 191
- Баллы
- 113
Посмотрел я cefsharp и теперь сижу так, как будто выиграл миллион в лотерею. Походу нашлось то чудо, с которым можно работать и работать. Осталось его только проверить на то, нравится ли гуглу эта либа или нет.
Последнее редактирование:
AloneSlamer
Client
- Регистрация
- 29.01.2013
- Сообщения
- 1 404
- Благодарностей
- 362
- Баллы
- 83
DmitryAk
Client
- Регистрация
- 14.12.2016
- Сообщения
- 860
- Благодарностей
- 818
- Баллы
- 93
К ней у гугла траста чуть больше, имхо. А по поводу чуда.. ну хз, с чистым браузером без инфраструктуры гемморно. Понятно, что можно любую задачу наваять и ты не привязан к зенке. Для расспространения удобнее и проще. Но и своих минусов хватает.
В очередной раз спасибо за наводку)
amyboose
Client
- Регистрация
- 21.04.2016
- Сообщения
- 2 312
- Благодарностей
- 1 191
- Баллы
- 113
Ну я хз о какой инфроструктуре говоришь. Например, распознавание капч написать делов на пол часа. Принимать почту не сложно (POP3 протокол в инете расписан). Запросы тоже пишутся на раз-два. Регулярки везде есть, в XPath загнать можно все, надо только либу добавить в ссылки, работа с БД переписывается тоже без сложностей, главное парочку примеров рассмотреть. Главное чтобы в аналоге зенки были методы по работе с деревом элементов, как клики, например, ну или работа с окном загрузки файла. Остальное - дело наживное.
DmitryAk
Client
- Регистрация
- 14.12.2016
- Сообщения
- 860
- Благодарностей
- 818
- Баллы
- 93
Начнешь использовать - поймешь. Понятно, что если руки не из жопы, то сделать можно все, разница только в трудозатратах и времени. Вопрос удобности инструмента.
amyboose
Client
- Регистрация
- 21.04.2016
- Сообщения
- 2 312
- Благодарностей
- 1 191
- Баллы
- 113
Ладно, не буду заранее говорить о сложности использования, пока не испробовал, так как по началу все кажется простым, а на деле можно на пустом месте застрять.
Porosenok
Client
- Регистрация
- 26.09.2010
- Сообщения
- 1 279
- Благодарностей
- 96
- Баллы
- 48
а можно пример такого сайта? Интересно просто, неужели специально фильтруют по движку браузера
AloneSlamer
Client
- Регистрация
- 29.01.2013
- Сообщения
- 1 404
- Благодарностей
- 362
- Баллы
- 83
Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.
Я про то что в авесомиуме не которые сайты работают гораздо лучше чем на гекко. Например тот же ютуб.