Парсер Instagram + круги для аватарок

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
insta.jpg


Всем привет!
Сейчас активно работаю с дейтингом и одно из направлений - рассылка по базам пользователей, которые сами ищут знакомств. Один из вариантов поиска таких юзеров - Instagram.
Первый из двух шаблонов, что прикреплены к посту, - InstaParser. Он предназначен для парсинга контактных данных фолловеров нужного юзера (или юзера, что мы укажем в списке). Собираются почты и телефоны. Что с этим добром делать - думаю, вы знаете сами :-)

Второй шаблон поможет уникализировать аватарки и повысить конверсию своих аккаунтов как в Instagram, так и других социальных сетях. При чем, можно не ограничиваться предложенными вариантами рамок, а добавлять свои. Размеры рамок и фото могут быть произвольными, в шаблон вшит алгоритм подгонки рамок и фото. Пример фото можно посмотреть внизу.

Дальше опишу по каждому шаблону более конкретно, чтоб не возникало никаких вопросов.

InstaParser

Файловая система:
файл followers.txt
- сюда помещаются подписчики указанных нами юзеров на этапе 2 ("Сбор фолловеров");
файл profile.zpprofile - профиль, который создается на этапе 1 ("Создание профиля");
файл result.xlsx - таблица с результатами парсинга контактов (туда идут никнейм, телефон и почта, данные добавляются, если есть хоть какой-то контакт (почта или телефон);
файл users.txt - сюда нужно поместить юзеров, подписчиков которых нужно собрать, добавляем только никнеймы, каждый с новой строки.

Запуск шаблона:
1. Добавляем в файл users.txt никнеймы юзеров, контакты подписчиков которых хотим спарсить.
2. Заходим во входные настройки шаблона и выбираем задачу "Создание профиля", ниже заполняем данные своего аккаунта Instagram (для таких целей использую фейковый), жмем ОК и запускаем шаблон в 1 поток. Ждем, пока задача не будет успешно выполнена и файл профиля будет обновлен.
3. Заходим во входные настройки шаблона и выбираем задачу "Парсинг фолловеров", жмем ОК. Запускаем шаблон, можно в несколько потоков. 1 задание = парсинг фолловеров одного юзера из нашего списка users.txt. Задача выполняется в браузерном режиме. Ждем, пока задача не будет успешно выполнена и список followers.txt будет сформирован.
4. Заходим во входные настройки шаблона и выбираем задачу "Сбор контактов", жмем ОК. Запускаем шаблон, можно в несколько потоков. 1 задание = обработка (поиск контактов) одного фолловера из нашего списка followers.txt. Задача выполняется без использования браузера на запросах. Ждем, пока задача не будет успешно выполнена и контакты собраны в таблицу result.xlsx.

IEditor

Файловая система:
Папка borders - здесь лежат рамки для накладки на фото, можно использовать уже имеющиеся или добавлять свои;
Папка input - сюда помещаем фото (аватарки), которые нужно обработать;
Папка output - сюда складываются обработанные изображения;
Папка temp - папка для временных файлов, её не трогаем.

Запуск шаблона:
1. Добавляем в папку input фото/аватрки для обработки.
2. Заходим во входные настройки шаблона и отмечаем/отключаем взятие случайной рамки (при отключенном параметре будет браться всегда первая рамка) и отцентровки фото (при отключенном параметре фото после обработки будет без отступа сверху, ниже смотрите примеры), жмем ОК.
3. Шаблон запускаем в 1 поток, за счет реализации работы без браузера все выполняется очень быстро. 1 задание = обработка 1 фото. Результат обработки - в папке output.

Обработанное фото без отцентровки:
Без отцентровки.jpg

Обработанное фото с отцентровкой:
С отцентровкой.jpg


Тестируйте, как вам лучше зайдет: с отцентровкой или без.
Надеюсь, данные шаблоны будут вам полезны. Всем профита! :az:
 

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Evgen_17

Client
Регистрация
28.12.2015
Сообщения
37
Благодарностей
12
Баллы
8
С отцентровкой 5+
 

ceobeez

Client
Регистрация
11.05.2017
Сообщения
27
Благодарностей
4
Баллы
3
Выполнение действия HtmlElement id: f1ebce9c-b40f-45f6-8396-20599a457f6f группы действий id: 8ac8d147-3bc4-4331-846b-fda79ca45248
Не найден HTML элемент, по условиям поиска

На этапе сбора подпищиков, подозреваю регулярка писалась под языковую версию Engl?
upd: да, так и есть. нужно обязательно английский язык в профиле.
 
Последнее редактирование:

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
Выполнение действия HtmlElement id: f1ebce9c-b40f-45f6-8396-20599a457f6f группы действий id: 8ac8d147-3bc4-4331-846b-fda79ca45248
Не найден HTML элемент, по условиям поиска

На этапе сбора подпищиков, подозреваю регулярка писалась под языковую версию Engl?
upd: да, так и есть. нужно обязательно английский язык в профиле.
Да, там фокусировка на кнопке "Follow", чтоб можно было прокручивать подписчиков.
Можете поменять только слово "Follow" в свойствах элемента "Фокусировка" (id, что вы скинули)
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93

Vadim321

Client
Регистрация
06.01.2017
Сообщения
8
Благодарностей
0
Баллы
1
А что-то у меня при обработке фото пишет:
Выполнение логического оператора If Результат: false

Может что я делаю нет так?
 

RuVeMax

Client
Регистрация
04.02.2018
Сообщения
5
Благодарностей
1
Баллы
3
Задача "Парсинг фолловеров" сколько может собрать с одного донора и как быстро?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
Задача "Парсинг фолловеров" сколько может собрать с одного донора и как быстро?
доноры использовал в среднем на 4-10 тысяч фолловеров, Instagram дает спарсить с них 2-4 тысячи, что примерно 40%, по скорости - у меня в минуту собирает примерно 500 фолловеров
 

Vadim321

Client
Регистрация
06.01.2017
Сообщения
8
Благодарностей
0
Баллы
1
@Botin
Приветствую. Такой вопрос: а в IEditor рамок для накладки на фото только получается 4 шт? Не раскроешь ли (случайно), где еще рамки можно достать?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
@Botin
Приветствую. Такой вопрос: а в IEditor рамок для накладки на фото только получается 4 шт? Не раскроешь ли (случайно), где еще рамки можно достать?
Вот еще пара рамок (PNG):
5.png
6.png
Взято отсюда - http://emdigital.ru/tools/kolechki-na-avatarku-v-instagrame
Но там всего 6 рамок, чтоб больше иметь, нужно или фотошопить (можно поиграться с цветами и получить рамки другой расцветки, а также создать с нуля), или найти в сети
 
  • Спасибо
Реакции: Vadim321

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
106
Благодарностей
21
Баллы
18
которые сами ищут знакомств.
А по каким критериям определяются эти пользователи, если не секрет? :-)

При первой прокрутке у меня всегда сразу дальше не грузится: http://prntscr.com/kyk3rr
Приходится постоянно полосу прокрутки дёргать чтобы дальше пошло.
 
Последнее редактирование:

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
А по каким критериям определяются эти пользователи, если не секрет?
При поиске юзеров подставляется "datind, "sex" и так далее.

При первой прокрутке у меня всегда сразу дальше не грузится
Много у юзеров подписчиков, что вы парсите?
Какие характеристики компьютера и билд зенки?
 

Bolik_31

Client
Регистрация
12.09.2010
Сообщения
9
Благодарностей
1
Баллы
3
Для зенки 3 подойдут?
 

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
106
Благодарностей
21
Баллы
18

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
От 1000 до 3000

Сервер от Webtropia, 8 ядер по 2.4ГГц, 16Гб оперативной памяти. Зенка версии 5.16.2.0
на последнем билде зенки у меня все ок с парсингом, как вариант, можно добавить очистку кеша после действия "Прокрутка вниз"
 

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
106
Благодарностей
21
Баллы
18
на последнем билде зенки у меня все ок с парсингом, как вариант, можно добавить очистку кеша после действия "Прокрутка вниз"
Не помогло. Всё скорее всего из-за версии Зенки. Временно решил проблему вставкой такого кубика чтобы начали подгружаться подписчики http://prntscr.com/kzed7o

я по быстрому переделал на запросах, 60-100к в час, можно и быстрее.
А не поделитесь случайно, каким запросом Инстаграм отдаёт подписчиков? Через api?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
если ширина рамки меньше ширины картинки, то шаблон, я так понимаю, просто вылетит в ошибку
Нет, идет подгонка итогового размера как рамки под фото, так и фото под рамку. Подгонка идет под меньший размер.
В общем, попробуйте в проджект мейкере - все увидите и поймете.
 

ceobeez

Client
Регистрация
11.05.2017
Сообщения
27
Благодарностей
4
Баллы
3
Не помогло. Всё скорее всего из-за версии Зенки. Временно решил проблему вставкой такого кубика чтобы начали подгружаться подписчики http://prntscr.com/kzed7o


А не поделитесь случайно, каким запросом Инстаграм отдаёт подписчиков? Через api?
вот статья, в ней детально описан процесс парсинга страницы с прокруткой вниз на запросах, по подписчикам всё примерно так же, только токены другие.
https://www.diggernaut.ru/blog/kak-parsit-stranitsy-saytov-s-avtopodgruzkoy-na-primere-instagram/
 
  • Спасибо
Реакции: Botin

melutsk

Client
Регистрация
03.08.2016
Сообщения
657
Благодарностей
260
Баллы
63
логика отцентровки какая?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
логика отцентровки какая?
Логика такая: если без отцентровки, то берется квадрат сверху
Без отцентровки.jpg
если с отцентровкой, то квадрат берется четко по средине (пример делал вручную, там не совсем посредине, но шаблон делает точно), то же самое относится к горизонтальным фото
С отцентровкой.jpg
 

melutsk

Client
Регистрация
03.08.2016
Сообщения
657
Благодарностей
260
Баллы
63
Логика такая: если без отцентровки, то берется квадрат сверху
Посмотреть вложение 32604
если с отцентровкой, то квадрат берется четко по средине (пример делал вручную, там не совсем посредине, но шаблон делает точно), то же самое относится к горизонтальным фото
Посмотреть вложение 32605
А понял. А то я уже подумал, что там какое-то алго, которое лицо ищет)) Типа ИИ ))
 

Alex_a

Client
Регистрация
04.10.2016
Сообщения
16
Благодарностей
1
Баллы
3
это только у меня показывает что файлы архива битые? не могу разархивировать проекты

UPDATE: разархивировал скачав последний win rar, странно что штатный в total comander выдавал ошибку.
 
Последнее редактирование:

melutsk

Client
Регистрация
03.08.2016
Сообщения
657
Благодарностей
260
Баллы
63
это только у меня показывает что файлы архива битые? не могу разархивировать проекты

UPDATE: разархивировал скачав последний win rar, странно что штатный в total comander выдавал ошибку.
разные версии, это норма для винрара
 

foast

Client
Регистрация
27.07.2018
Сообщения
17
Благодарностей
5
Баллы
3
Шаблон для аватарок, к сожалению не работает, в логе идут ошибки:
Код:
Тип    Время    Сообщение
    11:57:43    Выполнение логического оператора If  Результат: false
    11:57:43    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    11:57:44    Выполнение логического оператора If  Результат: false
    11:57:44    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    11:57:45    Выполнение логического оператора If  Результат: false
В чем может быть проблема?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
Шаблон для аватарок, к сожалению не работает, в логе идут ошибки:
Код:
Тип    Время    Сообщение
    11:57:43    Выполнение логического оператора If  Результат: false
    11:57:43    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    11:57:44    Выполнение логического оператора If  Результат: false
    11:57:44    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    11:57:45    Выполнение логического оператора If  Результат: false
В чем может быть проблема?
Откройте в Project Maker, пройдитесь там, возможно, нужно поменять блоки Логика - If
Шаблон создавался на последнем билде, если у вас билд постарше - это может стать причиной подобного рода ошибок, но там исправить быстро, шаблон открытый
 

foast

Client
Регистрация
27.07.2018
Сообщения
17
Благодарностей
5
Баллы
3
Откройте в Project Maker, пройдитесь там, возможно, нужно поменять блоки Логика - If
Шаблон создавался на последнем билде, если у вас билд постарше - это может стать причиной подобного рода ошибок, но там исправить быстро, шаблон открытый
У меня тоже последний билд (5.22.0.0)
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)