Парсер Instagram + круги для аватарок

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
insta.jpg


Всем привет!
Сейчас активно работаю с дейтингом и одно из направлений - рассылка по базам пользователей, которые сами ищут знакомств. Один из вариантов поиска таких юзеров - Instagram.
Первый из двух шаблонов, что прикреплены к посту, - InstaParser. Он предназначен для парсинга контактных данных фолловеров нужного юзера (или юзера, что мы укажем в списке). Собираются почты и телефоны. Что с этим добром делать - думаю, вы знаете сами :-)

Второй шаблон поможет уникализировать аватарки и повысить конверсию своих аккаунтов как в Instagram, так и других социальных сетях. При чем, можно не ограничиваться предложенными вариантами рамок, а добавлять свои. Размеры рамок и фото могут быть произвольными, в шаблон вшит алгоритм подгонки рамок и фото. Пример фото можно посмотреть внизу.

Дальше опишу по каждому шаблону более конкретно, чтоб не возникало никаких вопросов.

InstaParser

Файловая система:
файл followers.txt
- сюда помещаются подписчики указанных нами юзеров на этапе 2 ("Сбор фолловеров");
файл profile.zpprofile - профиль, который создается на этапе 1 ("Создание профиля");
файл result.xlsx - таблица с результатами парсинга контактов (туда идут никнейм, телефон и почта, данные добавляются, если есть хоть какой-то контакт (почта или телефон);
файл users.txt - сюда нужно поместить юзеров, подписчиков которых нужно собрать, добавляем только никнеймы, каждый с новой строки.

Запуск шаблона:
1. Добавляем в файл users.txt никнеймы юзеров, контакты подписчиков которых хотим спарсить.
2. Заходим во входные настройки шаблона и выбираем задачу "Создание профиля", ниже заполняем данные своего аккаунта Instagram (для таких целей использую фейковый), жмем ОК и запускаем шаблон в 1 поток. Ждем, пока задача не будет успешно выполнена и файл профиля будет обновлен.
3. Заходим во входные настройки шаблона и выбираем задачу "Парсинг фолловеров", жмем ОК. Запускаем шаблон, можно в несколько потоков. 1 задание = парсинг фолловеров одного юзера из нашего списка users.txt. Задача выполняется в браузерном режиме. Ждем, пока задача не будет успешно выполнена и список followers.txt будет сформирован.
4. Заходим во входные настройки шаблона и выбираем задачу "Сбор контактов", жмем ОК. Запускаем шаблон, можно в несколько потоков. 1 задание = обработка (поиск контактов) одного фолловера из нашего списка followers.txt. Задача выполняется без использования браузера на запросах. Ждем, пока задача не будет успешно выполнена и контакты собраны в таблицу result.xlsx.

IEditor

Файловая система:
Папка borders - здесь лежат рамки для накладки на фото, можно использовать уже имеющиеся или добавлять свои;
Папка input - сюда помещаем фото (аватарки), которые нужно обработать;
Папка output - сюда складываются обработанные изображения;
Папка temp - папка для временных файлов, её не трогаем.

Запуск шаблона:
1. Добавляем в папку input фото/аватрки для обработки.
2. Заходим во входные настройки шаблона и отмечаем/отключаем взятие случайной рамки (при отключенном параметре будет браться всегда первая рамка) и отцентровки фото (при отключенном параметре фото после обработки будет без отступа сверху, ниже смотрите примеры), жмем ОК.
3. Шаблон запускаем в 1 поток, за счет реализации работы без браузера все выполняется очень быстро. 1 задание = обработка 1 фото. Результат обработки - в папке output.

Обработанное фото без отцентровки:
Без отцентровки.jpg

Обработанное фото с отцентровкой:
С отцентровкой.jpg


Тестируйте, как вам лучше зайдет: с отцентровкой или без.
Надеюсь, данные шаблоны будут вам полезны. Всем профита! :az:
 
Категория
Парсинг, SMM
Номер конкурса шаблонов
Второй конкурс шаблонов
Уровень сложности
Средний

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Evgen_17

Client
Регистрация
28.12.2015
Сообщения
41
Благодарностей
14
Баллы
8
С отцентровкой 5+
 

ceobeez

Client
Регистрация
11.05.2017
Сообщения
27
Благодарностей
4
Баллы
3
Выполнение действия HtmlElement id: f1ebce9c-b40f-45f6-8396-20599a457f6f группы действий id: 8ac8d147-3bc4-4331-846b-fda79ca45248
Не найден HTML элемент, по условиям поиска

На этапе сбора подпищиков, подозреваю регулярка писалась под языковую версию Engl?
upd: да, так и есть. нужно обязательно английский язык в профиле.
 
Последнее редактирование:

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
Выполнение действия HtmlElement id: f1ebce9c-b40f-45f6-8396-20599a457f6f группы действий id: 8ac8d147-3bc4-4331-846b-fda79ca45248
Не найден HTML элемент, по условиям поиска

На этапе сбора подпищиков, подозреваю регулярка писалась под языковую версию Engl?
upd: да, так и есть. нужно обязательно английский язык в профиле.
Да, там фокусировка на кнопке "Follow", чтоб можно было прокручивать подписчиков.
Можете поменять только слово "Follow" в свойствах элемента "Фокусировка" (id, что вы скинули)
 

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93

Vadim321

Client
Регистрация
06.01.2017
Сообщения
10
Благодарностей
1
Баллы
3
А что-то у меня при обработке фото пишет:
Выполнение логического оператора If Результат: false

Может что я делаю нет так?
 

Vadim321

Client
Регистрация
06.01.2017
Сообщения
10
Благодарностей
1
Баллы
3

RuVeMax

Client
Регистрация
04.02.2018
Сообщения
6
Благодарностей
3
Баллы
3
Задача "Парсинг фолловеров" сколько может собрать с одного донора и как быстро?
 

ceobeez

Client
Регистрация
11.05.2017
Сообщения
27
Благодарностей
4
Баллы
3
  • Спасибо
Реакции: Botin

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
Задача "Парсинг фолловеров" сколько может собрать с одного донора и как быстро?
доноры использовал в среднем на 4-10 тысяч фолловеров, Instagram дает спарсить с них 2-4 тысячи, что примерно 40%, по скорости - у меня в минуту собирает примерно 500 фолловеров
 

Vadim321

Client
Регистрация
06.01.2017
Сообщения
10
Благодарностей
1
Баллы
3
@Botin
Приветствую. Такой вопрос: а в IEditor рамок для накладки на фото только получается 4 шт? Не раскроешь ли (случайно), где еще рамки можно достать?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
@Botin
Приветствую. Такой вопрос: а в IEditor рамок для накладки на фото только получается 4 шт? Не раскроешь ли (случайно), где еще рамки можно достать?
Вот еще пара рамок (PNG):
5.png
6.png
Взято отсюда - http://emdigital.ru/tools/kolechki-na-avatarku-v-instagrame
Но там всего 6 рамок, чтоб больше иметь, нужно или фотошопить (можно поиграться с цветами и получить рамки другой расцветки, а также создать с нуля), или найти в сети
 
  • Спасибо
Реакции: Vadim321

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
129
Благодарностей
27
Баллы
28
которые сами ищут знакомств.
А по каким критериям определяются эти пользователи, если не секрет? :-)

При первой прокрутке у меня всегда сразу дальше не грузится: http://prntscr.com/kyk3rr
Приходится постоянно полосу прокрутки дёргать чтобы дальше пошло.
 
Последнее редактирование:

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
А по каким критериям определяются эти пользователи, если не секрет?
При поиске юзеров подставляется "datind, "sex" и так далее.

При первой прокрутке у меня всегда сразу дальше не грузится
Много у юзеров подписчиков, что вы парсите?
Какие характеристики компьютера и билд зенки?
 

Bolik_31

Client
Регистрация
12.09.2010
Сообщения
34
Благодарностей
8
Баллы
8
Для зенки 3 подойдут?
 

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
129
Благодарностей
27
Баллы
28

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
От 1000 до 3000

Сервер от Webtropia, 8 ядер по 2.4ГГц, 16Гб оперативной памяти. Зенка версии 5.16.2.0
на последнем билде зенки у меня все ок с парсингом, как вариант, можно добавить очистку кеша после действия "Прокрутка вниз"
 

AcidX

Client
Регистрация
19.08.2012
Сообщения
8
Благодарностей
3
Баллы
3
если ширина рамки меньше ширины картинки, то шаблон, я так понимаю, просто вылетит в ошибку
 

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
129
Благодарностей
27
Баллы
28
на последнем билде зенки у меня все ок с парсингом, как вариант, можно добавить очистку кеша после действия "Прокрутка вниз"
Не помогло. Всё скорее всего из-за версии Зенки. Временно решил проблему вставкой такого кубика чтобы начали подгружаться подписчики http://prntscr.com/kzed7o

я по быстрому переделал на запросах, 60-100к в час, можно и быстрее.
А не поделитесь случайно, каким запросом Инстаграм отдаёт подписчиков? Через api?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
если ширина рамки меньше ширины картинки, то шаблон, я так понимаю, просто вылетит в ошибку
Нет, идет подгонка итогового размера как рамки под фото, так и фото под рамку. Подгонка идет под меньший размер.
В общем, попробуйте в проджект мейкере - все увидите и поймете.
 

ceobeez

Client
Регистрация
11.05.2017
Сообщения
27
Благодарностей
4
Баллы
3
Не помогло. Всё скорее всего из-за версии Зенки. Временно решил проблему вставкой такого кубика чтобы начали подгружаться подписчики http://prntscr.com/kzed7o


А не поделитесь случайно, каким запросом Инстаграм отдаёт подписчиков? Через api?
вот статья, в ней детально описан процесс парсинга страницы с прокруткой вниз на запросах, по подписчикам всё примерно так же, только токены другие.
https://www.diggernaut.ru/blog/kak-parsit-stranitsy-saytov-s-avtopodgruzkoy-na-primere-instagram/
 
  • Спасибо
Реакции: Botin

melutsk

Client
Регистрация
03.08.2016
Сообщения
1 345
Благодарностей
1 256
Баллы
113
логика отцентровки какая?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
логика отцентровки какая?
Логика такая: если без отцентровки, то берется квадрат сверху
Без отцентровки.jpg
если с отцентровкой, то квадрат берется четко по средине (пример делал вручную, там не совсем посредине, но шаблон делает точно), то же самое относится к горизонтальным фото
С отцентровкой.jpg
 

melutsk

Client
Регистрация
03.08.2016
Сообщения
1 345
Благодарностей
1 256
Баллы
113
Логика такая: если без отцентровки, то берется квадрат сверху
Посмотреть вложение 32604
если с отцентровкой, то квадрат берется четко по средине (пример делал вручную, там не совсем посредине, но шаблон делает точно), то же самое относится к горизонтальным фото
Посмотреть вложение 32605
А понял. А то я уже подумал, что там какое-то алго, которое лицо ищет)) Типа ИИ ))
 

Alex_a

Client
Регистрация
04.10.2016
Сообщения
16
Благодарностей
1
Баллы
3
это только у меня показывает что файлы архива битые? не могу разархивировать проекты

UPDATE: разархивировал скачав последний win rar, странно что штатный в total comander выдавал ошибку.
 
Последнее редактирование:

melutsk

Client
Регистрация
03.08.2016
Сообщения
1 345
Благодарностей
1 256
Баллы
113
это только у меня показывает что файлы архива битые? не могу разархивировать проекты

UPDATE: разархивировал скачав последний win rar, странно что штатный в total comander выдавал ошибку.
разные версии, это норма для винрара
 

foast

Client
Регистрация
27.07.2018
Сообщения
17
Благодарностей
5
Баллы
3
Шаблон для аватарок, к сожалению не работает, в логе идут ошибки:
Код:
Тип    Время    Сообщение
    11:57:43    Выполнение логического оператора If  Результат: false
    11:57:43    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    11:57:44    Выполнение логического оператора If  Результат: false
    11:57:44    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    11:57:45    Выполнение логического оператора If  Результат: false
В чем может быть проблема?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
398
Благодарностей
879
Баллы
93
Шаблон для аватарок, к сожалению не работает, в логе идут ошибки:
Код:
Тип    Время    Сообщение
    11:57:43    Выполнение логического оператора If  Результат: false
    11:57:43    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    11:57:44    Выполнение логического оператора If  Результат: false
    11:57:44    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    11:57:45    Выполнение логического оператора If  Результат: false
В чем может быть проблема?
Откройте в Project Maker, пройдитесь там, возможно, нужно поменять блоки Логика - If
Шаблон создавался на последнем билде, если у вас билд постарше - это может стать причиной подобного рода ошибок, но там исправить быстро, шаблон открытый
 

foast

Client
Регистрация
27.07.2018
Сообщения
17
Благодарностей
5
Баллы
3
Откройте в Project Maker, пройдитесь там, возможно, нужно поменять блоки Логика - If
Шаблон создавался на последнем билде, если у вас билд постарше - это может стать причиной подобного рода ошибок, но там исправить быстро, шаблон открытый
У меня тоже последний билд (5.22.0.0)
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)