Парсер Instagram + круги для аватарок

Discussion in 'Второй конкурс шаблонов' started by Botin, Sep 23, 2018.

  1. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    insta.jpg

    Всем привет!
    Сейчас активно работаю с дейтингом и одно из направлений - рассылка по базам пользователей, которые сами ищут знакомств. Один из вариантов поиска таких юзеров - Instagram.
    Первый из двух шаблонов, что прикреплены к посту, - InstaParser. Он предназначен для парсинга контактных данных фолловеров нужного юзера (или юзера, что мы укажем в списке). Собираются почты и телефоны. Что с этим добром делать - думаю, вы знаете сами :-)

    Второй шаблон поможет уникализировать аватарки и повысить конверсию своих аккаунтов как в Instagram, так и других социальных сетях. При чем, можно не ограничиваться предложенными вариантами рамок, а добавлять свои. Размеры рамок и фото могут быть произвольными, в шаблон вшит алгоритм подгонки рамок и фото. Пример фото можно посмотреть внизу.

    Дальше опишу по каждому шаблону более конкретно, чтоб не возникало никаких вопросов.

    InstaParser

    Файловая система:
    файл followers.txt
    - сюда помещаются подписчики указанных нами юзеров на этапе 2 ("Сбор фолловеров");
    файл profile.zpprofile - профиль, который создается на этапе 1 ("Создание профиля");
    файл result.xlsx - таблица с результатами парсинга контактов (туда идут никнейм, телефон и почта, данные добавляются, если есть хоть какой-то контакт (почта или телефон);
    файл users.txt - сюда нужно поместить юзеров, подписчиков которых нужно собрать, добавляем только никнеймы, каждый с новой строки.

    Запуск шаблона:
    1. Добавляем в файл users.txt никнеймы юзеров, контакты подписчиков которых хотим спарсить.
    2. Заходим во входные настройки шаблона и выбираем задачу "Создание профиля", ниже заполняем данные своего аккаунта Instagram (для таких целей использую фейковый), жмем ОК и запускаем шаблон в 1 поток. Ждем, пока задача не будет успешно выполнена и файл профиля будет обновлен.
    3. Заходим во входные настройки шаблона и выбираем задачу "Парсинг фолловеров", жмем ОК. Запускаем шаблон, можно в несколько потоков. 1 задание = парсинг фолловеров одного юзера из нашего списка users.txt. Задача выполняется в браузерном режиме. Ждем, пока задача не будет успешно выполнена и список followers.txt будет сформирован.
    4. Заходим во входные настройки шаблона и выбираем задачу "Сбор контактов", жмем ОК. Запускаем шаблон, можно в несколько потоков. 1 задание = обработка (поиск контактов) одного фолловера из нашего списка followers.txt. Задача выполняется без использования браузера на запросах. Ждем, пока задача не будет успешно выполнена и контакты собраны в таблицу result.xlsx.

    IEditor

    Файловая система:
    Папка borders - здесь лежат рамки для накладки на фото, можно использовать уже имеющиеся или добавлять свои;
    Папка input - сюда помещаем фото (аватарки), которые нужно обработать;
    Папка output - сюда складываются обработанные изображения;
    Папка temp - папка для временных файлов, её не трогаем.

    Запуск шаблона:
    1. Добавляем в папку input фото/аватрки для обработки.
    2. Заходим во входные настройки шаблона и отмечаем/отключаем взятие случайной рамки (при отключенном параметре будет браться всегда первая рамка) и отцентровки фото (при отключенном параметре фото после обработки будет без отступа сверху, ниже смотрите примеры), жмем ОК.
    3. Шаблон запускаем в 1 поток, за счет реализации работы без браузера все выполняется очень быстро. 1 задание = обработка 1 фото. Результат обработки - в папке output.

    Обработанное фото без отцентровки:
    Без отцентровки.jpg

    Обработанное фото с отцентровкой:
    С отцентровкой.jpg


    Тестируйте, как вам лучше зайдет: с отцентровкой или без.
    Надеюсь, данные шаблоны будут вам полезны. Всем профита! :az:
     

    Attached Files:

    Nike59, LaGir, Ssmodey and 13 others like this.
  2. Evgen_17

    Evgen_17 Client

    Joined:
    Dec 28, 2015
    Messages:
    29
    Likes Received:
    10
    С отцентровкой 5+
     
  3. ceobeez

    ceobeez Client

    Joined:
    May 11, 2017
    Messages:
    27
    Likes Received:
    4
    Выполнение действия HtmlElement id: f1ebce9c-b40f-45f6-8396-20599a457f6f группы действий id: 8ac8d147-3bc4-4331-846b-fda79ca45248
    Не найден HTML элемент, по условиям поиска

    На этапе сбора подпищиков, подозреваю регулярка писалась под языковую версию Engl?
    upd: да, так и есть. нужно обязательно английский язык в профиле.
     
    Last edited: Sep 24, 2018
  4. Astraport

    Astraport Client

    Joined:
    May 1, 2015
    Messages:
    2,731
    Likes Received:
    1,801
    Случаем постинг в Сториз удалось организовать?
     
  5. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    Да, там фокусировка на кнопке "Follow", чтоб можно было прокручивать подписчиков.
    Можете поменять только слово "Follow" в свойствах элемента "Фокусировка" (id, что вы скинули)
     
  6. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    Пока такой задачи не было )
     
  7. Vadim321

    Vadim321 Client

    Joined:
    Jan 6, 2017
    Messages:
    8
    Likes Received:
    0
    А что-то у меня при обработке фото пишет:
    Выполнение логического оператора If Результат: false

    Может что я делаю нет так?
     
  8. Vadim321

    Vadim321 Client

    Joined:
    Jan 6, 2017
    Messages:
    8
    Likes Received:
    0
    Все, вопрос закрыт
     
  9. RuVeMax

    RuVeMax Client

    Joined:
    Feb 4, 2018
    Messages:
    1
    Likes Received:
    0
    Задача "Парсинг фолловеров" сколько может собрать с одного донора и как быстро?
     
  10. ceobeez

    ceobeez Client

    Joined:
    May 11, 2017
    Messages:
    27
    Likes Received:
    4
    я по быстрому переделал на запросах, 60-100к в час, можно и быстрее.
     
    Botin likes this.
  11. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    доноры использовал в среднем на 4-10 тысяч фолловеров, Instagram дает спарсить с них 2-4 тысячи, что примерно 40%, по скорости - у меня в минуту собирает примерно 500 фолловеров
     
  12. Vadim321

    Vadim321 Client

    Joined:
    Jan 6, 2017
    Messages:
    8
    Likes Received:
    0
    @Botin
    Приветствую. Такой вопрос: а в IEditor рамок для накладки на фото только получается 4 шт? Не раскроешь ли (случайно), где еще рамки можно достать?
     
  13. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    Вот еще пара рамок (PNG):
    5.png
    6.png
    Взято отсюда - http://emdigital.ru/tools/kolechki-na-avatarku-v-instagrame
    Но там всего 6 рамок, чтоб больше иметь, нужно или фотошопить (можно поиграться с цветами и получить рамки другой расцветки, а также создать с нуля), или найти в сети
     
    Vadim321 likes this.
  14. Ssmodey

    Ssmodey Client

    Joined:
    Dec 10, 2016
    Messages:
    103
    Likes Received:
    12
    А по каким критериям определяются эти пользователи, если не секрет? :-)

    При первой прокрутке у меня всегда сразу дальше не грузится: http://prntscr.com/kyk3rr
    Приходится постоянно полосу прокрутки дёргать чтобы дальше пошло.
     
    Last edited: Sep 25, 2018
  15. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    При поиске юзеров подставляется "datind, "sex" и так далее.

    Много у юзеров подписчиков, что вы парсите?
    Какие характеристики компьютера и билд зенки?
     
  16. Bolik_31

    Bolik_31 Client

    Joined:
    Sep 12, 2010
    Messages:
    9
    Likes Received:
    1
    Для зенки 3 подойдут?
     
  17. Ssmodey

    Ssmodey Client

    Joined:
    Dec 10, 2016
    Messages:
    103
    Likes Received:
    12
    От 1000 до 3000
    Сервер от Webtropia, 8 ядер по 2.4ГГц, 16Гб оперативной памяти. Зенка версии 5.16.2.0
     
  18. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    на последнем билде зенки у меня все ок с парсингом, как вариант, можно добавить очистку кеша после действия "Прокрутка вниз"
     
  19. AcidX

    AcidX Client

    Joined:
    Aug 19, 2012
    Messages:
    8
    Likes Received:
    3
    если ширина рамки меньше ширины картинки, то шаблон, я так понимаю, просто вылетит в ошибку
     
  20. Ssmodey

    Ssmodey Client

    Joined:
    Dec 10, 2016
    Messages:
    103
    Likes Received:
    12
    Не помогло. Всё скорее всего из-за версии Зенки. Временно решил проблему вставкой такого кубика чтобы начали подгружаться подписчики http://prntscr.com/kzed7o

    А не поделитесь случайно, каким запросом Инстаграм отдаёт подписчиков? Через api?
     
  21. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    Нет, идет подгонка итогового размера как рамки под фото, так и фото под рамку. Подгонка идет под меньший размер.
    В общем, попробуйте в проджект мейкере - все увидите и поймете.
     
  22. ceobeez

    ceobeez Client

    Joined:
    May 11, 2017
    Messages:
    27
    Likes Received:
    4
    вот статья, в ней детально описан процесс парсинга страницы с прокруткой вниз на запросах, по подписчикам всё примерно так же, только токены другие.
    https://www.diggernaut.ru/blog/kak-parsit-stranitsy-saytov-s-avtopodgruzkoy-na-primere-instagram/
     
    Botin likes this.
  23. melutsk

    melutsk Client

    Joined:
    Aug 3, 2016
    Messages:
    338
    Likes Received:
    59
    логика отцентровки какая?
     
  24. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    Логика такая: если без отцентровки, то берется квадрат сверху
    Без отцентровки.jpg
    если с отцентровкой, то квадрат берется четко по средине (пример делал вручную, там не совсем посредине, но шаблон делает точно), то же самое относится к горизонтальным фото
    С отцентровкой.jpg
     
  25. melutsk

    melutsk Client

    Joined:
    Aug 3, 2016
    Messages:
    338
    Likes Received:
    59
    А понял. А то я уже подумал, что там какое-то алго, которое лицо ищет)) Типа ИИ ))
     
  26. Alex_a

    Alex_a Client

    Joined:
    Oct 4, 2016
    Messages:
    13
    Likes Received:
    1
    это только у меня показывает что файлы архива битые? не могу разархивировать проекты

    UPDATE: разархивировал скачав последний win rar, странно что штатный в total comander выдавал ошибку.
     
    Last edited: Oct 2, 2018
  27. melutsk

    melutsk Client

    Joined:
    Aug 3, 2016
    Messages:
    338
    Likes Received:
    59
    разные версии, это норма для винрара
     
  28. foast

    foast Client

    Joined:
    Jul 27, 2018
    Messages:
    7
    Likes Received:
    4
    Шаблон для аватарок, к сожалению не работает, в логе идут ошибки:
    Code (text):
    1. Тип    Время    Сообщение
    2.     11:57:43    Выполнение логического оператора If  Результат: false
    3.     11:57:43    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    4.     11:57:44    Выполнение логического оператора If  Результат: false
    5.     11:57:44    ZennoPoster Не удалось выполнить проект E:\Инст\IEditor\IEditor.xmlz
    6.     11:57:45    Выполнение логического оператора If  Результат: false
    7.  
    В чем может быть проблема?
     
  29. Botin

    Botin Client

    Joined:
    Feb 16, 2014
    Messages:
    269
    Likes Received:
    491
    Откройте в Project Maker, пройдитесь там, возможно, нужно поменять блоки Логика - If
    Шаблон создавался на последнем билде, если у вас билд постарше - это может стать причиной подобного рода ошибок, но там исправить быстро, шаблон открытый
     
  30. foast

    foast Client

    Joined:
    Jul 27, 2018
    Messages:
    7
    Likes Received:
    4
    У меня тоже последний билд (5.22.0.0)
     

Пользователи просматривающие тему (Пользователей: 0, Гостей: 0)