5 место Парсер фото и видео из профилей Instagram

Discussion in 'Третий конкурс шаблонов' started by Err0r, Feb 27, 2019.

Tags:
  1. Err0r

    Err0r Client

    Joined:
    May 17, 2015
    Messages:
    116
    Likes Received:
    80
    Всем привет!

    Хочу поделиться с вами шаблоном по скачиванию фото и видео из профилей Instagram.
    Шаблон написан полностью на POST/GET запросах с минимальным использованием C#.
    Сложность парсинга фото с Instagram осложняется тем что каждый запрос подписывается идентификатором, который генерируется скриптом.
    Снимок2.PNG

    Настройки шаблона простые:
    - указываете список с usernames (не забывайте делать бэкап списка, шаблон берет строки с удалением)
    - и папку куда скачивать, шаблон так же создает подпапку с username. По умолчанию скачивает в папку с шаблоном.

    Снимок.PNG

    Со временем собираюсь добавить в шаблон докачивание новых фото к уже скаченным.
    Как использовать шаблон решайте сами. Всем спасибо за внимание :-)
     

    Attached Files:

    twisterrr, inilim, vadim4ukr and 15 others like this.
  2. enjoy1337

    enjoy1337 Client

    Joined:
    Dec 14, 2016
    Messages:
    33
    Likes Received:
    1
    Err0r likes this.
  3. vrska

    vrska Client

    Joined:
    Feb 7, 2010
    Messages:
    251
    Likes Received:
    91
    Если это сделать, то парсер станет комбайном. А за комбайны принято платить
     
    GreenWay and sergej_g like this.
  4. loshpek

    loshpek Client

    Joined:
    Nov 24, 2016
    Messages:
    52
    Likes Received:
    20
    Было бы хорошо еще добавить настройку кол-во фото с юзера и прокси.
     
    kagorec likes this.
  5. uRusure

    uRusure Client

    Joined:
    Jul 7, 2018
    Messages:
    23
    Likes Received:
    4
    Еще было бы просто супер добавить уникализацию картинок на выходе))
     
  6. kagorec

    kagorec Client

    Joined:
    Aug 24, 2013
    Messages:
    553
    Likes Received:
    238
    xnconvert попробуй, хороший инструмент чтобы пакетно изменить параметры картинок
     
  7. Ylvov

    Ylvov Client

    Joined:
    Jan 23, 2017
    Messages:
    21
    Likes Received:
    2
    скачивание по поиску по словам или #
     
  8. Ylvov

    Ylvov Client

    Joined:
    Jan 23, 2017
    Messages:
    21
    Likes Received:
    2
    У всех работает? Или только у меня руки не из плечей?
     
  9. loshpek

    loshpek Client

    Joined:
    Nov 24, 2016
    Messages:
    52
    Likes Received:
    20
    А где ошибка?
     
  10. Ylvov

    Ylvov Client

    Joined:
    Jan 23, 2017
    Messages:
    21
    Likes Received:
    2
    У меня не берет из списка юзеров, а только удаляет по одному.
     
  11. loshpek

    loshpek Client

    Joined:
    Nov 24, 2016
    Messages:
    52
    Likes Received:
    20
    Если удаляет значит должно брать. Посмотри или в настройках правильно все добавил.
     
  12. Lite

    Lite Client

    Joined:
    Oct 17, 2013
    Messages:
    197
    Likes Received:
    47
    Подскажите, а что вообще позволяет делать api инстаграма?
    (я так понимаю, раз автор заморочился с запросами, то даже фото спарсить через api нельзя)
     
  13. Err0r

    Err0r Client

    Joined:
    May 17, 2015
    Messages:
    116
    Likes Received:
    80
    Можно, но там авторизацию делать нужно, а мне ее реализовать не удалось.
     
    Lite and Pseudo like this.
  14. Pseudo

    Pseudo Client

    Joined:
    Dec 2, 2018
    Messages:
    11
    Likes Received:
    2
    Спасибо за шаблон! :ay:
     
    Err0r likes this.
  15. Err0r

    Err0r Client

    Joined:
    May 17, 2015
    Messages:
    116
    Likes Received:
    80
    Доработал шаблон, теперь можно указать сколько скачивать фото с профиля. Указывайте в настройках, по умолчанию стоит 10000.
     

    Attached Files:

    GreenWay, Lanas, inilim and 2 others like this.
  16. eliadsonet

    eliadsonet Client

    Joined:
    May 25, 2012
    Messages:
    109
    Likes Received:
    35
    @Err0r А как ты понял, какую информацию нужно отправлять в склейку токена для дальнейшего хеширования?
     
  17. loshpek

    loshpek Client

    Joined:
    Nov 24, 2016
    Messages:
    52
    Likes Received:
    20
    Тоже интересно)
     
  18. jaguar cosmic

    jaguar cosmic Client

    Joined:
    Nov 9, 2018
    Messages:
    45
    Likes Received:
    6
  19. uRusure

    uRusure Client

    Joined:
    Jul 7, 2018
    Messages:
    23
    Likes Received:
    4
    Затестил шаб. С некоторых профилей из списка шаб выкачивает по одной фотке и все... В чем проблема?

    Вот мой лог: http://joxi.ru/a2XbNwXUw01w6r
     
    Err0r likes this.
  20. uRusure

    uRusure Client

    Joined:
    Jul 7, 2018
    Messages:
    23
    Likes Received:
    4
    В общем нашел баг, что если изменить путь "Папка куда скачивать" на любую другую директорию, то шаб выкачивает 1 или 2 фотки и завершается с ошибкой. Но если запустить шаб, но с дефолтной директорией сохранения файлов, то все нормально.
     
    Err0r likes this.
  21. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    @Err0r приветствую.Спасибо за шаблон.Очень удачная находка.Хотел запустить его в работу по 2-м разным спискам.Не вышло.Работает только одна копия.2-ю копию как полагается положил в другую папку,настроил,запустил.Ошибка.Не могли бы вы сделать так,чтобы его можно было запускать на одном железе,в несколько копий.Это очень удобно.Каждая копия парсит свой список.
     
    Err0r likes this.
  22. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    @Err0r приветствую.Гляньте пожалуйста шаблон.
    Ставлю делать 1000 .Может выдать ошибку,и нагенерить 1000 пустых папок.Или 1000 папок по 1 фото в каждой.
    Из последних ошибок:
    2e516f16-b971-4f8a-8587-101152fbd5d1
    Выполнение действия Parse Json/Xml Error reading JToken from JsonReader. Path '', line 0, position 0.
    ef6972b4-d746-4d5b-8e74-00502ae93f2a
    Выполнение действия File Ошибка при работе с файлом
    И так весь день.100 папок с ошибками,1 скачалась.
    Файл профилей доступен.В файле более 1000 профилей.Вчера пробовал в 1-2-3 потока.Сегодня оставил в 1 поток.
    Сделайте пожалуйста,когда ошибки,шаблон не генерит пустые папки,или папки с ммнимумом фото.Может удастся сделать так,чтобы можно было выбирать минимальное количество фото/видео,которое должно быть на акке,чтобы его взял в работу шаблон.
     
    Last edited by a moderator: Mar 27, 2019
    Err0r and uRusure like this.
  23. Err0r

    Err0r Client

    Joined:
    May 17, 2015
    Messages:
    116
    Likes Received:
    80
    Обновил, потестил, теперь вроде работает как надо. Были ошибки в логике, переменные не везде обновил после добавления входных настроек.
     

    Attached Files:

    orka13 and She like this.
  24. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    @Err0r приветствую.Спасибо за доработку.Очень быстро.Очень оперативно.Благодарствую.
    Включите пожалуйста шаблон в 1-2 потока,на скачку 100-200 аккаунтов.Понаблюдайте за его работой.
    У меня через раз все таки теже ошибки вылетают.Скачал одну папку,а с другим акком ошибка.Снова скачал.Снова ошибка.
    Так лучше чем никак.Но возможно как появится время,ещё что-то подкрутить удастся.
     
    Err0r likes this.
  25. Err0r

    Err0r Client

    Joined:
    May 17, 2015
    Messages:
    116
    Likes Received:
    80
    Вижу, инстаграм не всегда запросы нормально обрабатывает, похоже не нравится ему что его парсят =)

    1. Добавил в шаблон "обработку ошибок", шаблон теперь стал похож на ежика, надо будет со временем переписать на C#
    2. Также добавил прокси, рекомендуется использовать при многопотоке

    Спасибо всем за тесты и сообщения об ошибках.
     

    Attached Files:

    orka13 and She like this.
  26. uRusure

    uRusure Client

    Joined:
    Jul 7, 2018
    Messages:
    23
    Likes Received:
    4
    Можете еще пожалуйста добавить возможность выбора выкачивать все фото из постов в которых больше 1 фотографии или нет? Ну то есть в инсте можно закинуть несколько фоток в один пост, но хотелось бы чтобы шаб выкачивал только первую фотку, если их несколько.
    [​IMG]
     
  27. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    А мне как раз наоборот нужно было,чтобы не брал аккаунты в которых всего 1 фото.Или в которых меньше 100 фото.Я как раз хотел насобирать акки,в которых ближе к 1000 фото.
     
  28. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    @Err0r приветствую.Запускал с прокси на 5,10,20 потоков. 3a5bbb07-88a1-4880-964f-f46e29c23bcb
    Выполнение логического оператора If Результат: False
     
  29. GSX_RU

    GSX_RU Client

    Joined:
    Oct 22, 2018
    Messages:
    14
    Likes Received:
    0
    Указываю список с username, при начале работы пишет "Выполнение действия List Список пуст" кто -нибудь знает почему так?
     
  30. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    @Err0r приветствую.Сделайте пожалуйста возможным,чтобы при новом запуске по тому же списку,не качались дубли,или не перезакачивались теже медиа снова.
     

Пользователи просматривающие тему (Пользователей: 0, Гостей: 0)