5 место Парсер фото и видео из профилей Instagram

Err0r

Client
Регистрация
17.05.2015
Сообщения
156
Благодарностей
102
Баллы
43
Всем привет!

Хочу поделиться с вами шаблоном по скачиванию фото и видео из профилей Instagram.
Шаблон написан полностью на POST/GET запросах с минимальным использованием C#.
Сложность парсинга фото с Instagram осложняется тем что каждый запрос подписывается идентификатором, который генерируется скриптом.
Снимок2.PNG


Настройки шаблона простые:
- указываете список с usernames (не забывайте делать бэкап списка, шаблон берет строки с удалением)
- и папку куда скачивать, шаблон так же создает подпапку с username. По умолчанию скачивает в папку с шаблоном.

Снимок.PNG


Со временем собираюсь добавить в шаблон докачивание новых фото к уже скаченным.
Как использовать шаблон решайте сами. Всем спасибо за внимание :-)
 

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

vrska

Client
Регистрация
07.02.2010
Сообщения
452
Благодарностей
288
Баллы
63
  • Спасибо
Реакции: GreenWay и sergej_g

loshpek

Client
Регистрация
24.11.2016
Сообщения
61
Благодарностей
25
Баллы
18
Было бы хорошо еще добавить настройку кол-во фото с юзера и прокси.
 
  • Спасибо
Реакции: kagorec

uRusure

Client
Регистрация
07.07.2018
Сообщения
33
Благодарностей
5
Баллы
8
Еще было бы просто супер добавить уникализацию картинок на выходе))
 

kagorec

Client
Регистрация
24.08.2013
Сообщения
608
Благодарностей
276
Баллы
63

Ylvov

Client
Регистрация
23.01.2017
Сообщения
42
Благодарностей
5
Баллы
8
скачивание по поиску по словам или #
 

Ylvov

Client
Регистрация
23.01.2017
Сообщения
42
Благодарностей
5
Баллы
8
У всех работает? Или только у меня руки не из плечей?
 

Lite

Client
Регистрация
17.10.2013
Сообщения
228
Благодарностей
56
Баллы
28
Подскажите, а что вообще позволяет делать api инстаграма?
(я так понимаю, раз автор заморочился с запросами, то даже фото спарсить через api нельзя)
 

Pseudo

Client
Регистрация
02.12.2018
Сообщения
80
Благодарностей
32
Баллы
18
Спасибо за шаблон! :ay:
 
  • Спасибо
Реакции: Err0r

Err0r

Client
Регистрация
17.05.2015
Сообщения
156
Благодарностей
102
Баллы
43
Доработал шаблон, теперь можно указать сколько скачивать фото с профиля. Указывайте в настройках, по умолчанию стоит 10000.
 

Вложения

eliadsonet

Client
Регистрация
25.05.2012
Сообщения
116
Благодарностей
40
Баллы
28
Доработал шаблон, теперь можно указать сколько скачивать фото с профиля. Указывайте в настройках, по умолчанию стоит 10000.
@Err0r А как ты понял, какую информацию нужно отправлять в склейку токена для дальнейшего хеширования?
 

uRusure

Client
Регистрация
07.07.2018
Сообщения
33
Благодарностей
5
Баллы
8
Затестил шаб. С некоторых профилей из списка шаб выкачивает по одной фотке и все... В чем проблема?

Вот мой лог: http://joxi.ru/a2XbNwXUw01w6r
 
  • Спасибо
Реакции: Err0r

uRusure

Client
Регистрация
07.07.2018
Сообщения
33
Благодарностей
5
Баллы
8
В общем нашел баг, что если изменить путь "Папка куда скачивать" на любую другую директорию, то шаб выкачивает 1 или 2 фотки и завершается с ошибкой. Но если запустить шаб, но с дефолтной директорией сохранения файлов, то все нормально.
 
  • Спасибо
Реакции: Err0r

She

Client
Регистрация
11.01.2017
Сообщения
107
Благодарностей
18
Баллы
18
@Err0r приветствую.Спасибо за шаблон.Очень удачная находка.Хотел запустить его в работу по 2-м разным спискам.Не вышло.Работает только одна копия.2-ю копию как полагается положил в другую папку,настроил,запустил.Ошибка.Не могли бы вы сделать так,чтобы его можно было запускать на одном железе,в несколько копий.Это очень удобно.Каждая копия парсит свой список.
 
  • Спасибо
Реакции: Err0r

She

Client
Регистрация
11.01.2017
Сообщения
107
Благодарностей
18
Баллы
18
@Err0r приветствую.Гляньте пожалуйста шаблон.
Ставлю делать 1000 .Может выдать ошибку,и нагенерить 1000 пустых папок.Или 1000 папок по 1 фото в каждой.
Из последних ошибок:
2e516f16-b971-4f8a-8587-101152fbd5d1
Выполнение действия Parse Json/Xml Error reading JToken from JsonReader. Path '', line 0, position 0.
ef6972b4-d746-4d5b-8e74-00502ae93f2a
Выполнение действия File Ошибка при работе с файлом
И так весь день.100 папок с ошибками,1 скачалась.
Файл профилей доступен.В файле более 1000 профилей.Вчера пробовал в 1-2-3 потока.Сегодня оставил в 1 поток.
Сделайте пожалуйста,когда ошибки,шаблон не генерит пустые папки,или папки с ммнимумом фото.Может удастся сделать так,чтобы можно было выбирать минимальное количество фото/видео,которое должно быть на акке,чтобы его взял в работу шаблон.
 
Последнее редактирование модератором:
  • Спасибо
Реакции: Err0r и uRusure

Err0r

Client
Регистрация
17.05.2015
Сообщения
156
Благодарностей
102
Баллы
43
Обновил, потестил, теперь вроде работает как надо. Были ошибки в логике, переменные не везде обновил после добавления входных настроек.
 

Вложения

  • Спасибо
Реакции: orka13 и She

She

Client
Регистрация
11.01.2017
Сообщения
107
Благодарностей
18
Баллы
18
Обновил, потестил, теперь вроде работает как надо. Были ошибки в логике, переменные не везде обновил после добавления входных настроек.
@Err0r приветствую.Спасибо за доработку.Очень быстро.Очень оперативно.Благодарствую.
Включите пожалуйста шаблон в 1-2 потока,на скачку 100-200 аккаунтов.Понаблюдайте за его работой.
У меня через раз все таки теже ошибки вылетают.Скачал одну папку,а с другим акком ошибка.Снова скачал.Снова ошибка.
Так лучше чем никак.Но возможно как появится время,ещё что-то подкрутить удастся.
 
  • Спасибо
Реакции: Err0r

Err0r

Client
Регистрация
17.05.2015
Сообщения
156
Благодарностей
102
Баллы
43
Включите пожалуйста шаблон в 1-2 потока,на скачку 100-200 аккаунтов.Понаблюдайте за его работой.
Вижу, инстаграм не всегда запросы нормально обрабатывает, похоже не нравится ему что его парсят =)

1. Добавил в шаблон "обработку ошибок", шаблон теперь стал похож на ежика, надо будет со временем переписать на C#
2. Также добавил прокси, рекомендуется использовать при многопотоке

Спасибо всем за тесты и сообщения об ошибках.
 

Вложения

  • Спасибо
Реакции: orka13 и She

uRusure

Client
Регистрация
07.07.2018
Сообщения
33
Благодарностей
5
Баллы
8
Вижу, инстаграм не всегда запросы нормально обрабатывает, похоже не нравится ему что его парсят =)

1. Добавил в шаблон "обработку ошибок", шаблон теперь стал похож на ежика, надо будет со временем переписать на C#
2. Также добавил прокси, рекомендуется использовать при многопотоке

Спасибо всем за тесты и сообщения об ошибках.
Можете еще пожалуйста добавить возможность выбора выкачивать все фото из постов в которых больше 1 фотографии или нет? Ну то есть в инсте можно закинуть несколько фоток в один пост, но хотелось бы чтобы шаб выкачивал только первую фотку, если их несколько.
 

She

Client
Регистрация
11.01.2017
Сообщения
107
Благодарностей
18
Баллы
18
А мне как раз наоборот нужно было,чтобы не брал аккаунты в которых всего 1 фото.Или в которых меньше 100 фото.Я как раз хотел насобирать акки,в которых ближе к 1000 фото.
Можете еще пожалуйста добавить возможность выбора выкачивать все фото из постов в которых больше 1 фотографии или нет? Ну то есть в инсте можно закинуть несколько фоток в один пост, но хотелось бы чтобы шаб выкачивал только первую фотку, если их несколько.
 

She

Client
Регистрация
11.01.2017
Сообщения
107
Благодарностей
18
Баллы
18
Вижу, инстаграм не всегда запросы нормально обрабатывает, похоже не нравится ему что его парсят =)

1. Добавил в шаблон "обработку ошибок", шаблон теперь стал похож на ежика, надо будет со временем переписать на C#
2. Также добавил прокси, рекомендуется использовать при многопотоке

Спасибо всем за тесты и сообщения об ошибках.
@Err0r приветствую.Запускал с прокси на 5,10,20 потоков. 3a5bbb07-88a1-4880-964f-f46e29c23bcb
Выполнение логического оператора If Результат: False
 

GSX_RU

Client
Регистрация
22.10.2018
Сообщения
19
Благодарностей
0
Баллы
1
Указываю список с username, при начале работы пишет "Выполнение действия List Список пуст" кто -нибудь знает почему так?
 

She

Client
Регистрация
11.01.2017
Сообщения
107
Благодарностей
18
Баллы
18
@Err0r приветствую.Сделайте пожалуйста возможным,чтобы при новом запуске по тому же списку,не качались дубли,или не перезакачивались теже медиа снова.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)