Фолловинг подписчиков в твиттере

[inshallakh]

Делаю парсер фолловеров в твиттере. Перед парсингом делаю эмуляцию прокрутки вниз, чтобы отобразить список фолловеров целиком. Но при парсинге собираются только фолловеры с первой страницы. Как собрать список всех фолловеров, а не только тех, что на первой странице?

 

[rostonix]

твиттер не отдаст полностью всех на странице

 

[inshallakh]

И что же делать?

 

[VladZen]

И что же делать?

Переходить по страницам)

 

[inshallakh]

Там скролл с автоподгрузкой.

 

[rostonix]

И что же делать?

гуглить ) но я не думаю что есть способ через Api выкачать все

 

[inshallakh]

Я гуглю до того, как вопрос задать.
Сегодня решение пришло само - использовать мобильную версию. В ней парсер срабатывает.

 

[inshallakh]

Сделал скрипт для фолловинга: http://take.ms/pIudg
Но он ведет себя загадочным образом. Иногда ломается на первом же цикле, иногда ломается через несколько десятков циклов. Добавил эмуляцию мыши, паузу - никакого заметного эффекта это не оказало.

Подозрения:
- Твиттер палит (но это никак не проявляется, а если палит, то неясно как)
- Скрипт ломается из-за тормозов ProjectMaker (возможно такое?)

 

[rostonix]

ошибка на экшене на скрине?

 

[inshallakh]

Да в разных местах ломается: http://take.ms/giBWs

 

[inshallakh]

И еще одна странность: файл со списком акков для фолловинга иногда раздувается до невероятных размеров. В оригинале он весит меньше 50 кб и по ходу работы должен уменьшаться в размерах (использованные акки удаляются). И он уменьшается. Но иногда (иногда!) файл раздувается до 200+ мб

 

[rostonix]

потому что файл занят на момент работы экшена. вы изначально допускаете ошибку при работе с данными. если вам нужно добавлять данные в файл постоянно, то привязываете файл к списку и используете экшен Операции со списками - Добавления строки

 

[inshallakh]

Я беру из файла список, потом строку, строка из списка удаляется, потом обновленный список сохраняется в файл -> новый цикл

Экшены "взять текст", "перегнать в список", "получить строку"
http://take.ms/Lw1Mn
http://take.ms/afaX7
http://take.ms/PK17n

 

[rostonix]

неправильная логика. делайте как я подсказал)

 

[inshallakh]

Спасибо. Если привязать файл к списку, то при редактировании списка файл тоже должен редактироваться? Я поставил галочку на удаление строки http://take.ms/O0eDm, но строки ни черта не удаляются.

Также неясно почему ломался скрипт раньше. Схема была усложненная, но рабочая. Она же десятки циклов отрабатывала. Ломалось из-за того, что файл с аккаунтами раздувался?

 

[rostonix]

в свойствах списка должна стоять галка "сохранять изменения в файл"

 

[inshallakh]

То есть завести еще один экшен типа "Операции над списком"?

 

[rostonix]

Эта галка в свойствах списка, не экшен

 

[inshallakh]

В свойствах можно указать либо "Привязать файл", либо "Сохранить в файл". Но я не вижу, как это сделать одновременно.

 

[rostonix]

Обе галки можно псотавить.

 

[inshallakh]

Там же не галки, а выпадающий список, в котором только один пункт выбирается

 

[rostonix]

http://i.gyazo.com/5969ee5ca6204742b7d86af9a92da1f6.png

 

[inshallakh]

Последовал вашему совету, сделал привязку.
http://take.ms/pTeOh
http://take.ms/AG2yk
http://take.ms/9nJYW
http://take.ms/mw25e
http://take.ms/jhgvz
http://take.ms/eyxaS
http://take.ms/U0FhY
Но остается проблема: скрипт ломается через несколько десятков циклов. Сколько он может отработать в Project Maker понять невозможно, т.к. через несколько десятков циклов программа начинает сильно тормозить на грани зависания, а в Zennoposter ломается после исполнения 50-70% циклов.

 

[rostonix]

Сделали бесконечный цикл, вот память и течет. Периодически в цикле используйте экшен Браузер - Перезагрузка инстанса. Каждые N навигейтов

 

[inshallakh]

Спасибо. Цикл не такой уж большой, всего 130-150 повторов

 

[rostonix]

поставьте перезагрузку инстанса каждые 20, попробуйте

 

[inshallakh]

Решил не морочить голову с перезагрузкой, а просто уменьшил число циклов до 20 и в ZP буду выставлять больше повторов

 

[inshallakh]

Проект сделал, долгое время он работал без проблем, но сейчас почему-то сломался.
Гляньте аттач.
В PM работает без проблем. А в Зеннопостере даже не стартует, сразу ломается.

 

[inshallakh]

Ау

 

[rostonix]

С какой ошибкой не стартует?