Предварительная выборка кэша и обмен им между аккаунтами для экономии полосы пропускания

morpheus93

Client
Регистрация
25.01.2012
Сообщения
1 035
Благодарностей
237
Баллы
63
Здравствуйте,

кажется, что для успешной работы в IM требуется все больше и больше "Резидентных прокси".
К сожалению, провайдеры берут плату за используемый трафик за ГБ, поэтому простой создатель аккаунта может стать довольно дорогим.

Я думаю, что лучший подход заключается в предварительной выборке всех необходимых файлов (картинки, если они включены, css файлы, javascript...) в локальный кэш, а затем напрямую получать данные оттуда при каждом запуске, например, бота-создателя аккаунта. Это позволило бы сэкономить около 70% трафика и, следовательно, значительные затраты на пропускную способность.

Подскажите, пожалуйста, как это можно реализовать в проекте ZP наиболее простым способом? Уже думал использовать локальный "Squid proxy" для кэширования и использовать этот прокси для проекта Zenno (в дополнение к необходимому Socks5/Http прокси для анонимности). Но я не уверен, как правильно реализовать такую возможность и не нарушить анонимность. Может быть можно запустить одного бота без прокси/с дешевым дата-центром, чтобы он забирал все данные в профиль, а потом (при использовании дорогого жилого прокси) загружал оттуда большую часть нужных данных.

Спасибо, что поделились своими идеями!

Переведено с помощью www.DeepL.com/Translator (бесплатная версия)
 

dimafatality

Client
Регистрация
19.01.2014
Сообщения
266
Благодарностей
254
Баллы
63

Yuriy Zymlex

Moderator
Команда форума
Регистрация
24.10.2016
Сообщения
6 352
Благодарностей
3 279
Баллы
113
Если используются постоянные аккаунты, то есть профиль-папки, но каждая будет хранить кеш у себя и дублировать его.

В идеале нужен кеширующий прокси на своей стороне.
 

one

Client
Регистрация
22.09.2015
Сообщения
6 790
Благодарностей
1 264
Баллы
113
идеале нужен кеширующий прокси на своей стороне.
Я тоже хотел это заявить, а потом подумал как поставить его перед проксями... Речь же о проксях в стартопосте.
 

Gfoblin

Client
Регистрация
30.05.2013
Сообщения
4 510
Благодарностей
990
Баллы
113
Я тоже хотел это заявить, а потом подумал как поставить его перед проксями... Речь же о проксях в стартопосте.
parent прокси в том же 3proxy, но херня в том, что теперь везде https сквозняк и в кеш ничего не падает просто )
в Squid вроде есть возможность подменить сертификат, но хз как там насчёт родительских проксей.
 
Последнее редактирование:

one

Client
Регистрация
22.09.2015
Сообщения
6 790
Благодарностей
1 264
Баллы
113
parent прокси в том же 3proxy, но херня в том, что теперь везде https сквозняк и в кеш ничего не падает просто )
в Squid вроде есть возможность подменить сертификат, но хз как там насчёт родительских проксей.
Я давно уже со Squid неработал, но думаю в связи с этой свистопляской SSL, должны быть в нем какие то изминения. А так да, палка о двух концах.
 

Gfoblin

Client
Регистрация
30.05.2013
Сообщения
4 510
Благодарностей
990
Баллы
113
Вообще по моему "Резидентных прокси" с оплатой за Гб - чистое на*балово )
Можно подумать юзеры платять погигабайтно )
 

Yuriy Zymlex

Moderator
Команда форума
Регистрация
24.10.2016
Сообщения
6 352
Благодарностей
3 279
Баллы
113
Как вариант, можно попробовать копировать кеш из одно папки в другую, но есть вероятность проблем, если что-то не так сделать.
 
  • Спасибо
Реакции: morpheus93

morpheus93

Client
Регистрация
25.01.2012
Сообщения
1 035
Благодарностей
237
Баллы
63
Alternatively, you can try copying the cache from one folder to another, but there is a possibility of problems if you do something wrong.
Спасибо за подсказку. Но насколько это рискованно с точки зрения анонимности? Я имею в виду, нет ли в кэше уникальных частей (как в случае с куки), по которым вас можно отследить?
 

Yuriy Zymlex

Moderator
Команда форума
Регистрация
24.10.2016
Сообщения
6 352
Благодарностей
3 279
Баллы
113
Спасибо за подсказку. Но насколько это рискованно с точки зрения анонимности? Я имею в виду, нет ли в кэше уникальных частей (как в случае с куки), по которым вас можно отследить?
Есть: https://en.wikipedia.org/wiki/HTTP_ETag
но не могу сказать где это хранится.
 
  • Спасибо
Реакции: morpheus93

Gfoblin

Client
Регистрация
30.05.2013
Сообщения
4 510
Благодарностей
990
Баллы
113
Во вспомнил может кому пригодится!
Раньше были быстрые серверные прокси с 50 IP и чуть медленные прокси которые часто отваливались, но там было 5к новых каждый день )
Заходим с быстрых (в вашем случае без учёта трафа) - кешируется, чистим куки, отключаем картинки иногда и в момент реги переключаюсь на "медленные, но уникальные" прокси )
 
  • Спасибо
Реакции: morpheus93

Yuriy Zymlex

Moderator
Команда форума
Регистрация
24.10.2016
Сообщения
6 352
Благодарностей
3 279
Баллы
113
насколько это рискованно с точки зрения анонимности? Я имею в виду, нет ли в кэше уникальных частей (как в случае с куки), по которым вас можно отследить?
Да, такой вариант не подходит, так как данные в кеше являются маркером. Уточнил у разработчиков:
любые метаданные: ETag, Last-Modified, как и сам контент в кэше - могут использоваться как маркеры.
Даже отсутствие кеша является маркером.
upd:
Если рассматривать кэш как ускорение загрузки/экономия траффика, то львиную долю трафика съедят статические ресурсы без маркеров, они как правило хостятся на стороннем cdn и они безопасно кэшируются
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)