Уменьшение размера машины ZennoDroid для хранения.

[Sherminator]

Вступление:

Всем доброго времени суток, начну с не большого вступления.
Встал вопрос хранения большого количества машин т.к никакие сохранение куков и делание бэкапов приложений не могло сохранить авторизацию в гугл плэй аккаунте. Недолго думаю полез в memu где хранятся машины и начал там пробовать всякое.



Весит содержимое одной только что созданной машины 2.15 ГБ, машина по большому счету состоит из 2х файлов vmdk, disk 1 и disk 2. После не больших тестов выяснилось что файл disk1 можно вообще после использования машины удалить, а при следующем запуске машины memu сам его подтянет, это как я понял сама виртуалка. А вот в файле disk 2 храниться как раз вся нужная нам мякоть (авторизации, куки и прочее), только его нам и нужно оставить, а точнее заархивировать, что бы он меньше места занимал пока машина выключена.

Принцип работы шаблона:

Архивация
Всё довольно просто, по указанному id машины шаблон находит нужную папку, удаляет файл disk1, запаковывает файл disk2 в архив (с созданием и проверкой контрольной суммы) удаляет оригинал файла и вместо файла disk2 создает файл пустышку, пустышка нужна для memu, если он не найдет файл disk2 то удалит всю папку с машиной. После этих манипуляций папка с машиной весит 67мб вместо 2.15гб


Распаковка
Заходит в папку по id машины, распаковывает disk2 и удаляет архив. Файл disk1 сам появится во время запуска машины.

Настройки шаблона:

Сам шаблон состоит из 3х c# сниппетов, для запаковки, распаковки, и получения id текущей машины

В входных настройках указываем папку где хранятся машины.



В переменную MachineId указываем айдишник машины с которой планируем производить действия.



Общий код:

В общем коде написаны 5 методов для распаковки, запаковки, проверки контрольной суммы и генерации контрольной суммы
и подключены 2 пространства имен:

using System.IO.Compression;
using System.Security.Cryptography;

Ссылки из GAC:

Сюда добавлена стандартная либа.




Минимальная версия ZennoDroid 2.3.5

 

[Konrod_m]

Огнище... просто супер.. спасибо!

 

[radv]

Полезная вещь. Мему прожорливый насчет образов, по мере использования, они растут.

 

[Sherminator]

Полезная вещь. Мему прожорливый насчет образов, по мере использования, они растут.

Это да, ставил эксперемент, устанавливал на машину 40 приложений размером от 10 до 30 метров, в итоге машина весила 9 гигов, ужать до 3х получилось

 

[che100]

Призёр в номинации выбор разработчиков - железно.

 

[neonb]

После установки в эмулятор телеграма и титаниума (в общем 80мб) архив весит уже целых 210-230 мб

 

[Sherminator]

После установки в эмулятор телеграма и титаниума (в общем 80мб) архив весит уже целых 210-230 мб

Если создать новый эмулятор и ничего туда не устанавливать, а просто подержать включенным и понаблюдать за трафиком через proxifire то увидим что андроид постоянно в фоне что то скачивает (обновляет свои сервисы), в общей сложности где то 180-190 метров

 

[Taurus Silver]

плюсую.
неплохо было бы ещё данных о производительности накидать, какие вычислительные мощности при этом задействуются?

 

[finoz0]

Уже месяц хочу протестить, но всё руки не доходят, но может кто подскажет, нагрузка при таком запуске эмулятора снижается хоть немного или в целом можно прировнять к обычному созданию нового эмулятора. А то сейчас у меня как раз узкое место в работе - создание эмуляторов, шаблон короткий и работает во многопотоке и если ставить задержку между запуском эмулей меньше 30 сек, то мему начивает дико брыкаться, а эмуляторы не создаются просто

 

[Sherminator]

Уже месяц хочу протестить, но всё руки не доходят, но может кто подскажет, нагрузка при таком запуске эмулятора снижается хоть немного или в целом можно прировнять к обычному созданию нового эмулятора. А то сейчас у меня как раз узкое место в работе - создание эмуляторов, шаблон короткий и работает во многопотоке и если ставить задержку между запуском эмулей меньше 30 сек, то мему начивает дико брыкаться, а эмуляторы не создаются просто

В этом шаблоне речь не про нагрузку а про экономию места, да, у мему есть такая фигня что он одновременно плохо запускает эмуляторы, у меня для этого либа написана, что бы одновременно только 2 шаблона начинали запуск, так же у меня сделана либа что бы одновременно только один шаблон мог запускать создание эмулятора. Вот эти либы.
Добавляете их в ссылки из GAC в общем коде прописываете юзинги

using SinhronizationStartingMachine;
using SinhronizationCreateMachine;

Для создания машины делаете такой c# сниппет

var createMachine = new SinhronizationCreateMachine.Program();
createMachine.Execute(instance,project);
createMachine.CreateMachine("ИМЯ ПЕРЕМЕННОЙ ДЛЯ ID МАШИНЫ");

Для запуска машины такой код, запуск осуществляется с применением настроек профиля

project.SendInfoToLog("Запускаем машину " + project.Profile.NickName,true);
try
{
    new SinhronizationStartingMachine.Program().Execute(instance,project);
}
catch(Exception ex)
{
    project.SendErrorToLog(ex.Message);
    throw new Exception();
}

project.SendInfoToLog("Запустили машину " + project.Profile.NickName,true);

В итоге можете убрать свою паузу в 30 сек между запусками машин

 

[finoz0]

В этом шаблоне речь не про нагрузку а про экономию места, да, у мему есть такая фигня что он одновременно плохо запускает эмуляторы, у меня для этого либа написана, что бы одновременно только 2 шаблона начинали запуск, так же у меня сделана либа что бы одновременно только один шаблон мог запускать создание эмулятора. Вот эти либы.
Добавляете их в ссылки из GAC в общем коде прописываете юзинги

using SinhronizationStartingMachine;
using SinhronizationCreateMachine;

Для создания машины делаете такой c# сниппет

var createMachine = new SinhronizationCreateMachine.Program();
createMachine.Execute(instance,project);
createMachine.CreateMachine("ИМЯ ПЕРЕМЕННОЙ ДЛЯ ID МАШИНЫ");

Для запуска машины такой код, запуск осуществляется с применением настроек профиля

project.SendInfoToLog("Запускаем машину " + project.Profile.NickName,true);
try
{
    new SinhronizationStartingMachine.Program().Execute(instance,project);
}
catch(Exception ex)
{
    project.SendErrorToLog(ex.Message);
    throw new Exception();
}

project.SendInfoToLog("Запустили машину " + project.Profile.NickName,true);

В итоге можете убрать свою паузу в 30 сек между запусками машин

Очень круто, спасибо. Обязательно протестирую ближайшее время, возможно это как раз моё решение

 

[fayruzi4]

Плюсую, интересный подход, хорошо, что вообще в этом направлении у кого-то идёт поиск решения проблемы с весом образов.
А ты не пробовал выяснить, как вообще этот мусор вычистить с помощью самого Андроид? Я пробовал удалять обновления на уровне отдельных приложений и устанавливать сразу последнюю версию - это помогает, так как видимо каждое скачанное обновление приложения хранится в системе. Но всё равно остаётся ещё много того, что видимо относится к системным обновления, до которых не получается дотянуться.
И ещё, ты не пробовал новый кубик по переносу аккаунтов с машины на машину?

Архивация диска вариант интересный, но для себя заметил сразу несколько серьезных минусов, например у меня образы после 1-2 месяцев работы вырастают до 15гб. Сжатие/Распаковка занимают по 3 минуты каждая операция. Соответственно, каждый запуск - это +6 минут к работе задания. Но это ещё не всё. Нагрузка на ЦП даже при 2-3 потоках поднимается до 100% во время сжатия и распаковки. Это мешает соседним потокам работать.

 

[Sherminator]

Плюсую, интересный подход, хорошо, что вообще в этом направлении у кого-то идёт поиск решения проблемы с весом образов.
А ты не пробовал выяснить, как вообще этот мусор вычистить с помощью самого Андроид? Я пробовал удалять обновления на уровне отдельных приложений и устанавливать сразу последнюю версию - это помогает, так как видимо каждое скачанное обновление приложения хранится в системе. Но всё равно остаётся ещё много того, что видимо относится к системным обновления, до которых не получается дотянуться.
И ещё, ты не пробовал новый кубик по переносу аккаунтов с машины на машину?

Архивация диска вариант интересный, но для себя заметил сразу несколько серьезных минусов, например у меня образы после 1-2 месяцев работы вырастают до 15гб. Сжатие/Распаковка занимают по 3 минуты каждая операция. Соответственно, каждый запуск - это +6 минут к работе задания. Но это ещё не всё. Нагрузка на ЦП даже при 2-3 потоках поднимается до 100% во время сжатия и распаковки. Это мешает соседним потокам работать.

Перенос не пробовал (мне надо что бы и прилы сохранялись), мусор чистить тоже не пробовал, хотя вопрос с количеством трафа который машина пожирает в фоне стоит очень остро, по поводу архивации, да, такие жирные образы долго будет паковать, я больше чем 7 гигов им не позволяю толстеть (удаляю и новый делаю) для того чтобы архивация побыстрее была сделал семафор, что бы одновременно только 2 потока могли архивацию производить, так чутка быстрее выходит

 

[mta]

Вступление:

Всем доброго времени суток, начну с не большого вступления.
Встал вопрос хранения большого количества машин т.к никакие сохранение куков и делание бэкапов приложений не могло сохранить авторизацию в гугл плэй аккаунте. Недолго думаю полез в memu где хранятся машины и начал там пробовать всякое.

Посмотреть вложение 111016

Весит содержимое одной только что созданной машины 2.15 ГБ, машина по большому счету состоит из 2х файлов vmdk, disk 1 и disk 2. После не больших тестов выяснилось что файл disk1 можно вообще после использования машины удалить, а при следующем запуске машины memu сам его подтянет, это как я понял сама виртуалка. А вот в файле disk 2 храниться как раз вся нужная нам мякоть (авторизации, куки и прочее), только его нам и нужно оставить, а точнее заархивировать, что бы он меньше места занимал пока машина выключена.

Принцип работы шаблона:

Архивация
Всё довольно просто, по указанному id машины шаблон находит нужную папку, удаляет файл disk1, запаковывает файл disk2 в архив (с созданием и проверкой контрольной суммы) удаляет оригинал файла и вместо файла disk2 создает файл пустышку, пустышка нужна для memu, если он не найдет файл disk2 то удалит всю папку с машиной. После этих манипуляций папка с машиной весит 67мб вместо 2.15гб
Посмотреть вложение 111018

Распаковка
Заходит в папку по id машины, распаковывает disk2 и удаляет архив. Файл disk1 сам появится во время запуска машины.

Настройки шаблона:

Сам шаблон состоит из 3х c# сниппетов, для запаковки, распаковки, и получения id текущей машины

В входных настройках указываем папку где хранятся машины.

Посмотреть вложение 111020

В переменную MachineId указываем айдишник машины с которой планируем производить действия.

Посмотреть вложение 111021

Общий код:

В общем коде написаны 5 методов для распаковки, запаковки, проверки контрольной суммы и генерации контрольной суммы
и подключены 2 пространства имен:

using System.IO.Compression;
using System.Security.Cryptography;

Ссылки из GAC:

Сюда добавлена стандартная либа.

Посмотреть вложение 111023


Минимальная версия ZennoDroid 2.3.5

поздравления