Дзен обучение

[7make]

Есть ряд вопросов по параметрам и графикам и какие метрики все это отражает.
Для тех кто смотрит не только график роста % распознавания, хотя и он многое отражает)
Хотелось бы соотнести настройки монстра с терминологией NN.

1. Мощность(Сложность) - так понимаю это коэффициент вектора входа к размеру скрытого слоя?
Если на входе у нас вектор 50*50=2500 при k =1 , получим скрытый слой в 2500 нейронов?

2. Скорость обучения - это Learning Rate (эпсилон)?

3. Стартовый параметр -моментум ?

Графики.
Пример:

График 1 (верхний)
4. Какие метрики отражают оси?

5. На первом графике красная и желтая оси легли друг на друга и не меняют своих значений более 20-30 циклов.
Это значит что сеть полностью выполнила аппроксимацию функции?

6. На втором графике желтая ось - производная от функции ошибки?

Смотря на это кусок графика, можно сделать вывод что сеть переобучена?
Нужно дергать рычаги мощности и скорости?
Что есть стартовый параметр ? (в терминологии NN)

Хотелось бы разъяснений по архитектуре сети, на сколько это возможно в рамках продукта=)
Дабы понимать что за сущность мы обучаем, действительно ли больше нельзя выжать дергая доступные рычаги.
Действительно получать "компромиссное ядро" и минимальное время на обучение.


Не планируется открыть больше рычагов и графиков метрик, скажем задавать свою функцию активации?

 

[nuaru]

1. Мощность(Сложность) - так понимаю это коэффициент вектора входа к размеру скрытого слоя?
Если на входе у нас вектор 50*50=2500 при k =1 , получим скрытый слой в 2500 нейронов?......

Нет все совсем не так, но, в любом случае, мы не рассказываем как это сделано внутри, только то, что нужно пользователям для работы.

График 1 (верхний)
4. Какие метрики отражают оси?

Количество правильно распознанных символов из тестовой выборки, неправильно распознанных и, вообще, не распознанных (желтый)
Ну и по другой оси номер цикла обчуения

5. На первом графике красная и желтая оси легли друг на друга и не меняют своих значений более 20-30 циклов.
Это значит что сеть полностью выполнила аппроксимацию функции?

Это значит, что тестовая выборка слишком мала, чтобы заметить разницу между циклами обучения.
Но это не страшно.
Обучение можно точно выключать, если на третьем графике не видно никаких подвижек, т.е. он крутится примерно у одного и того же процента.
Хотя бывают прорывы и после 100 циклов.

6. На втором графике желтая ось - производная от функции ошибки?

Нет, никаких производных там нет. Это количество распознаваний, о которых нельзя сказать точно, что это ошибка. Главное что они есть, т.е. ядро что-то на каптче видит. Если не видит, значит еще совсем не обучилось или обучилось плохо.
По сути это не очень важный график, тут главное, чтобы красный был как можно меньше чем желтый. И желтый был не нулевой.

Смотря на это кусок графика, можно сделать вывод что сеть переобучена?
Нужно дергать рычаги мощности и скорости?
Что есть стартовый параметр ? (в терминологии NN)

Да, когда собранных символов мало, ядро переучивается и график распознавания дальше только падает.
Это нормально когда символы с малым количеством искажений и сильно похожи друг на друга.
Тогда просто берешь то, что получилось вначале, дальше можно не учить.

Хотелось бы разъяснений по архитектуре сети, на сколько это возможно в рамках продукта=)
Дабы понимать что за сущность мы обучаем, действительно ли больше нельзя выжать дергая доступные рычаги.
Действительно получать "компромиссное ядро" и минимальное время на обучение.

Архитектура специально вынесена в один параметр:
сложно<->просто
чтобы не парить мозг людям.
Ставь скорость всегда на самую маленькую, а сложность близкую к максимальной - получишь примерно верхний предел % распознавания (если символов собрано достаточно)
Дальше можешь уменьшать мощность - скорость распознавания начнет увеличиваться, а % падать. И так пока сочетание скорости и процентов тебя не устроят.
Не перебарщивай с фильтрами, они часто жрут процессор больше чем ядро распознавания.

Не планируется открыть больше рычагов и графиков метрик, скажем задавать свою функцию активации?

Все подобрано оптимально, нет смыла там ничего менять, будет только хуже.