Гиперпараметры: как перестать беспокоиться

Исследователь компании Антиплагиат проделал титанический, не побоимся этого слова, труд. Петр Остроухов решил развенчать миф о том, что машинное обучение — это легко и просто.

В результате получилась довольно интересная и познавательная статья на нашем корпоративном блоге Habr.com: «Гиперпараметры: как перестать беспокоиться и начать их оптимизировать».

В данной статье автор охарактеризовал процедуры GridSearch и RandomSearch, постарался привести интуитивное объяснение, как работают байесовские алгоритмы оптимизации гиперпараметров, а также протестировал несколько существующих фреймворков (hyperopt, scikit-optimize, optuna) на одной из задач NLP.

Петр указал все плюсы и минусы при разборе этих фреймворков и даже поделился кодом, выложив его на github. Пожалуйста, пользуйтесь! Мы рады помочь.

Из статьи вы узнаете:

• Как процедуры RandomSearch и GridSearch дают существенный выигрыш во времени по сравнению с классикой?
• Как работают алгоритмы оптимизации гиперпараметров?
• Какие критерии используются в байесовской оптимизации и почему именно вероятностные «ведут себя лучше»?
• И как так получилось, что почти все оптимизаторы приходят в одну и ту же точку, в которой accuracy на валидации является максимальным.

Итак, новая статья доступна на нашем корпоративном блоге на Habr.com. Приятного чтения!