Update default params based on tuning search space #137
Conversation
technocreep
added
bug
| "threshold": 20000 | ||
| }, | ||
| "topological_extractor": { | ||
| "n_jobs": 2, |
There was a problem hiding this comment.
n_jobs точно нет, да это было бы странно оптимизировать, посмотри снова на search_space и класс
There was a problem hiding this comment.
там вообще всего два параметра
There was a problem hiding this comment.
n_jobs тут был изначально, убрать?
И вообще тут ситуация в том, что topological_extractor указан два раза в search space: один раз в industrial_search_space, а другой раз в parameters_per_operation. И получается что в данном случае учитываются параметры обоих. Как тут лучше сделать, оставить только два параметра для industrial_search_space?
There was a problem hiding this comment.
А что по поводу того, что в search_space он два раза учитывается?
Я так понимаю, лучше убрать его из parameters_per_operation и убрать те параметры, которых нету в атрибутах класса?
There was a problem hiding this comment.
И в целом для проверки topological_extractor не получилось запустить рекомендованный в классе пайплайн (eigen_basis + topological_extractor + rf) ни с какими параметрами.
There was a problem hiding this comment.
parameters_per_operation лучше не трогать
There was a problem hiding this comment.
пока просто убрать n_jobs
There was a problem hiding this comment.
в чём проблема с запуском? у меня получилось запустить
There was a problem hiding this comment.
Тюнер также работает, но на фите падает
| }, | ||
| "quantile_extractor": { | ||
| "window_mode": false, | ||
| "var_threshold": 0.01, |
There was a problem hiding this comment.
var_threshold захардкожен и не оптимизируется
There was a problem hiding this comment.
равно как и window_mode. Такой параметр мы использовали довольно давно, сейчас можно указывать длину окна 0, это видно в search_space
There was a problem hiding this comment.
убрал window_mode и var_threshold, длину окна поставил 0 (до этого стояло среднее области поиска)
There was a problem hiding this comment.
если посмотреть по коду, то var_threshold вообще не используется нигде, поэтому его можно убрать отовсюду, я полагаю. По крайней мере я не нашёл упоминаний, проверь ещё разок, я могу ошибаться
There was a problem hiding this comment.
длину окна поставил 0
если так, то из search_space надо это значение убрать – искать оптимум, начиная от 1
объясню, почему: дефолтные параметры используются для самого первого фита пайплайна и предикта. Оптимизатор хранит результаты предикта как бейзлайн. В ходе оптимизации выбираются другие комбинации параметров, благодаря чему получаются иные результаты, которые сравниваются с тем самым бейзлайном и, если они хуже, по итогу на руках у нас остаётся модель с дефолтными параметрами (да, такое бывает)
страйд при окне=0 влияния не оказывает, это и логично. Страйд - это шаг, с которым окно перемещается вдоль временного ряда. Если окно=0, то мы берём ряд целиком – некуда шагать
There was a problem hiding this comment.
еще важное уточнение для понимания: window_size тут – процент от длины окна
There was a problem hiding this comment.
Поставил в search_space поиск длины окна от 5 с шагом в 5 по аналогии с другими экстракторами
| "patch_tst_model": { | ||
| "epochs": 100, | ||
| "batch_size": 32, | ||
| "activation": "relu" | ||
| }, |
There was a problem hiding this comment.
тут на мой взгляд лучше было бы взять атрибуты из класса и апдейтнуть search_space+defaults:
self.learning_rate = params.get('learning_rate', 0.001)
self.use_amp = params.get('use_amp', False)
self.horizon = params.get('forecast_length', None)
self.patch_len = params.get('patch_len', None)
self.output_attention = params.get('output_attention', False)но, возможно, у @v1docq другое мнение. Надо посоветоваться
There was a problem hiding this comment.
Тут я пока что добавил в дефолт, но проверить пока не получается, тоже на фите падает при любых параметрах
| "omniscale_model": { | ||
| "epochs": 100, | ||
| "batch_size": 32, | ||
| "activation": "softmax" |
There was a problem hiding this comment.
тут "softmax", а в searc_space 'Softmax'. Надо бы проверить, не влияет ли это на функциональность
There was a problem hiding this comment.
Проверил эти варианты, разницы не заметил
| "inception_model": { | ||
| "epochs": 100, | ||
| "batch_size": 32, | ||
| "activation": "softmax" |
There was a problem hiding this comment.
тут вроде не хватает num_classes
|
Thanks for update, @PvtKaefsky! Comment last updated at 2024-05-17 11:36:21 UTC |
Checked all parameters with those taken into account in the selection of parameters during tuning (tuning/search_space.py).
For new continuous values took average values from those specified in the tuning search space selection.
For the rest I checked the documentation somewhere, somewhere I set them by analogy with similar classes.