-
기존 하이퍼파라미터 최적화 기법들의 단점을 보완하는 효율적인 하이퍼파라미터 최적화 기법.
-
ESHA는 Hyperband의 병렬적인 계산 및 자원을 효율적으로 분배한다는 특성과 Bayesian Optimization의 기존 탐색을 통해 얻은 정보를 활용한다는 특성을 결합한 알고리즘임.
-
이미지 분류 모델을 이용한 실험 결과, ESHA는 총 가용 자원이 낮은 환경에서 기존의 하이퍼파라미터 최적화 기법들에 비해 높은 성능을 보임.
- Python 3.6
- Tensorflow == 1.12.0
- Keras >= 2.2.4
- Scikit-Optimize (for Bayesian Optimization)
- Hyperopt (for TPE, ESHA)
- HpBandSter (for BOHB)
- To be continued
- Bayesian Optimization
- Hyperband
- TPE
- BOHB
- ESHA (Evolutionary Successive Halving Algorithm)