:: Espace candidat
Adresse email :

Mot de passe :

> créer mon compte
> déposer mon CV
> créer une alerte mail
> mot de passe oublié ?
> Emploi Handicap
:: Description de l'offre - IFP Energies nouvelles - Sciences et Technologies du Numérique

 Derivative Free Optimization for Machine Learning Hyper-Parameter Determination

IFP Energies nouvelles est un organisme public de recherche, d’innovation industrielle et de formation intervenant dans les domaines de l’énergie, du transport et de l’environnement. Sa mission est d'apporter aux acteurs publics et à l'industrie des technologies performantes, économiques, propres et durables pour relever les trois grands défis sociétaux du 21e siècle : changement climatique et impacts environnementaux, diversification énergétique et gestion des ressources en eau. Son expertise est internationalement reconnue.

IFP Energies nouvelles poursuit 5 priorités stratégiques, indissociables et complémentaires dans l'accomplissement de sa mission d’intérêt général :

  • Produire à partir de sources renouvelables des carburants, des intermédiaires chimiques et de l'énergie
  • Produire de l’énergie en réduisant l’impact sur l’environnement
  • Développer des transports économes et à faible impact environnemental
  • Produire à partir de ressources fossiles des carburants et intermédiaires chimiques à faible impact environnemental
  • Proposer des technologies respectueuses de l'environnement et repousser les limites actuelles des réserves d'hydrocarbures

Son école d'ingénieurs, partie intégrante d'IFP Energies nouvelles, prépare les générations futures à relever ces défis.


Derivative Free Optimization for Machine Learning Hyper-Parameter Determination

IFPEN research projects focused on new energy technologies (offshore wind energy, CO2 storage, electric engines, bio-fuels) produce large volumes of data still often unexploited. The development of automatic learning algorithms (Machine Learning and Deep Learning) allows to use these data to build predictive statistical models that improve these technologies.

These methods of learning need a preliminary choice of parameters, called hyper-parameters (as opposed to simple parameters of the model training) which can be of very variable nature [1]: real (learning rate, weights), integer (number of layers of a neural network, maximal number of branches of a decision tree) or categorical (neural network architecture, kernel type of a SVM algorithm). The optimal selection of these hyper-parameters is a major difficulty for practical application of these algorithms.

The most common methods currently used to select these hyper-parameters are grid search and random search. These methods are relatively slow and do not exploit information on hyper-parameters already tested. The efficiency of more complex approaches based on derivative-free optimization methods such as Bayesian optimization based on Gaussian Process (EGO : Efficient Global Optimization [2]) Derivative-Free Optimization with Trust Region [3] has been illustrated in various publications. However, the application of these methods is generally limited to the optimization of continuous parameters.

The aim of the internship is to apply these derivative free optimization methods extended to categorical or integer variables [4,5,6] to learning algorithms in order to optimize hyper-parameters of any type.

The results obtained should be compared with results of conventional algorithms on benchmarks from the learning research community.

Finally, the student will have to evaluate this new approach on data from IFPEN projects in numerical simulation and image recognition.

References
[1] A. Gozzoli (2018) - FloydHub Blog - Practical guide to hyperparameters search for deep learning models.
[Online]. https://blog.floydhub.com/guide-to-hyperparameters-search-for-deep-learning-models/
[2] D. Golovin, K. Kochanski, Google brain P. Kaul (2017) Hyperparameter tuning in Cloud Machine Learning Engine
using Bayesian Optimization. [Online]. https://cloud.google.com/blog/products/gcp/hyperparameter-tuningcloud-
machine-learning-engine-using-bayesian-optimization
[3] H. Ghanbari, K. Scheinberg. (2017) Black-Box Optimization in Machine Learning with Trust Region Based
Derivative Free Algorithm. arXiv:1703.06925.
[4] PZG Qian, S. Zhou Q. Zhou, "A simple approach to emulation for computer models," Technometrics. , vol. 53(3),
pp. 266-273, 2011.
[5] D. Sinoquet, M. Munoz Zuniga, "Global Optimization for categorical-continuous variables based on Gaussian
process models with a randomized categorical space exploration step," submitted to INFOR, 2018.
[6] C. D'Ambrosio, L. Liberti, D. Sinoquet, A. Conn. (2016) Conférence MODE. [Online].
https://mode2016.sciencesconf.org/file/223761

 Informations

Type de contrat :  Stage
Début :  Entre mars 2019 et septembre 2019
Durée :  4 mois
Région : Ile de France
Discipline : Mathématiques
Rémunération : Oui
 Contact

Référence annonce : 2019_R115_02
Contact : Delphine Sinoquet
Adresse :
1&4, avenue de Bois-Preau
92852  Rueil-Malmaison cedex
 


      Retour à la liste
           
Postuler à cette annonce


 
:: Espace Publicité