DISSERTAÇÃO DE MESTRADO Nº 1031 MÉTODOS DE OTIMIZAÇÃO ... - UFMG

DISSERTA??O DE MESTRADO N? 1031 M?TODOS DE OTIMIZA??O HIPERPARAM?TRICA: UM ESTUDO COMPARATIVO UTILIZANDO ?RVORES DE DECIS?O E FLORESTAS

ALEAT?RIAS NA CLASSIFICA??O BIN?RIA Wagner Jos? de Alvarenga J?nior DATA DA DEFESA: 06/02/2018

Powered by TCPDF ()

Universidade Federal de Minas Gerais Escola de Engenharia

Programa de P?s-Gradua??o em Engenharia El?trica

M?TODOS DE OTIMIZA??O HIPERPARAM?TRICA: UM ESTUDO COMPARATIVO UTILIZANDO ?RVORES DE DECIS?O

E FLORESTAS ALEAT?RIAS NA CLASSIFICA??O BIN?RIA

Wagner Jos? de Alvarenga J?nior Disserta??o de Mestrado submetida ? Banca Examinadora designada pelo Colegiado do Programa de P?s-Gradua??o em Engenharia El?trica da Escola de Engenharia da Universidade Federal de Minas Gerais, como requisito para obten??o do T?tulo de Mestre em Engenharia El?trica.

Orientador: Prof. Andr? Paim Lemos

Belo Horizonte - MG Fevereiro de 2018

Powered by TCPDF ()

Este trabalho ? dedicado ? minha m?e.

"O Dedo de Deus a tocou e ela adormeceu".

Agradecimentos

Agrade?o a Deus pela minha exist?ncia, por tudo que existe ao meu redor e por minhas metas estarem em seus Planos.

Agrade?o ao professor Paim pela sua orienta??o e por ter, indiretamente, motivado-me no aprendizado de uma nova linguagem de programa??o.

Tomarei o que disse Guimar?es Rosa ("? junto dos b?o que a gente fica mi?") para expressar minha gratid?o ao laborat?rio D!FCOM e ao seus integrantes. Meus sinceros agradecimentos os colegas: Antoniel, F?lvia, Guilherme, Heitor, Luciana, Luiz, Matheus, Pedro C., Pedro Q., Ramon, Rodrigo, Rosileide, Sajad e Tiago, que vivenciaram comigo o cotidiano, compartilhando suas experi?ncias e conhecimentos. Ao colega Klenilmar, agrade?o por tudo isto e tamb?m pelo aux?lio com as configura??es de m?quinas virtuais. I would like to thank Thomas for his friendship and for the great time spent together. E aos professores: Reinaldo, Leo Torres e Fernando, por suas companhias e cuidados.

Agrade?o aos professores Braga, Campelo, Cristiano, Paim, Renato (PPGCC-UFMG) e Rodney pelos fundamentos ensinados durante as disciplinas que cursei.

Agrade?o os cuidados de minha m?e, que foram dados em um momento em que era ela quem mais precisava de aten??o. Ao meu pai agrade?o por sua dedica??o, n?o deixando faltar nenhum zelo. ?s minhas irm?s, agrade?o pelo amor e carinho. Agrade?o ? minha av?, pelo incentivo ? firmeza. Agrade?o tamb?m a minha segunda fam?lia: Ant?nio, Teresa, Rafael, Luciano, Bruna e Leonardo.

Sem a perseveran?a e a lealdade da L?via, este trabalho n?o teria sido poss?vel. Agrade?o por todo o seu amor e sua paci?ncia. Sua exist?ncia ? motivo para meu desenvolvimento intelectual.

Agrade?o ? Ione por seu conhecimento e considera??o, que agem como um catalisador para a minha evolu??o pessoal.

Ao Constantino, agrade?o por incentivar o meu desejo de retornar ? universidade. Agrade?o a dona Vera, a Jaqueline e a Maria Ant?nia, pelos seus cuidados concedidos sempre com alegria. Ao PPGEE e seu funcion?rios agrade?o pelo suporte acad?mico. Ao Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico (CNPq) e a Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior (CAPES), agrade?o pelo suporte financeiro. E por fim, agrade?o aos membros da banca examinadora deste trabalho pela avalia??o do presente documento.

Resumo

O Aprendizado de M?quina se tornou uma ferramenta fundamental para algumas ?reas do conhecimento. Muito de sua robustez reside na exist?ncia de diferentes n?veis de complexidade para um modelo, que podem vir a serem escolhidos, assim como as poss?veis configura??es do algoritmo de treinamento. Estes ajustes impactam diretamente no erro de generaliza??o do modelo. Hiperpar?metros s?o as vari?veis que controlam estas fun??es, e que precisam de uma defini??o de valor antes mesmo que o treinamento do modelo seja realizado. Por isto, a estima??o do valor ?timo para o(s) hiperpar?metro(s) ? fundamental para a obten??o de um modelo com melhor desempenho de predi??o.

O presente trabalho possui o objetivo de comparar o desempenho dos m?todos de otimiza??o hiperparam?trica: Busca em Grade, Busca Aleat?ria e otimiza??o Bayesiana (com o uso do Processo Gaussiano), na sintonia de hiperpar?metros dos modelos de aprendizado: ?rvore de Decis?o e Floreta Aleat?ria. Nestes modelos, s?o testados hiperpar?metros que controlam o crescimento de uma ?rvore, e que define o grau de descorrela??o entre as ?rvores de uma floresta aleat?ria. Estes dois algoritmos de aprendizado s?o empregados em problemas de Classifica??o bin?ria, utilizando diferentes conjuntos de dados.

Os resultados obtidos mostram que para um mesmo n?mero de treinamentos, a t?cnica de otimiza??o Bayesiana proporciona melhores resultados que os outros dois m?todos testados.

Palavras-chave: Otimiza??o Hiperparam?trica, Busca em Grade, Busca Aleat?ria, otimiza??o Bayesiana, ?rvore de Decis?o, Floresta Aleat?ria.

Abstract

Machine Learning has become a fundamental tool for some areas of knowledge. Much of its strength lies in the existing of differents levels of complexity for a model and existence of adjustments for its training algorithm. These settings allow the achievement of models with lower generatization error. Hyperparameter is a type of variable that controls these functions and needs to be set even before the training procedure is carried out. Therefore the estimation of their optimum values is crutial to obtain a fine model.

This work aims to compare the performance of the following hyperparametric optimization methods: Grid Search, Random Search and Bayesian optimization (using Gaussian Process). These three techniques are applied on tuning of hyperparameters from two types of learing models: Decision Tree and Random Florest. For such comparisons, hyperparaments related to tree depth control and decorrelation level between predictors of a random forest were chosen. These two learning algorithms are applied on binary classification problems, using different datasets.

The results obtained show that for a same number of model trainings, the Bayesian optimization technique provides better results comparing to the other methods.

Keywords: Hyperparameter optimization, Grid Search, Random Search, Bayesian optimization, Decision Tree, Random Forest.

Sum?rio

Lista de Tabelas

iv

Lista de Figuras

vi

S?mbolos

vii

Abreviaturas

x

1 Introdu??o

1

1.1 Motiva??o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Defini??o do Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.4 Estrutura do Texto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Modelos de Aprendizado Supervisionado

5

2.1 Introdu??o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2 Risco Esperado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.3 Risco Emp?rico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.4 Dilema entre o Vi?s e a Vari?ncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.5 Avalia??o e Sele??o de Modelos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.5.1 M?tricas de Avalia??o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.5.2 Valida??o Cruzada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.6 ?rvores de Decis?o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.6.1 Introdu??o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.6.2 Defini??o de uma ?rvore de Decis?o para Classifica??o . . . . . . . . . . . 14

2.6.3 Estrutura de uma ?rvore de Decis?o . . . . . . . . . . . . . . . . . . . . . . 15

2.6.4 M?tricas de Impureza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

i

 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download