TD 3 : Arbres de décisions

1. Que prédit l’arbre de décision dans les cas suivants ?
   1. Pression 990, température 12, saison été.
   2. Pression 1019, température 13, saison été.
   3. Pression 1021, température 8, saison hiver.
2. On suppose qu’on dispose des relevés de températures et pression quotidiens (toujours au même lieu et à la même heure) des trois dernières années et on sait pour chacun de ces jours s’il a plu dans la journée. Pensez-vous qu’un arbre de décision construit sur ces données aura une bonne précision ? Si oui, expliquez pourquoi. Si non, expliquez comment on pourrait obtenir une meilleure précision.

On suppose qu’on cherche à construire un arbre de décisions pour une problème de classification binaire (à deux classes \(-1\) et \(1\)). Le jeu de données qu’on souhaite utiliser pour l’entraînement contient 90% d’exemples de classe \(1\). Expliquez pourquoi cela est un problème. Comment pourrait-on palier ce problème ?

Expliquez pourquoi il n’est pas toujours possible d’arrêter la construction d’un arbre de décision lorsqu’il n’y a plus qu’une seule classe représentée. Donnez un exemple concret où cette condition d’arrêt mène à une boucle infinie.

On considère le jeu de données \(D\) suivant (trié sur “a”, “b” et “classe”).

On rappelle que \(gini(D) = 1-\sum_{c} (|D_c|/|D|)^2\) où \(D_c\) est le sous-ensemble de \(D\) dont la classe est \(c\).

1. Calculez la fonction de Gini du jeu de données ci-contre.
2. Calculez le gain du test \(a<5\).
3. On veut trouver le test de la forme \(a<v\) ou \(b<v\) qui maximise le gain.
   1. On note \(v_1,\dots,v_k\) les différentes valeurs que peuvent prendre \(a\). Montrer que pour tout \(v_i < w < v_j\), les tests de la forme \(a<w\) auront tous le même gain.
   2. En déduire la liste des tests candidats à tester pour trouver le meilleur.