Modèles à base d’énergie

Les modèles à base d'énergies (EBMs en anglais Energy-based models) sont un cadre pour la définition des modèles d'apprentissage profond, qui permet de définir des modèles supervisés, non supervisés et autosupervisés. Il souligne les limites des réseaux à propagation avant pour certains types de calculs et problèmes. Les modèles à base d’énergie (EBMs) sont présentés comme offrant un meilleur cadre pour modéliser les modalités, notamment dans les domaines continus à haute dimension comme les images.

Cadre théorique

Introduction

Problème

L'approche des modèles à base d'énergie consiste à prédire si une paire de ${\displaystyle (x,y)}$ s'assemble ou non, plutôt que de classer ${\displaystyle x}$ en ${\displaystyle y}$.

Pour cela, on définit une fonction énergie ${\displaystyle F(x,y)}$qui décrit le niveau de dépendance entre les paires${\displaystyle (x,y)}$. L'inférence est donnée par l'équation ${\displaystyle {\tilde {y}}=argmin_{y}\{F(x,y)\}}$.

Solution

Pour trouver des ${\displaystyle y}$ compatibles, on utilise la descente de gradient ou un autre algorithme d'optimisation pour rechercher une fonction d'énergie lisse et différenciable.

Variables latentes

Les modèles à base d'énergie peuvent comporter une variable latente ${\displaystyle y}$ est utilisée pour capturer des informations cachées ou latentes dans les données d'entrée qui ne sont pas directement observables.

Notes et références

Notes

Références

Voir aussi

Article connexe

• Apprentissage profond
• Modèle graphique

Liens externes

• Cours de Yann Lecun sur les modèles à base d'énergie

• Portail de l’informatique
• Portail des probabilités et de la statistique
• Portail des données