Recherche · Présentation publique
T-JEPADynamique d’effondrement
Un projet de recherche sur la manière dont les systèmes auto-supervisés tabulaires perdent puis retrouvent le signal propre à chaque ligne.
- Rôle
- Recherche et implémentation indépendantes
- Cadre
- Apprentissage auto-supervisé tabulaire
- Axe
- Dynamique d’effondrement et de sortie
Que se passe-t-il quand la loss a l’air saine mais que la représentation ne l’est pas ?
Je suis parti d’une implémentation ouverte de T-JEPA, une Joint-Embedding Predictive Architecture pour données tabulaires. L’étude a d’abord testé une explication de l’effondrement par le register token, puis est descendue sous la loss agrégée pour examiner l’information portée d’une ligne à l’autre.
L’idée centrale était simple : rendre mesurable le mode d’échec suspecté avant de modifier le modèle, puis utiliser des comparaisons contrôlées pour décider quelle explication reste crédible.
Instrumenter le mécanisme, puis laisser les contrôles décider.
- 01 · Observer
Séparer le signal masqué par la loss.
J’ai construit des diagnostics sur tâche fixe pour examiner la dynamique d’entraînement, la géométrie des représentations et l’information captée par des sondes en aval.
- 02 · Intervenir
Changer une seule partie de l’objectif.
J’ai testé une modification ciblée de l’objectif, en vérifiant que le comportement de référence et l’évaluation restaient comparables.
- 03 · Corriger
Réviser les explications quand les contrôles divergent.
Des vérifications de normalisation, de coordonnées et de contrôle stochastique ont changé la direction du travail lorsqu’un résultat séduisant n’a pas survécu à la reconstruction.
Un compte rendu plus clair de ce que l’intervention a changé.
- 01 · Dynamique des représentations
Le register token n’était pas nécessaire pour sortir de l’effondrement dans le cadre testé.
La comparaison a détourné le projet de l’idée du token comme explication universelle, vers la mesure de la transition elle-même.
- 02 · Comportement en transfert
Une transition plus précoce ne garantissait pas une meilleure qualité finale.
La modification testée a avancé la transition observée dans tous les cadres de transfert enregistrés, tandis que la qualité en aval restait dépendante de la géométrie et de la configuration des jeux de données.
- 03 · Pratique scientifique
La géométrie seule ne suffisait pas.
Les contrôles négatifs et les protocoles corrigés ont compté autant que les courbes positives. L’interprétation finale garde séparés le moment de la transition, la géométrie et la qualité des représentations.
Un projet de logiciel de recherche et d’analyse.
J’ai dirigé les questions expérimentales, la conception des mécanismes, les contrôles, les comparaisons d’exécutions et l’interprétation. J’ai étendu l’implémentation ouverte avec des diagnostics et des expériences sur l’objectif, puis documenté les corrections qui ont borné les conclusions.
Les méthodes complètes, les figures, les enregistrements de benchmark et le rapport sont disponibles pour les relecteurs invités.
Le dossier de recherche complet est disponible pour une relecture sur invitation.
L’accès relecteurs comprend le rapport technique détaillé, les figures d’expériences, les manifestes de protocole et les enregistrements associés. Les pages de relecture sont en anglais.
Une méthode ouverte, étendue et testée.
- T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular DataMéthode et article d’origine par Hugo Thimonier et ses collaborateurs.
- Implémentation d’origine sur GitHubBase de code open source étendue et instrumentée pour cette étude.
