Recherche · Présentation publique

T-JEPADynamique d’effondrement

Un projet de recherche sur la manière dont les systèmes auto-supervisés tabulaires perdent puis retrouvent le signal propre à chaque ligne.

Rôle
Recherche et implémentation indépendantes
Cadre
Apprentissage auto-supervisé tabulaire
Axe
Dynamique d’effondrement et de sortie
01 · La question

Que se passe-t-il quand la loss a l’air saine mais que la représentation ne l’est pas ?

Je suis parti d’une implémentation ouverte de T-JEPA, une Joint-Embedding Predictive Architecture pour données tabulaires. L’étude a d’abord testé une explication de l’effondrement par le register token, puis est descendue sous la loss agrégée pour examiner l’information portée d’une ligne à l’autre.

L’idée centrale était simple : rendre mesurable le mode d’échec suspecté avant de modifier le modèle, puis utiliser des comparaisons contrôlées pour décider quelle explication reste crédible.

02 · L’approche

Instrumenter le mécanisme, puis laisser les contrôles décider.

  1. 01 · Observer

    Séparer le signal masqué par la loss.

    J’ai construit des diagnostics sur tâche fixe pour examiner la dynamique d’entraînement, la géométrie des représentations et l’information captée par des sondes en aval.

  2. 02 · Intervenir

    Changer une seule partie de l’objectif.

    J’ai testé une modification ciblée de l’objectif, en vérifiant que le comportement de référence et l’évaluation restaient comparables.

  3. 03 · Corriger

    Réviser les explications quand les contrôles divergent.

    Des vérifications de normalisation, de coordonnées et de contrôle stochastique ont changé la direction du travail lorsqu’un résultat séduisant n’a pas survécu à la reconstruction.

03 · Résultats qualitatifs

Un compte rendu plus clair de ce que l’intervention a changé.

  1. 01 · Dynamique des représentations

    Le register token n’était pas nécessaire pour sortir de l’effondrement dans le cadre testé.

    La comparaison a détourné le projet de l’idée du token comme explication universelle, vers la mesure de la transition elle-même.

  2. 02 · Comportement en transfert

    Une transition plus précoce ne garantissait pas une meilleure qualité finale.

    La modification testée a avancé la transition observée dans tous les cadres de transfert enregistrés, tandis que la qualité en aval restait dépendante de la géométrie et de la configuration des jeux de données.

  3. 03 · Pratique scientifique

    La géométrie seule ne suffisait pas.

    Les contrôles négatifs et les protocoles corrigés ont compté autant que les courbes positives. L’interprétation finale garde séparés le moment de la transition, la géométrie et la qualité des représentations.

04 · Contribution

Un projet de logiciel de recherche et d’analyse.

J’ai dirigé les questions expérimentales, la conception des mécanismes, les contrôles, les comparaisons d’exécutions et l’interprétation. J’ai étendu l’implémentation ouverte avec des diagnostics et des expériences sur l’objectif, puis documenté les corrections qui ont borné les conclusions.

Les méthodes complètes, les figures, les enregistrements de benchmark et le rapport sont disponibles pour les relecteurs invités.

05 · Accès relecteurs

Le dossier de recherche complet est disponible pour une relecture sur invitation.

L’accès relecteurs comprend le rapport technique détaillé, les figures d’expériences, les manifestes de protocole et les enregistrements associés. Les pages de relecture sont en anglais.

06 · Points de départ

Une méthode ouverte, étendue et testée.