Conditionner
Produire les paramètres du postérieur à partir de la représentation courante.
L’intelligence variationnelle, construite à partir du neurone
Nous construisons une nouvelle génération de modèles : les LLM variationnels.
JWAYU 杰维宇 développe des modèles de langage dans lesquels l’incertitude n’est pas limitée à la sortie. Elle devient une composante du calcul interne grâce à EVE — Elemental Variational Expanse.
Notre thèse
Le réseau n’est pas le point de départ. Le neurone l’est.
Les modèles de langage actuels sont remarquablement performants, mais leur calcul interne reste largement déterministe. JWAYU part d’une autre hypothèse : lorsque l’ambiguïté est inhérente à l’intelligence, l’unité de calcul doit pouvoir la représenter.
EVE — Elemental Variational Expanse
Qu’est-ce qu’un neurone variationnel ?
C’est une unité probabiliste locale dotée d’un prior explicite, d’un postérieur amorti et d’une régularisation variationnelle au niveau de l’unité. Son activation n’est plus seulement une valeur : elle est produite à partir d’une distribution apprise.
Représenter
Représenter un ensemble continu d’états latents plausibles.
Échantillonner
Utiliser un échantillon reparamétré dans le passage avant.
Régulariser
Contraindre le postérieur par rapport au prior et rendre son fonctionnement interne mesurable.
Recherche en accès ouvert
Publications JWAYU.
Du neurone variationnel aux Transformers, puis au contrôle fondé sur l’incertitude interne.
Prépublication10 août 2026
Variational Neurons and Bayesian Neural Networks: Distinct Probabilistic Objects, Inference Loci, and Computational Granularity
L’article sépare quatre axes du calcul neuronal probabiliste, formalise un critère explicite de neurone variationnel au niveau de l’unité et l’illustre par des expériences EVE contrôlées, dont une comparaison fraîche sur 50 seeds à capacité exactement appariée.
Lire →Article de recherche2026
Distributional Neurons: Making Uncertainty a Unit of Computation
Les réseaux neuronaux propagent généralement des activations cachées ponctuelles. Cet article étudie une granularité plus fine : le neurone lui-même comme unité de calcul fondée sur une distribution. EVE associe à chaque unité un postérieur conditionné par l’entrée, un prior local, un échantillonnage reparamétré, une régularisation KL et des diagnostics internes. L’évaluation isole d’abord l’unité, puis étudie sa composition dans un MLP profond et son intégration au bloc feed-forward d’un Transformer. Les résultats améliorent plusieurs métriques probabilistes tout en maintenant une précision ponctuelle comparable.
Lire →Article de recherche14 juillet 2026
The Neuron Is the Distribution
Cet article développe la thèse architecturale selon laquelle le neurone peut être traité comme une distribution plutôt que comme une activation ponctuelle. Il distingue ce calcul probabiliste local d’une incertitude portée uniquement par les poids, les ensembles, les sorties ou les variables latentes globales. Il situe également EVE par rapport à l’inférence variationnelle, à la stochasticité et aux réseaux bayésiens : le changement proposé concerne d’abord la granularité de l’unité de calcul.
Lire →Article de recherche30 juin 2026
The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units
Cet article étudie le neurone comme état latent local et sépare l’apprentissage du postérieur de sa lecture. Après l’entraînement, le postérieur EVE est gelé et seule la règle de lecture varie. Ce protocole vérifie si le même état latent contient une information prédictive exploitable au-delà de sa moyenne. Sur une tâche contrôlée de prévision multimodale, des lectures structurées améliorent les métriques probabilistes sans réentraîner le postérieur.
Lire →Article méthodologique4 mai 2026
Measuring and Controlling Internal Activity in Variational Neural Units
Cet article méthodologique propose un neurone variationnel local dont l’activité probabiliste interne peut être mesurée et contrôlée. Chaque unité comporte une variable latente scalaire, un prior normal standard, un postérieur gaussien amorti, un échantillon reparamétré et un terme KL local. Le protocole suit notamment la divergence KL, le carré de la moyenne postérieure, la proportion d’unités hors de la plage d’activité et, en option, une persistance autorégressive, puis relie ces diagnostics à l’erreur de prédiction.
Lire →arXiv20 février 2026
Variational Distributional Neuron
Cette publication introduit un neurone variationnel distributionnel conçu comme une unité probabiliste locale. Chaque unité porte un prior, un postérieur amorti, un échantillon reparamétré et une régularisation ELBO locale.
Lire →arXiv14 mars 2026
Exploring the Dimensions of a Variational Neuron
Cette publication cartographie l’espace de conception d’EVE. Elle étudie l’effet de la dimension latente, du contrôle local de capacité et de la persistance temporelle sur le fonctionnement interne mesurable du neurone.
Lire →arXiv30 mars 2026
Variational Neurons in Transformers for Language Modeling
Cette publication intègre des unités EVE dans les blocs feed-forward d’un Transformer tout en conservant son architecture générale. Elle compare les variantes déterministe et variationnelle à l’aide de métriques prédictives et probabilistes.
Lire →arXiv14 avril 2026
Agentic Control in Variational Language Models
Cette publication étudie l’incertitude interne comme signal opérationnel. Elle l’utilise pour réguler l’apprentissage, sélectionner des points de contrôle et guider des interventions au moment de l’inférence.
Lire →Zenodo27 juillet 2026
Learning Distributions Inside a Language Model: Variational Neurons for Measurable Internal Uncertainty and Reliability Monitoring
EVE représente certaines activations cachées sous la forme de distributions postérieures conditionnées par l’entrée. Cette architecture rend l’incertitude interne observable et exploitable pour le suivi de la fiabilité et pour un calcul tenant compte de l’incertitude.
Lire →Zenodo29 juillet 2026
Measuring Internal Probabilistic Activity with Variational Distributional Neurons
EVE rend l’activité postérieure interne directement mesurable pendant le calcul d’un modèle de langage. L’étude compare la qualité prédictive, la calibration et le risque dans la queue de distribution à ceux de modèles déterministes, de MC Dropout et d’ensembles.
Lire →Zenodo28 juillet 2026
Measuring Local Posterior Activity in Variational Language Model Units
L’article propose un tableau de mesure de l’activité postérieure locale : divergence KL, échelle postérieure, énergie de la moyenne et proportion d’unités actives. Ces mesures internes sont mises en relation avec le comportement prédictif, la calibration et la robustesse.
Lire →Zenodo29 juillet 2026
Variational Distributional Neurons for Measurable Internal Uncertainty in Language Models
Cette étude contrôlée, menée avec cinq initialisations aléatoires appariées, évalue EVE comme mécanisme à petite échelle pour produire et mesurer une activité probabiliste interne. Elle examine conjointement la vraisemblance, la précision, la calibration, le risque extrême et les diagnostics postérieurs.
Lire →