Distributional Neurons: Making Uncertainty a Unit of Computation

Résumé

Les réseaux neuronaux propagent généralement des activations cachées ponctuelles. Cet article étudie une granularité plus fine : le neurone lui-même comme unité de calcul fondée sur une distribution. EVE associe à chaque unité un postérieur conditionné par l’entrée, un prior local, un échantillonnage reparamétré, une régularisation KL et des diagnostics internes. L’évaluation isole d’abord l’unité, puis étudie sa composition dans un MLP profond et son intégration au bloc feed-forward d’un Transformer. Les résultats améliorent plusieurs métriques probabilistes tout en maintenant une précision ponctuelle comparable.

Cette page propose une présentation en français. Le titre bibliographique officiel, l’abstract complet, le manuscrit et les métadonnées Google Scholar restent disponibles sur la page scientifique anglaise de référence.