Distributional Neurons: Making Uncertainty a Unit of Computation

Résumé

Les réseaux neuronaux propagent généralement des activations cachées ponctuelles. Cet article étudie une granularité plus fine : le neurone comme unité de calcul distributionnelle. EVE associe à chaque unité un postérieur conditionné par l’entrée, un prior local, un échantillonnage reparamétré, une régularisation KL et des diagnostics internes. L’évaluation isole d’abord l’unité, puis teste sa composition dans un MLP dense et son insertion dans le bloc feed-forward d’un Transformer. Les résultats améliorent les métriques probabilistes tout en conservant une précision ponctuelle comparable.

Cette page est une présentation localisée. Le titre bibliographique, les métadonnées Google Scholar et la page scientifique principale sont conservés sur la version anglaise de référence.