Distributional Neurons: Making Uncertainty a Unit of Computation

摘要

神经网络通常传播点值隐藏激活。本文研究一种更细的计算粒度：让神经元本身成为以分布为状态的计算单元。EVE 为每个单元引入输入条件后验、局部先验、重参数化采样、神经元级 KL 正则化和内部诊断。实验首先隔离单个单元的计算行为，再研究其在深层 MLP 中的组合以及在 Transformer 前馈模块中的集成。结果表明，EVE 在保持相近点预测精度的同时改善了多项概率指标。

本页提供中文介绍。正式书目标题、完整摘要、论文原文和 Google Scholar 元数据均保留在英文科研主页面。