Distributional Neurons: Making Uncertainty a Unit of Computation

摘要

神经网络通常传播点值隐藏激活。本文研究更细的计算粒度：把神经元本身构造成分布式计算单元。EVE 为每个单元引入输入条件后验、局部先验、重参数化采样、神经元级 KL 正则化以及内部诊断。实验先用单神经元显微镜隔离单元级计算，再测试其在深层 MLP 中的组合以及在 Transformer 前馈模块中的接入。结果表明，EVE 在保持相近点预测精度的同时改善了多项概率指标。

本页为本地化介绍。正式书目标题、Google Scholar 元数据和主要科学页面均保留在英文参考页面。