← JWAYU 杰维宇

研究档案

论文

十三个开放研究页面,涵盖变分与分布表征神经元、变分计算、Transformer 集成、内部活动、潜在状态读出和不确定性感知控制。

2026 · Research Square · 研究论文

Distributional Neurons: Making Uncertainty a Unit of Computation

神经网络通常传播点值隐藏激活。本文研究一种更细的计算粒度:让神经元本身成为以分布为状态的计算单元。EVE 为每个单元引入输入条件后验、局部先验、重参数化采样、神经元级 KL 正则化和内部诊断。实验首先隔离单个单元的计算行为,再研究其在深层 MLP 中的组合以及在 Transformer 前馈模块中的集成。结果表明,EVE 在保持相近点预测精度的同时改善了多项概率指标。

2026 年 7 月 14 日 · Research Square · 研究论文

The Neuron Is the Distribution

本文提出一种架构观点:神经元可以被视为一个分布,而不只是一个点值激活。文章将变分神经元描述为局部计算单元,其后验状态、不确定性和采样得到的潜在活动直接参与前向计算。它进一步区分了这种局部概率计算与仅存在于权重、集成模型、输出或全局潜变量中的不确定性,并说明 EVE 首先改变的是计算单元的粒度,而不是简单等同于贝叶斯神经网络。

2026 年 6 月 30 日 · Research Square · 研究论文

The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units

本文把神经元视为局部潜在状态,并将后验学习与后验读出分开研究。EVE 训练完成后,学习到的后验保持冻结,只改变从同一潜在状态生成预测的读出规则。该实验用于检验局部后验是否在均值之外仍包含可利用的预测信息。在受控的多模态预测任务中,结构化读出无需重新训练后验即可改善概率指标。

2026 年 5 月 4 日 · Research Square · 方法论文

Measuring and Controlling Internal Activity in Variational Neural Units

这篇方法论文提出一种内部概率活动可测量、可控制的局部变分神经元。每个单元包含标量潜变量、标准正态先验、摊销高斯后验、重参数化样本和局部 KL 正则项。方法跟踪局部 KL、后验均值平方、超出活动区间的单元比例以及可选的自回归持续性,并将这些内部诊断与预测误差联系起来。