从神经元出发,构建变分智能

我们正在构建下一代模型:变分分布大语言模型。

JWAYU 研发一种新的语言模型:不确定性不再只在输出端被估计,而是通过 EVE——Elemental Variational Expanse——直接进入模型的内部计算过程。

局部分布进入隐藏层计算
可测量的不确定性KL、方差与互信息
兼容 Transformer面向实际语言建模
JWAYU 九尾神经网络狐标志
EVE 神经元 内部不确定性 可能的未来

我们的核心命题

研究的起点不是网络,而是神经元。

现代语言模型拥有惊人的能力,但其内部计算单元在很大程度上仍然是确定性的。JWAYU 从一个不同的前提出发:既然歧义与不确定性是智能的内在组成部分,计算单元本身就应该能够表示它们。

传统计算基元

一个输入,一个激活值。

传统神经元把输入压缩成一个标量激活。它精确、稳定、高效,但会立即把局部的多种可能性收缩为单一点值。

h = φ(wᵀx + b)
JWAYU 计算基元

一个输入,一个结构化的可能性空间。

EVE 单元根据输入构造后验分布,通过重参数化采样潜在状态,并让该状态直接参与前向计算。

qφ(z|x) = 𝒩(μ(x), diag(σ²(x)))

EVE — Elemental Variational Expanse

什么是变分分布神经元?

它是一种局部概率计算单元,显式包含先验、摊销后验以及单元级的变分正则化。激活不再只是一个数值,而是由学习到的分布产生。

1

条件化

单元接收当前表示,并生成后验分布的参数。

2

表示

局部高斯后验承载一组连续、合理的潜在状态。

3

采样

重参数化产生可微的潜在样本,并将其用于前向传播。

4

约束

局部 KL 项相对于先验调节后验,使神经元的运行状态可测量、可控制。

确定性神经元

点值计算

传播一个激活值;单元内部并不显式表示不确定性。

Dropout / 随机掩码

随机化计算

通过掩码或采样路径引入随机性,但不会让每个单元都成为一个显式的、由输入条件化的潜在后验。

语言模型不应在真正利用不确定性之前,就被迫将其压缩为单一答案。

变分分布语言模型把 EVE 单元引入模型的隐藏层计算,包括 Transformer 的前馈模块。整体架构仍然清晰可辨,但内部的计算基元发生了改变。

不确定性不再只是最终输出上的置信度分数。模型可以在不同层之间传递局部潜在结构,并利用后验方差、KL 散度和互信息等内部信号进行评估、校准与控制。

从神经元到模型

一个分层推进的研究计划。

JWAYU 先定义新的计算基元,再研究其运行状态,将其集成进 Transformer,并进一步把内部不确定性转化为可执行的控制信号。

01 · 基元

神经元就是分布

定义局部变分计算,并让神经元内部的概率状态能够被观察与测量。

02 · 组合

用 EVE 构建网络

研究稳定性、容量、潜在维度、时间持续性以及坍缩控制。

03 · 语言

变分 Transformer

把 EVE 集成到前馈计算中,同时保留实用、熟悉的 Transformer 主干。

面向投资者与战略合作伙伴

为不确定性感知人工智能打造新的计算基元。

JWAYU 正围绕变分分布神经元与变分分布语言模型,建立知识产权、实验依据与工程实现能力。

为什么是 JWAYU

改变计算单元,打开新的模型空间。

1

清晰、独立的技术命题

把概率结构从全局机制或输出端,推进到隐藏层的基本计算单元内部。

2

可测量的内部状态

提供局部信号,为校准、鲁棒性分析、路由与模型控制建立新的接口。

3

兼容现有架构的发展路径

在熟悉的神经网络与 Transformer 主干中发展新基元,而不是推翻整个技术生态。

4

持续公开的研究轨迹

一系列预印本已依次建立概念、设计空间、语言模型集成与智能体应用。

研究 · 工程 · 合作

与我们共同构建下一代语言模型。

我们欢迎与研究人员、前沿模型团队、工程师、博士合作伙伴,以及关注不确定性感知多模态模型与语言模型的机构展开交流。