Condizionare
Produrre i parametri del posteriore a partire dalla rappresentazione corrente.
Intelligenza variazionale, costruita a partire dal neurone
Stiamo costruendo una nuova generazione di modelli: gli LLM variazionali.
JWAYU 杰维宇 sviluppa modelli linguistici in cui l’incertezza non è confinata all’output. Diventa parte del calcolo interno grazie a EVE — Elemental Variational Expanse.
La nostra tesi
La rete non è il punto di partenza. Lo è il neurone.
I modelli linguistici attuali sono straordinariamente capaci, ma il loro calcolo interno rimane in larga parte deterministico. JWAYU parte da un’altra premessa: quando l’ambiguità è intrinseca all’intelligenza, l’unità di calcolo deve poterla rappresentare.
EVE — Elemental Variational Expanse
Che cos’è un neurone variazionale?
È un’unità probabilistica locale con un prior esplicito, un posteriore ammortizzato e una regolarizzazione variazionale a livello di unità. L’attivazione non è più soltanto un valore: viene generata da una distribuzione appresa.
Rappresentare
Rappresentare un insieme continuo di stati latenti plausibili.
Campionare
Utilizzare un campione riparametrizzato nel passaggio forward.
Regolarizzare
Vincolare il posteriore rispetto al prior e rendere misurabile il funzionamento interno.
Ricerca ad accesso aperto
Pubblicazioni JWAYU.
Dal neurone variazionale ai Transformer, fino al controllo fondato sull’incertezza interna.
Articolo di ricerca2026
Distributional Neurons: Making Uncertainty a Unit of Computation
Le reti neurali propagano generalmente attivazioni nascoste puntuali. Questo articolo studia una granularità più fine: il neurone stesso come unità di calcolo basata su una distribuzione. EVE associa a ogni unità un posteriore condizionato dall’input, un prior locale, un campionamento riparametrizzato, una regolarizzazione KL e diagnostiche interne. La valutazione isola dapprima la singola unità, quindi ne analizza la composizione in un MLP profondo e l’integrazione nel blocco feed-forward di un Transformer. I risultati migliorano diverse metriche probabilistiche mantenendo una precisione puntuale comparabile.
Leggi →Articolo di ricerca14 luglio 2026
The Neuron Is the Distribution
Questo articolo sviluppa la tesi architetturale secondo cui un neurone può essere trattato come una distribuzione, e non soltanto come un’attivazione puntuale. Distingue questo calcolo probabilistico locale dall’incertezza collocata unicamente nei pesi, negli ensemble, negli output o nelle variabili latenti globali. Inquadra inoltre EVE rispetto all’inferenza variazionale, alla stochasticità e alle reti bayesiane: il cambiamento proposto riguarda innanzitutto la granularità dell’unità di calcolo.
Leggi →Articolo di ricerca30 giugno 2026
The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units
Questo articolo studia il neurone come stato latente locale e separa l’apprendimento del posteriore dalla sua lettura. Dopo l’addestramento, il posteriore di EVE viene congelato e cambia soltanto la regola di lettura. Il protocollo verifica se lo stesso stato latente contenga informazioni predittive utilizzabili oltre la sua media. In un compito controllato di previsione multimodale, letture strutturate migliorano le metriche probabilistiche senza riaddestrare il posteriore.
Leggi →Articolo metodologico4 maggio 2026
Measuring and Controlling Internal Activity in Variational Neural Units
Questo articolo metodologico propone un neurone variazionale locale la cui attività probabilistica interna può essere misurata e controllata. Ogni unità comprende una variabile latente scalare, un prior normale standard, un posteriore gaussiano ammortizzato, un campione riparametrizzato e un termine KL locale. Il protocollo monitora la divergenza KL, il quadrato della media posteriore, la quota di unità fuori dall’intervallo di attività e, facoltativamente, una persistenza autoregressiva, collegando poi queste diagnostiche all’errore di previsione.
Leggi →arXiv20 febbraio 2026
Variational Distributional Neuron
Questa pubblicazione introduce un neurone variazionale basato su distribuzioni, concepito come unità probabilistica locale. Ogni unità incorpora un prior, un posteriore ammortizzato, un campione riparametrizzato e una regolarizzazione ELBO locale.
Leggi →arXiv14 marzo 2026
Exploring the Dimensions of a Variational Neuron
Questa pubblicazione mappa lo spazio di progettazione di EVE. Studia come la dimensionalità latente, il controllo locale della capacità e la persistenza temporale influenzino il funzionamento interno misurabile del neurone.
Leggi →arXiv30 marzo 2026
Variational Neurons in Transformers for Language Modeling
Questa pubblicazione integra unità EVE nei blocchi feed-forward di un Transformer mantenendone l’architettura generale. Confronta le varianti deterministica e variazionale mediante metriche predittive e probabilistiche.
Leggi →arXiv14 aprile 2026
Agentic Control in Variational Language Models
Questa pubblicazione studia l’incertezza interna come segnale operativo. La utilizza per regolare l’apprendimento, selezionare i checkpoint e guidare interventi durante l’inferenza.
Leggi →Zenodo27 luglio 2026
Learning Distributions Inside a Language Model: Variational Neurons for Measurable Internal Uncertainty and Reliability Monitoring
EVE rappresenta alcune attivazioni nascoste come distribuzioni posteriori condizionate dall’input. Questa architettura rende osservabile l’incertezza interna e permette di utilizzarla per monitorare l’affidabilità e svolgere calcoli sensibili all’incertezza.
Leggi →Zenodo29 luglio 2026
Measuring Internal Probabilistic Activity with Variational Distributional Neurons
EVE rende direttamente misurabile l’attività posteriore interna durante il calcolo di un modello linguistico. Lo studio confronta qualità predittiva, calibrazione e rischio nella coda della distribuzione con modelli deterministici, MC Dropout ed ensemble.
Leggi →Zenodo28 luglio 2026
Measuring Local Posterior Activity in Variational Language Model Units
L’articolo propone un pannello di misure dell’attività posteriore locale: divergenza KL, scala posteriore, energia della media e quota di unità attive. Queste misure interne vengono messe in relazione con il comportamento predittivo, la calibrazione e la robustezza.
Leggi →Zenodo29 luglio 2026
Variational Distributional Neurons for Measurable Internal Uncertainty in Language Models
Questo studio controllato, condotto con cinque inizializzazioni casuali abbinate, valuta EVE come meccanismo su piccola scala per produrre e misurare attività probabilistica interna. Analizza congiuntamente verosimiglianza, accuratezza, calibrazione, rischio estremo e diagnostiche posteriori.
Leggi →