Konditionieren
Aus der aktuellen Repräsentation die Parameter des Posteriors erzeugen.
Variationale Intelligenz, vom Neuron aus gedacht
Wir entwickeln eine neue Generation von Modellen: variationelle LLMs.
JWAYU 杰维宇 entwickelt Sprachmodelle, in denen Unsicherheit nicht auf die Ausgabe beschränkt bleibt. Durch EVE — Elemental Variational Expanse — wird sie Teil der internen Berechnung.
Unsere These
Nicht das Netzwerk ist der Ausgangspunkt. Sondern das Neuron.
Heutige Sprachmodelle sind außerordentlich leistungsfähig, ihre interne Berechnung bleibt jedoch weitgehend deterministisch. JWAYU folgt einer anderen Prämisse: Wenn Mehrdeutigkeit ein wesentlicher Bestandteil von Intelligenz ist, muss die Recheneinheit selbst sie darstellen können.
EVE — Elemental Variational Expanse
Was ist ein variationelles Neuron?
Es ist eine lokale probabilistische Recheneinheit mit explizitem Prior, amortisiertem Posterior und variationeller Regularisierung auf Einheitenebene. Die Aktivierung ist nicht mehr nur ein Wert, sondern wird aus einer gelernten Verteilung erzeugt.
Repräsentieren
Eine kontinuierliche Menge plausibler latenter Zustände darstellen.
Stichprobe ziehen
Eine reparametrisierte Stichprobe im Vorwärtsdurchlauf verwenden.
Regularisieren
Den Posterior gegenüber dem Prior beschränken und den internen Betriebszustand messbar machen.
Frei zugängliche Forschung
JWAYU-Publikationen.
Vom variationellen Neuron über Transformer bis zur Steuerung durch interne Unsicherheit.
Forschungsartikel2026
Distributional Neurons: Making Uncertainty a Unit of Computation
Neuronale Netze geben verborgene Aktivierungen meist als Punktwerte weiter. Dieser Artikel untersucht eine feinere Recheneinheit: das Neuron selbst als verteilungsbasierte Recheneinheit. EVE versieht jede Einheit mit einem eingabebedingten Posterior, einem lokalen Prior, reparametrisiertem Sampling, KL-Regularisierung und internen Diagnosen. Die Auswertung isoliert zunächst die einzelne Einheit und untersucht anschließend ihre Zusammensetzung in einem tiefen MLP sowie ihre Integration in den Feed-forward-Block eines Transformers. Die Ergebnisse verbessern mehrere probabilistische Metriken bei vergleichbarer Punktvorhersagegenauigkeit.
Lesen →Forschungsartikel14. Juli 2026
The Neuron Is the Distribution
Dieser Artikel entwickelt die architektonische These, dass ein Neuron als Verteilung und nicht nur als punktwertige Aktivierung behandelt werden kann. Er unterscheidet diese lokale probabilistische Berechnung von Unsicherheit, die ausschließlich in Gewichten, Ensembles, Ausgaben oder globalen latenten Variablen liegt. Außerdem ordnet er EVE gegenüber variationaler Inferenz, Stochastik und bayesschen Netzen ein: Die vorgeschlagene Änderung betrifft in erster Linie die Granularität der Recheneinheit.
Lesen →Forschungsartikel30. Juni 2026
The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units
Dieser Artikel untersucht das Neuron als lokalen latenten Zustand und trennt das Lernen des Posteriors von dessen Auslesen. Nach dem Training wird der EVE-Posterior eingefroren; nur die Ausleseregel wird verändert. Das Protokoll prüft, ob derselbe latente Zustand über seinen Mittelwert hinaus nutzbare Vorhersageinformation enthält. In einer kontrollierten multimodalen Vorhersageaufgabe verbessern strukturierte Ausleseverfahren die probabilistischen Metriken, ohne den Posterior neu zu trainieren.
Lesen →Methodenartikel4. Mai 2026
Measuring and Controlling Internal Activity in Variational Neural Units
Dieser Methodenartikel beschreibt ein lokales variationelles Neuron, dessen interne probabilistische Aktivität messbar und steuerbar ist. Jede Einheit umfasst eine skalare latente Variable, einen Standardnormal-Prior, einen amortisierten gaußschen Posterior, eine reparametrisierte Stichprobe und einen lokalen KL-Term. Das Protokoll erfasst unter anderem die KL-Divergenz, das Quadrat des Posterior-Mittelwerts, den Anteil der Einheiten außerhalb des Aktivitätsbereichs und optional eine autoregressive Persistenz und setzt diese Diagnosen mit dem Vorhersagefehler in Beziehung.
Lesen →arXiv20. Februar 2026
Variational Distributional Neuron
Diese Veröffentlichung führt ein variationelles verteilungsbasiertes Neuron als lokale probabilistische Einheit ein. Jede Einheit trägt einen Prior, einen amortisierten Posterior, eine reparametrisierte Stichprobe und eine lokale ELBO-Regularisierung.
Lesen →arXiv14. März 2026
Exploring the Dimensions of a Variational Neuron
Diese Veröffentlichung kartiert den Gestaltungsraum von EVE. Sie untersucht, wie latente Dimensionalität, lokale Kapazitätssteuerung und zeitliche Persistenz den messbaren internen Betriebszustand des Neurons beeinflussen.
Lesen →arXiv30. März 2026
Variational Neurons in Transformers for Language Modeling
Diese Veröffentlichung integriert EVE-Einheiten in die Feed-forward-Blöcke eines Transformers, ohne dessen grundlegende Architektur zu verändern. Sie vergleicht deterministische und variationelle Varianten anhand prädiktiver und probabilistischer Metriken.
Lesen →arXiv14. April 2026
Agentic Control in Variational Language Models
Diese Veröffentlichung untersucht interne Unsicherheit als operatives Signal. Sie nutzt sie, um das Lernen zu regulieren, Checkpoints auszuwählen und Eingriffe während der Inferenz zu steuern.
Lesen →Zenodo27. Juli 2026
Learning Distributions Inside a Language Model: Variational Neurons for Measurable Internal Uncertainty and Reliability Monitoring
EVE stellt bestimmte verborgene Aktivierungen als eingabebedingte Posteriorverteilungen dar. Dadurch wird interne Unsicherheit beobachtbar und kann für die Zuverlässigkeitsüberwachung sowie für unsicherheitsbewusste Berechnungen genutzt werden.
Lesen →Zenodo29. Juli 2026
Measuring Internal Probabilistic Activity with Variational Distributional Neurons
EVE macht die interne Posterioraktivität während der Berechnung eines Sprachmodells direkt messbar. Die Studie vergleicht Vorhersagequalität, Kalibrierung und Verteilungsrandrisiko mit deterministischen Modellen, MC Dropout und Ensembles.
Lesen →Zenodo28. Juli 2026
Measuring Local Posterior Activity in Variational Language Model Units
Der Artikel schlägt ein Messpanel für lokale Posterioraktivität vor: KL-Divergenz, Posteriorskala, Mittelwertenergie und Anteil aktiver Einheiten. Diese internen Messgrößen werden mit Vorhersageverhalten, Kalibrierung und Robustheit in Beziehung gesetzt.
Lesen →Zenodo29. Juli 2026
Variational Distributional Neurons for Measurable Internal Uncertainty in Language Models
Diese kontrollierte Studie mit fünf abgestimmten Zufallsinitialisierungen bewertet EVE als kleinmaßstäblichen Mechanismus zur Erzeugung und Messung interner probabilistischer Aktivität. Gemeinsam untersucht werden Likelihood, Genauigkeit, Kalibrierung, Extremrisiko und Posterior-Diagnosen.
Lesen →