← JWAYU 杰维宇

Forschungsarchiv

Publikationen

Zwölf frei zugängliche Forschungsseiten zu variationellen und verteilungsbasierten Neuronen, variationaler Berechnung, Transformer-Integration, interner Aktivität, dem Auslesen latenter Zustände und unsicherheitsbasierter Steuerung.

2026 · Research Square · Forschungsartikel

Distributional Neurons: Making Uncertainty a Unit of Computation

Neuronale Netze geben verborgene Aktivierungen meist als Punktwerte weiter. Dieser Artikel untersucht eine feinere Recheneinheit: das Neuron selbst als verteilungsbasierte Recheneinheit. EVE versieht jede Einheit mit einem eingabebedingten Posterior, einem lokalen Prior, reparametrisiertem Sampling, KL-Regularisierung und internen Diagnosen. Die Auswertung isoliert zunächst die einzelne Einheit und untersucht anschließend ihre Zusammensetzung in einem tiefen MLP sowie ihre Integration in den Feed-forward-Block eines Transformers. Die Ergebnisse verbessern mehrere probabilistische Metriken bei vergleichbarer Punktvorhersagegenauigkeit.

Lesen →DOI / source ↗

14. Juli 2026 · Research Square · Forschungsartikel

The Neuron Is the Distribution

Dieser Artikel entwickelt die architektonische These, dass ein Neuron als Verteilung und nicht nur als punktwertige Aktivierung behandelt werden kann. Er unterscheidet diese lokale probabilistische Berechnung von Unsicherheit, die ausschließlich in Gewichten, Ensembles, Ausgaben oder globalen latenten Variablen liegt. Außerdem ordnet er EVE gegenüber variationaler Inferenz, Stochastik und bayesschen Netzen ein: Die vorgeschlagene Änderung betrifft in erster Linie die Granularität der Recheneinheit.

Lesen →DOI / source ↗

30. Juni 2026 · Research Square · Forschungsartikel

The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units

Dieser Artikel untersucht das Neuron als lokalen latenten Zustand und trennt das Lernen des Posteriors von dessen Auslesen. Nach dem Training wird der EVE-Posterior eingefroren; nur die Ausleseregel wird verändert. Das Protokoll prüft, ob derselbe latente Zustand über seinen Mittelwert hinaus nutzbare Vorhersageinformation enthält. In einer kontrollierten multimodalen Vorhersageaufgabe verbessern strukturierte Ausleseverfahren die probabilistischen Metriken, ohne den Posterior neu zu trainieren.

Lesen →DOI / source ↗

4. Mai 2026 · Research Square · Methodenartikel

Measuring and Controlling Internal Activity in Variational Neural Units

Dieser Methodenartikel beschreibt ein lokales variationelles Neuron, dessen interne probabilistische Aktivität messbar und steuerbar ist. Jede Einheit umfasst eine skalare latente Variable, einen Standardnormal-Prior, einen amortisierten gaußschen Posterior, eine reparametrisierte Stichprobe und einen lokalen KL-Term. Das Protokoll erfasst unter anderem die KL-Divergenz, das Quadrat des Posterior-Mittelwerts, den Anteil der Einheiten außerhalb des Aktivitätsbereichs und optional eine autoregressive Persistenz und setzt diese Diagnosen mit dem Vorhersagefehler in Beziehung.

Lesen →DOI / source ↗

20. Februar 2026 · arXiv · Open Access

Variational Distributional Neuron

Diese Veröffentlichung führt ein variationelles verteilungsbasiertes Neuron als lokale probabilistische Einheit ein. Jede Einheit trägt einen Prior, einen amortisierten Posterior, eine reparametrisierte Stichprobe und eine lokale ELBO-Regularisierung.

Lesen →arXiv ↗