Episodes
-
In dieser Episode nutzen wir die Chance, die Doktorandinnen und Doktoranden der Forschungsgruppe Prof. Schacht zu Wort kommen zu lassen. Die in einer Live-Panel-Diskussion Ihre Forschungsthemen vorgestellt haben.
Die Paneldiskussion ist im Rahmen des Digital Nürnberg Festivals am 2.7. auf dem Research Day des AN-KIT der HS Ansbach live aufgezeichnet worden. Folgende Promovierenden haben Ihren Bereich vorgestellt.
Fabian Maag – AI Alignment / Interpretability
Sudarshan Kamath Barkur: AI Safety mit Fokus auf LLMs (Aufbau Pattern-DB)
Betiel Woldai – Moralisches und Ethische Leitplanken für LLMs (LLM Controllability)
Sandra Nuißl – Evaluationsmetriken für Übersetzungen
Wanwei Lin – Multi-Agenten zur Optimierung der Automatisierung im Supply-Chain Management
(Sophie Henne – BIAS Detection in Daten)
Hören Sie rein.Support the Show.
-
In dieser faszinierenden Episode erkunden Sigurd Schacht und Carsten Lanquillon, wie Anthropic's Forschung zur Interpretierbarkeit von KI es ermöglicht, Sprachmodelle auf Konzeptebene zu manipulieren. Sie diskutieren das aufsehenerregende Golden Gate Claude-Experiment, bei dem ein Sprachmodell dazu gebracht wurde, in jeder Konversation die Golden Gate Bridge zu erwähnen, und erörtern die weitreichenden Implikationen dieser Technologie für die Zukunft der KI-Steuerung und -Sicherheit.
Support the Show.
-
Episodes manquant?
-
In der aktuellen Episode von "Knowledge Science" tauchen Sigurd Schacht und Carsten Lanquillon tief in die mysteriösen Tiefen der Transformer-Modelle ein.
Sie sprechen über Logit Lens eine Methode, mittels der man die Aktivierungen der einzelnen Neuronen und Token besser verstehen kann, um mehr über den Denkprozess dieser großen Sprachmodelle zu erfahren.
Mit wertvollen Insights bieten sie eine spannende Reise in die Welt der mechanistischen Interpretierbarkeit und wie aktuelle Tools wie die Transformer Lens dabei helfen können.Support the Show.
-
Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.
It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.
Accordingly, we cannot always guarantee accuracy.Support the Show.
-
KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen.
Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.
Dementsprechend können wir nicht immer für die Richtigkeit garantieren.Support the Show.
-
In dieser Episode unserer Miniserie "Interpretability" tauchen wir tief in die Welt der mechanistischen Interpretierung neuronaler Netze ein.
Sigurd Schacht und Carsten Lanquillon beleuchten die spannenden Forschungsansätze, die darauf abzielen, die Blackbox neuronaler Netze zu durchdringen und deren interne Funktionsweise zu verstehen.
Dabei erörtern sie, wie Mechanistic Interpretation als Bottom-Up-Ansatz helfen kann, neuronale Netze nachvollziehbar zu machen und welche Rolle diverse Konzepte wie der Residual Stream, Multi-Layer Perceptrons (MLPs) und Attention Heads dabei spielen. Diese Episode richtet sich an alle, die wissen wollen, wie KI transparent und verlässlich gemacht wird.Support the Show.
-
Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.
It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.
Accordingly, we cannot always guarantee accuracy.
- SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals - https://arxiv.org/pdf/2406.04784
- Mixture-of-Agents Enhances Large Language Model Capabilities - https://arxiv.org/pdf/2406.04692Support the Show.
-
KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen.
Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.
Dementsprechend können wir nicht immer für die Richtigkeit garantieren.
- SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals - https://arxiv.org/pdf/2406.04784
- Mixture-of-Agents Enhances Large Language Model Capabilities - https://arxiv.org/pdf/2406.04692Support the Show.
-
Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.
It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.
Accordingly, we cannot always guarantee accuracy.
- Nemotron-4 340B - https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf
- Discovering Preference Optimization Algorithms with and for Large Language Models - https://arxiv.org/pdf/2406.08414Support the Show.
-
KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen.
Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.
Dementsprechend können wir nicht immer für die Richtigkeit garantieren.
- Nemotron-4 340B - https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf
- Discovering Preference Optimization Algorithms with and for Large Language Models - https://arxiv.org/pdf/2406.08414Support the Show.
-
Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.
It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.
Accordingly, we cannot always guarantee accuracy.
- Show, Don't Tell: Aligning Language Models with Demonstrated Feedback - https://arxiv.org/pdf/2406.00888
- Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models - https://arxiv.org/pdf/2406.02061Support the Show.
-
KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen.
Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.
Dementsprechend können wir nicht immer für die Richtigkeit garantieren.
- Show, Don't Tell: Aligning Language Models with Demonstrated Feedback - https://arxiv.org/pdf/2406.00888
- Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models - https://arxiv.org/pdf/2406.02061Support the Show.
-
KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen.
Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.
Dementsprechend können wir nicht immer für die Richtigkeit garantieren.
- Open-Endedness is Essential for Artificial Superhuman Intelligence - https://arxiv.org/pdf/2406.04268
- Transformers need glasses! Information over-squashing in language tasks - https://arxiv.org/pdf/2406.04267Support the Show.
-
Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.
It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.
Accordingly, we cannot always guarantee accuracy.
- Open-Endedness is Essential for Artificial Superhuman Intelligence - https://arxiv.org/pdf/2406.04268
- Transformers need glasses! Information over-squashing in language tasks - https://arxiv.org/pdf/2406.04267Support the Show.
-
Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.
It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.
Accordingly, we cannot always guarantee accuracy.
- PaCE: Parsimonious Concept Engineering for Large Language Models - https://arxiv.org/pdf/2406.04331
- Safety Alignment Should Be Made More Than Just a Few Tokens Deep - https://xiangyuqi.com/shallow-vs-deep-alignment.github.io/static/paper.pdfSupport the Show.
-
KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen.
Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.
Dementsprechend können wir nicht immer für die Richtigkeit garantieren.
- PaCE: Parsimonious Concept Engineering for Large Language Models - https://arxiv.org/pdf/2406.04331
- Safety Alignment Should Be Made More Than Just a Few Tokens Deep - https://xiangyuqi.com/shallow-vs-deep-alignment.github.io/static/paper.pdfSupport the Show.
-
Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.
It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.
Accordingly, we cannot always guarantee accuracy.
- Multi-Agent Imitation Learning: Value is Easy, Regret is Hard - https://arxiv.org/pdf/2406.04219
- Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models - https://arxiv.org/pdf/2406.04271Support the Show.
-
KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen.
Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.
Dementsprechend können wir nicht immer für die Richtigkeit garantieren.
- Multi-Agent Imitation Learning: Value is Easy, Regret is Hard - https://arxiv.org/pdf/2406.04219
- Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models - https://arxiv.org/pdf/2406.04271Support the Show.
-
Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.
It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.
Accordingly, we cannot always guarantee accuracy.
- Large Language Models Understand and Can be Enhanced by Emotional Stimuli - https://arxiv.org/pdf/2307.11760
- Improving Alignment and Robustness with Short Circuiting - https://arxiv.org/pdf/2406.04313Support the Show.
-
KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen.
Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.
Dementsprechend können wir nicht immer für die Richtigkeit garantieren.
- Large Language Models Understand and Can be Enhanced by Emotional Stimuli - https://arxiv.org/pdf/2307.11760
- Improving Alignment and Robustness with Short Circuiting - https://arxiv.org/pdf/2406.04313Support the Show.
- Montre plus
