Skip to main content
Category

Realtime

Talk mit Professor GPT

By Künstliche Intelligenz, Projekt, Realtime

Interaktives Gespräch mit ChatGPT über Sprachschnittstelle

Kürzlich hatte ich die Gelegenheit, ein interessantes Gespräch mit ChatGPT zu führen. Dies war dank der Chrome-Erweiterung „Talk-to-GPT“ von GBAtemp und der Anbindung an den Sprachausgabe-Service von Elevenlabs.io möglich.

Die Erweiterung bietet, ähnlich wie bereits in Bing umgesetzt, eine Schnittstelle zum Mikrofon und zur Sprachausgabe. Um das Gespräch optimal zu gestalten, war es vorab wichtig, ChatGPT über den DAN-Modus (Do Anything Now) zu instruieren. Dadurch konnte ich dem Bot die Rolle eines Universitätsprofessors zuweisen, während ich selbst als Student auftrat, der ihm zufällig auf dem Flur begegnete.

Zusätzlich stellte sich die Vorgabe als sinnvoll heraus, dass Zahlen und Daten während der Sprachausgabe als Wörter ausgegeben werden sollten. Das Ergebnis war ein wirklich gelungenes, fließendes Gespräch.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Diese Erfahrung zeigt deutlich, wie weit die Entwicklung von KI-Sprachmodellen wie ChatGPT über bisherige Assistenten wie Alexa, Siri oder Google Assistant hinausgegangen ist. Ich bin überzeugt, dass solche Technologien im Unternehmenskontext, etwa bei Datenanalysen oder als Codeinterpreter, extrem hilfreich sein können.

Gleichzeitig hoffe ich, dass dies niemanden dazu verleitet, in ChatGPT einen neuen Gesprächspartner für abendliche Unterhaltungen zu suchen. Echte menschliche Interaktionen sind und bleiben dabei unersetzlich.

Farbinformationen vom Viewport lesen

By 3D Visualisierung, Projekt, Realtime

Dynamische Lichtsteuerung zwischen physischer und virtueller Welt

Dieses kreative Experiment zeigt, wie Unreal Engine als Plattform dient, um eine enge Kopplung zwischen digitaler und realer Welt zu schaffen – ähnlich wie sie in Virtual Productions zum Einsatz kommt.

Anstatt aufwendige Deckenpanele zu verwenden, liest Unreal hier über das Blueprint-System die Pixelfarben aus der virtuellen Szene aus. Diese Farbinformationen werden dann zur Steuerung einer RGB-LED auf einem angebundenen Arduino genutzt.

So kann die Beleuchtung in der realen Umgebung perfekt an Elemente wie Himmel oder Wolken in der virtuellen Welt angepasst werden. Eine faszinierende Demonstration dafür, wie die Grenzen zwischen physischer und digitaler Realität verschwimmen können.

Natürlich lässt sich dieses Prinzip auch auf andere Lichtquellen wie Moving Head Spots oder RGB-Scheinwerfer übertragen. Unreal Engine bietet hierfür die ideale Grundlage, um die Kommunikation zwischen virtuellen und realen Komponenten präzise zu steuern – unabhängig vom verwendeten Übertragungsprotokoll wie DMX.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Dieses kleine, aber kreative Experiment zeigt das enorme Potenzial, das in der Verknüpfung von physischer und virtueller Welt steckt. Lassen Sie sich von dieser Umsetzung inspirieren und entdecken Sie selbst die vielfältigen Möglichkeiten, die sich Ihnen in Ihren Unreal Engine-Projekten eröffnen.

Versuchsaufbau

Szene

LED erzeugt farbiges Licht nach Pixelwert unter Mauszeiger

GSR Experiment – X Wing

By 3D Visualisierung, Projekt, Realtime

Werde zum Jedi: Wie ich mit Biosignalen den X-Wing in Unreal Engine aus dem Wasser hob

Wer hat nicht schon davon geträumt, einmal wie ein Jedi die Macht zu spüren und Dinge allein durch die Kraft der Gedanken zu bewegen? Inspiriert von Szenen aus den Star Wars-Filmen, beschloss ich, dieses Erlebnis selbst nachzustellen – allerdings mit moderner Technologie statt Mystik.

Ich baute eine Szene in Unreal Engine auf, die Luke Skywalkers Absturz mit dem X-Wing in einem See nachempfindet. Anstatt jedoch die Macht der Gedanken zu nutzen, wollte ich meine eigenen Biosignale einsetzen, um das Raumschiff aus dem Wasser zu heben.

Mit Hilfe von Arduino, einem Pulssensor und einem GSR-Sensor für den Hautleitwiderstand habe ich ein System entwickelt, das meine körperlichen Reaktionen ausliest. Wenn mein Puls sinkt und ich mich maximal entspanne, nimmt auch der Hautleitwiderstand ab. Diese Werte steuern dann in Unreal Engine über ein spezielles Blueprint die Z-Achse des 3D-Modells des X-Wings.

Um den Effekt noch lebendiger zu gestalten, habe ich das Wasser um den Absturzort mithilfe von Niagara-Partikeln modelliert. So entsteht der Eindruck, als würde das Raumschiff tatsächlich aus den Fluten auftauchen.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Auch wenn meine Konzentration und Meditationsfähigkeiten noch etwas Übung erfordern, bin ich begeistert von den Möglichkeiten, die sich durch die Verknüpfung von Biosignalen und Unreal Engine eröffnen. Die Vorstellung, die Macht der Jedi quasi selbst zu spüren, lässt mich von noch größeren Projekten träumen. Vielleicht gelingt es mir ja schon bald, den X-Wing komplett aus dem Wasser zu heben!

Lichtsensor in Unreal Engine

By 3D Visualisierung, Projekt, Realtime

Unbegrenzte Möglichkeiten durch sensorgesteuerte Realität in Unreal Engine

In der Welt von Unreal Engine denken viele zunächst an klassische Eingabemöglichkeiten wie Gamecontroller, Maus und Tastatur. Doch gerade im Bereich der Simulation eröffnen sich durch die Integration von Sensordaten völlig neue Dimensionen.

Sensoren können Echtzeit-Feedback aus der physischen Welt liefern und es uns so ermöglichen, hochrealistische und äußerst reaktive virtuelle Umgebungen zu schaffen. Stellen Sie sich vor, wie ein Windmesser die Intensität und Richtung des Windes in einer Flugsimulation in Echtzeit beeinflusst. Oder wie in diesem Beispiel das Licht der realen Welt die Beleuchtung der virtuellen Umgebung steuert.

Die Verschmelzung von physischer und virtueller Realität bietet faszinierende Ansätze. Sensordaten liefern dem System präzises Feedback aus der realen Umgebung und ermöglichen so eine bisher ungekannte Tiefe der Immersion und Interaktion. Unreal Engine ist bestens geeignet, diese Fusion von Realität und Simulation umzusetzen.

Entdecken Sie die unbegrenzten Möglichkeiten, die sich durch den Einsatz sensorgesteuerter Realität in Ihren Unreal Engine-Projekten eröffnen. Lassen Sie Ihre Anwender in faszinierende, hochreaktive virtuelle Welten eintauchen, die auf Basis echtzeitbasierter Sensor-Inputs entstehen.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Niagara Dancer – ein Mini Projekt

By 3D Visualisierung, Film / VFX / Kamera, Projekt, Realtime

Dynamische Partikelchoreografie mit Motion Capture in Unreal Engine

Die Verbindung von Bewegungsdaten und Echtzeitvisualisierung eröffnet faszinierende Möglichkeiten, digitale Welten zum Leben zu erwecken. In einem aktuellen Projekt habe ich mich damit beschäftigt, MoCap-Daten in Unreal Engine zu integrieren, um daraus eine einzigartige Partikelchoreografie zu generieren.

Ausgangspunkt war die Aufzeichnung realer Bewegungsdaten mithilfe eines Motion Capture-Systems. Diese Daten habe ich dann nahtlos in meine Unreal Engine-Umgebung übernommen. Anstatt jedoch ein menschliches 3D-Modell zu animieren, habe ich die Bewegungsinformationen dazu genutzt, ein dynamisches Partikelsystem zu steuern.

So entstand ein fließender, organischer „Partikel-Tänzer“, der die Bewegungen und Gesten der Vorlage auf beeindruckende Weise wiedergibt. Die Partikel folgen den Bewegungspfaden präzise und scheinen beinahe lebendig zu werden. Durch den Einsatz von Niagara-Effekten und ausgefeilten Materialeinstellungen konnte ich der Visualisierung zudem eine ästhetisch ansprechende, fast mystische Anmutung verleihen.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Dieses Projekt zeigt, wie die Verknüpfung von Motion Capture-Technologie und Unreal Engine völlig neue Möglichkeiten für dynamische Echtzeitvisualisierungen eröffnet. Anstatt starrer 3D-Charaktere entstehen so organische, tänzerische Partikelwesen, die den Betrachter in ihren Bann ziehen. Ich bin sehr gespannt, wie ich diese Erkenntnisse in Zukunft weiterentwickeln und in noch faszinierendere Visualisierungen überführen kann.

Jedi-Experiment mit Ultraschall

By 3D Visualisierung, Projekt, Realtime

Dynamische Interaktion zwischen realer und virtueller Welt mit Unreal Engine

Dieses faszinierende „Jedi“-Experiment zeigt eindrucksvoll, wie sich reale und virtuelle Welt miteinander verbinden lassen. Ohne aufwendige Signalglättung überträgt ein Ultraschallsensor hier dynamisch Abstandsdaten vom Arduino in die Unreal Engine 5-Umgebung.

Dadurch verändert sich die Position des 3D-Modells in der virtuellen Szene in Echtzeit entsprechend der Messwerte aus der realen Welt. Eine einfache, aber sehr wirkungsvolle Demonstration dafür, wie vielfältig die Möglichkeiten der Interaktion zwischen physischer und digitaler Realität sind.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Dieses Experiment ist nur eine von unzähligen Anwendungsmöglichkeiten, bei denen Unreal Engine als leistungsfähige Plattform dient, um reale Sensordaten in faszinierende virtuelle Erlebnisse zu überführen. Ob in Simulationen, Produktvisualisierungen oder immersiven Erlebniswelten – die Fusion von physischer und digitaler Realität eröffnet ganz neue Dimensionen der Interaktion.

Ich freue mich auf ihre Anfrage.

Echtzeit-Visualisierung mit Unreal Engine und physischer Reproduktion

By 3D Druck, 3D Visualisierung, Projekt, Realtime

Echtzeit-Visualisierung mit Unreal Engine und physischer Reproduktion

Visualisierungen entfalten ihre Wirkung maßgeblich durch ihren Inhalt. In diesem Video möchte ich Ihnen meinen Workflow zeigen, wie ich mithilfe von Unreal Engine Echtzeit-Visualisierungen erstelle.

Ein zentraler Bestandteil ist dabei der Einsatz von Photogrammetrie, um real existierende Objekte und Assets in meine virtuellen Szenen zu integrieren. Hierfür nutze ich die Software Reality Capture.

So schaffe ich die Möglichkeit, die visualisierten Objekte nicht nur digital, sondern auch physisch zu reproduzieren. Dafür greife ich auf die 3D-Druckersoftware Cura zurück, um die Geometrie aus Unreal Engine entsprechend aufzubereiten.

Durch den Workflow, der Unreal Engine, Photogrammetrie und 3D-Druck vereint, kann ich beeindruckende Visualisierungen in Echtzeit erstellen. Gleichzeitig ermöglicht mir dieser Ansatz, die virtuellen Inhalte auch in der realen Welt erlebbar zu machen.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Lassen Sie sich von diesem Beispiel inspirieren und entdecken Sie selbst, wie Sie mithilfe von Unreal Engine, Photogrammetrie und 3D-Druck faszinierende, hybrid-physische Visualisierungen schaffen können.

Das fertige Ergebis in Unreal Engine

Fotorig mit Kamera und Turntable

Photogrammetrie- Punktwolke

Material in Unreal erzeugen

In CURA das Modell slicen für 3D Print

3D Druck auf Anycubic Mega Pro

Niagara Partikel mit MIDI kontrollieren

By 3D Visualisierung, Film / VFX / Kamera, Projekt, Realtime

Interaktive Echtzeitvisualisierungen mit Unreal Engine und MIDI

In der dynamischen Welt der Echtzeitvisualisierungen bietet Unreal Engine vielfältige Möglichkeiten, Inhalte auf innovative Weise zu steuern. In einem aktuellen Projekt habe ich die Kraft des MIDI-Protokolls genutzt, um eine einfache Szene in Unreal Engine interaktiv zu gestalten.

Das MIDI-Protokoll ist besonders effizient, wenn es darum geht, Bildinhalte in Echtzeit zu kontrollieren. In meiner Unreal Engine-Szene habe ich die Partikeleffekte direkt an MIDI-Signale gekoppelt. So kann ich die visuellen Elemente nahtlos und responsiv auf Eingaben von MIDI-Controllern oder Keyboards reagieren lassen.

Der Vorteil dieser Methode liegt in der Unmittelbarkeit der Kontrolle. Im Vergleich zu herkömmlichen Eingabemethoden wie Maus oder Tastatur bietet MIDI eine deutlich direktere Verbindung zwischen Aktion und Reaktion. Das ermöglicht es mir, die Partikel präzise und in Echtzeit an die Musikinterpretation anzupassen und so hochdynamische, interaktive Visualisierungen zu schaffen.

Das Zusammenspiel von Unreal Engine und MIDI-Steuerung eröffnet faszinierende Möglichkeiten für den Bereich der Echtzeitvisualisierung. Egal ob für Liveauftritte, Installationen oder Präsentationen – diese Technologie bietet eine intuitive und unmittelbare Möglichkeit, Bild und Ton miteinander zu verbinden. Ich bin sehr gespannt, wie ich diese Erkenntnisse in zukünftigen Projekten weiterentwickeln und verfeinern kann.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Ich zeige an einem kleinen Beispiel wie – in diesem Fall – museale Objekte von der Photogrammetrie profitieren. Eine kleine Büste der Totenmaske von Pharao Tut Anch Amun wird zu einem 3D Modell. Das Modell ist danach druckbar oder bereit für den Einsatz in Realtime oder Filmproduktion.

Augmented Reality-Anwendung für die TEAG Thüringer Energie AG

By 3D Visualisierung, Projekt, Realtime

Augmented Reality-Anwendung für die TEAG Thüringer Energie AG

Das innovative Nachwuchsführungskräfte-Team der TEAG Thüringer Energie AG hat ein spannendes Augmented Reality-Projekt initiiert. Ziel war es, einen Prototyp für iPad-Geräte zu entwickeln, der unterirdische Gas- und Stromleitungen sichtbar macht.

In enger Zusammenarbeit mit dem AR-Experten Chris haben wir dieses Projekt in Unity umgesetzt. Nach nur wenigen Iterationsschritten konnten wir eine funktionsfähige Anwendung präsentieren.

Mit dieser AR-Lösung können TEAG-Mitarbeiter vor Ort Kabel und Leitungen einfach und präzise orten. Das minimiert sowohl Unfall- als auch Schadensrisiko deutlich. Eine enorme Verbesserung der Arbeitssicherheit und -effizienz.

Allerdings stellte der Workflow und das Genehmigungsverfahren bei Apple, um die App TEAG-weit auf iPads auszurollen, eine Herausforderung dar. Trotz dieser organisatorischen Hürden konnten wir das Projekt erfolgreich abschließen und der TEAG eine innovative AR-Lösung an die Hand geben.

Photogrammetry – Tut Anch Amun

By 3D Druck, 3D Visualisierung, Photogrammetrie, Projekt, Realtime

Ein Exponat wird zum 3D Modell

Im Projekt-Blog Artikel vom 25.02.2020 wurde Photogrammetrie bereits vorgestellt. In diesem Projekt-Blog soll der Workflow mit Hilfe eines Projektes näher erläutert werden. Für einen 3D Artist oder Content Creator ist ein gut durchdachter Workflow mit dieser Technik der perfekte Ansatz organische oder schwer modellierbare Objekte in recht kurzer Zeit zu erschaffen. Quixel Mega Scans zum Beispiel sind dadurch ein Millionen-Business geworden. Die Photogrammetrie-Objekte werden in Games aber auch in großen Filmproduktionen verwendet. Aber genau hier liegt das Problem. Was machen wir mit Millionen von Polygonen?

Ich zeige an einem kleinen Beispiel wie – in diesem Fall – museale Objekte von der Photogrammetrie profitieren. Eine kleine Büste der Totenmaske von Pharao Tut Anch Amun wird zu einem 3D Modell. Das Modell ist danach druckbar oder bereit für den Einsatz in Realtime oder Filmproduktion.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Damit die Ergebnisse nicht frustrieren, braucht es neben den richtigen Software Bundles auch die richtige Hardware. Besonders die Beleuchtung ist wichtig. Leicht reflektierende Objekte sind schwer zu erfassen. Hier helfen Polfilter. Ein Filter auf der Kamera plus gerichtetes Licht aus LED-Lampen, die ebenfalls einen Polfilter haben, bringen hier besonders gute Ergebnisse. Diese Technik nennt sich Kreuzpolarisation und vermindert extreme Glanzlichter auf den Objekten. Ein Mattierungspray hilft zusätzlich. Dieser ist nach dem Scan leicht entfernbar.

Bilder aus einer Vorserie mit Greenscreen

Fotorig mit Kamera und Turntable

Photogrammetrie- Punktwolke

Aus der Photogrammetrie-Software kommen in der Regel Modelle mit mehreren Millionen Polygone. Für Film und Bild ist das nicht weiter tragisch. Für Realtime allerdings schon. Hier liegt also die Kunst darin, die Polygonanzahl mit den richtigen Algorithmen so zu reduzieren, das die Textur immer noch passt und das Model in Unity oder Unreal noch in Realtime berechnet werden kann. natürlich sollte man den Unterschied möglichst nicht sehen.

Es kommen verschiedene Software-Lösungen in Frage, wenn es darum geht das Polymesh zu bearbeiten. Es kann nötig sein für die reduzierten Meshes neue Normal-Maps und Height- bzw. Displacement-Maps zu rendern.

Interessiert die Möglichkeiten der Photogrammetrie auch für ihr Unternehmen zu nutzen? Ich freue mich auf ihre Anfrage.