Die schlechte Nachricht zu erst: Latenz im Online Musikunterricht ist unumgänglich.
Die Gute: Caleb Dolister ist Web-Entwickler, Drummer, Komponist und Autor aus Queens, New York. Er hat den folgenden Artikel unter dem Titel “Why can’t musicians jam with each other online without latency or other issues?“ im April 2020 veröffentlicht. Weil wir es nicht besser hätten schreiben können, haben wir Caleb gebeten, seinen Text hier auf Deutsch veröffentlichen zu dürfen. Ohne große Latenz stimmte er zu.
“Why can’t musicians jam with each other online without latency or other issues?“
von Caleb Dolister
Es ist das Jahr 2020. Breitband ist überall. Die Netze sind schnell. Wir können einem MMO-Gaming-Server (Massively Multiplayer Online) beitreten und Hunderte von Spielern mit geringer Latenz unterstützen, aber ein paar Musiker:innen können sich nicht synchronisieren und zusammen jammen?
Die Idee, sich online zu treffen, um Musik zu machen, ist nicht neu. Entwickler:innen arbeiten schon seit Jahren daran, und technisch versierte Musiker:innen haben mit Begeisterung Apps heruntergeladen oder Hardware gekauft und gebaut, um zu versuchen, dies zu realisieren. Es gibt zwar einige Lösungen, aber Latenzeiten sind unvermeidlich, selbst bei den professionellsten Systemen.
Es scheint, dass Musiker:innen überall nach Antworten auf die Frage suchen:
Warum funktioniert das Jammen im Internet trotz einer Verbindung mit hoher Bandbreite und der heutigen Technik nicht?
Die fantastische Fähigkeit des Gehirns zur Vorhersage von Bewegung
Latenzzeiten quälen Online-Spieler:innen schon seit den Tagen der Einwahl. Ich bin in den späten 90er Jahren in einer kleinen Bergstadt in Nordkalifornien mit Online-Spielen aufgewachsen und erinnere mich noch gut daran, dass ich das Gefühl hatte, eine bombensichere Verbindung zu haben, als das Einwahlnetz meiner Gemeinde 250 ms lieferte.
Warum? Ehrlich gesagt wusste ich es nicht besser. Es gab kein Breitband. Ländliche “Gamer“ wie ich lernten, mit der Latenz zu spielen, indem wir ahnten, was andere Spieler tun würden, und dies durch die Analyse von Bewegungen ausglichen. Es ging weniger um Sehen und Reagieren als vielmehr um Sehen und Vorhersagen.
Akustik
In der Tat haben wir bereits ständig mit Latenzzeiten in der Musik zu tun.
Musik und Ton werden je nach Höhe, Temperatur, Luftfeuchtigkeit, Frequenz und anderen Faktoren unterschiedlich schnell übertragen. Hier ist ein interessantes Diagramm, das die gemessene Schall-Latenzzeit zeigt. Im Allgemeinen können wir davon ausgehen, dass sich der Schall mit etwa 18 ms pro 6 meter durch die Luft ausbreitet.
Überlege einmal, wie weit Du bei Live-Auftritten normalerweise von anderen Musiker:innen entfernt bist. Wenn man akustische Musik auf einer großen Bühne (ohne Monitore) spielt, muss die Latenz bereits bei Entfernungen bis zu etwa 4,5 – 6 meter kompensiert werden. Jeder, der schon einmal auf einer großen Bühne ohne Verstärker oder in einem Orchester oder einer Marschkapelle gespielt hat, kann bestätigen, dass es bei größeren Entfernungen schwierig wird, zu spielen.
Die akzeptable Latenzzeit für die Aufnahme ist jedoch geringer, in der Regel etwa 10-12 ms, obwohl Menschen eine Latenz von etwa 5 ms wahrnehmen können. Die Herausforderung im Studio besteht darin, dass die von Dir gespielten Noten aufgrund der Kodierung und der Hardware-Latenz langsamer an Dein Ohr gelangen als auf akustischem Wege.
Die Vermessung
Für alle Leser:innen, die nicht wissen, wie die Zeit in der Musik berechnet wird: Die Geschwindigkeit wird als Anzahl der Schläge pro Minute (bpm) interpretiert, die als Tempo bezeichnet wird. 60 bpm = 1 Schlag pro Sekunde, 120 bpm = 2 Schläge pro Sekunde und so weiter. Wenn das Tempo eines Liedes 120 bpm beträgt, entspricht dies 500 ms zwischen den Schlägen (1 Sekunde = 1000 ms, 0,5 Sekunden = 500 ms). In einem Abstand von 6 metern gibt es eine natürliche Latenz von 18ms, so dass sich 500ms/120bpm wie 518ms/115bpm anfühlen.
Laienhaft ausgedrückt: Es fühlt sich an, als würde der andere Spieler langsamer spielen, auch wenn er es nicht tut. Um diese natürliche Latenz auszugleichen, werden größere Bands von Dirigenten geleitet, so dass eine visuelle Darstellung der Zeit vorhanden ist.Die natürliche Latenz lässt sich in einem bestimmten Zustand bewältigen, da die Musiker:innen sie kompensieren können, wenn sie gleichmäßig ist. In einem größeren Rahmen mit mehreren Spieler:innen und Latenzen wird dies unmöglich, vor allem, wenn sich diese Latenzen ändern.
Multiple Latenzen
Man denke an eine Marschkapelle mit weit über 200 Musikern, die über ein ganzes American Footballfeld verteilt sind. Die Spieler am Rande des Feldes können durch große Entfernungen getrennt sein, während einige nur ein paar Meter voneinander entfernt sind, aber die Band ist immer in Bewegung. Zu jedem Zeitpunkt hören diese Spieler die Person neben sich mit etwa 5 ms, die Person in 3 meter Entfernung mit etwa 9 ms, die in 6 meter Entfernung mit 18 ms und schließlich die Spieler in 60 meter Entfernung mit 180 ms. Ohne Dirigent ist das eine Katastrophe.
Wenn die Latenz eine Herausforderung darstellt, wird der Umgang mit mehreren Latenzen, die sich ändern, zu einer Krise.
Online-Jamming ist leider genau so, wie wenn man sich in einer Marschkapelle in verschiedenen Teilen des Feldes aufhält. Jeder Spieler hat eine andere Latenz, je nachdem, wo er sich in Bezug auf den gemeinsamen Server befindet, und diese Latenz ändert sich aufgrund von Netzwerküberlastung.
Der Deal Breaker: Traffic & Variationen
Für Musiker:in, die mit Netzwerk-Pings und Jitter nicht vertraut sind, hier ein kleines Experiment: Mache einen Ping-Test an 8.8.8.8. Diese IP-Adresse ist der primäre DNS-Server für Google DNS und einer der beständigsten Server im Internet.
Sie werden feststellen, dass die Ergebnisse bei jedem gesendeten Paket schwanken können. Manchmal kann die Zeit um +5ms… -10ms… -1ms… +7ms…, oder das Paket wird ganz verworfen. Es ist selten gleich.
Dies wird durch den Netzwerkverkehr verursacht und stellt in einer Musikumgebung ein größeres Problem dar, weil jede:r Musiker:in in einer Online-Session diese Schwankungen hat. Das musikalische Timing ist nicht nur verzögert, sondern auch in Bewegung. Es gibt keine Lösungen, um den Netzwerkverkehr vorherzusagen und auszugleichen.
Wir können lernen, mit Latenzzeiten im Bereich von 20-30 ms umzugehen, vielleicht sogar mit 50 ms oder mehr, wenn es absolut zuverlässig ist. In öffentlichen Netzen herrscht jedoch viel Verkehr, so dass selbst die besten Verbindungen schwanken, Pakete fallen gelassen werden, sich verzögern, zurückgesetzt werden usw. Musiker:innen sind sensibel genug, um eine Änderung von 5 ms zu spüren, so dass diese Latenzschwankungen störend sind, vor allem, weil sie unmöglich vorherzusehen sind.
Ich habe einige Musiker:innen gesehen, die Duo-Videos spielen, sogar mit Latenz.
Ich würde vermuten, dass sie nicht wirklich geschriebene Musik spielen, und es sieht so aus, als würde es am besten mit einer:m Rhythmus-Geber:in auf der einen Seite und einem Solo auf der anderen Seite funktionieren. Es scheint zu gehen, aber nur so lange, bis es an der Zeit ist, Teile zusammen zu spielen. Das Hinzukommen einer dritten Stimme oder Instrument ist der Punkt, an dem es dann schließlich scheitert.
Und für alle, die denken, dass 5G-Verbindung vor der Tür steht — auch wenn diese theoretisch konsistente Übertragungsgeschwindigkeiten von 1-5 ms unterstützen können, werden die Netzwerke immer noch von Schwankungen betroffen sein, die durch den Netzwerkverkehr verursacht werden, und Sie haben immer noch Ihre lokale Umgebung und die Latenzzeiten des Heimnetzwerks.
Die meisten Audioplattformen erzeugen Latenz durch die digitale Audiocodierung. Videoplattformen müssen sowohl Audio- als auch Videodaten codieren. Und wenn Sie keine kabelgebundene Verbindung zum Internet haben, gibt es zwischen Ihrer Audioquelle und Ihrem WiFi-Router eine Menge Latenz.
Aber: Kann es selbst mit dem “idealsten” Set-up, einer direkten Glasfaserverbindung zwischen zwei Hosts funktionieren?
Schlussfolgerung
Laut dem Mathematiker und Physiker Philippe Kahn gibt es immer noch ein großes Problem, das Musiker daran hindert, ein Echtzeit-Erlebnis zu erreichen:
Einsteins Relativitätstheorie, nach der sich nichts schneller als mit Lichtgeschwindigkeit fortbewegen kann.
Neben der Mathematik ist eine der vielen Leidenschaften von Philippe Kahn seine lebenslange Beschäftigung mit klassischer Musik und Jazz.
„Egal wie effizient das Netzwerk und die Ausrüstung sind, Latenzzeiten sind unvermeidlich. Daher läuft das Problem der Echtzeit-Fernübertragung von Musik auf die Frage hinaus: „Welche Latenzzeit ist akzeptabel?“ Meiner persönlichen Meinung nach sind 10 ms das Minimum für alle Musikstile. Je weniger, desto besser. Aber es wird immer eine gewisse Latenzzeit geben. Man kann Einstein und die Gesetze der Physik nicht übertreffen, außer in Science-Fiction-Büchern, in denen wir durch die Zeit reisen, was sehr lustig ist!“
Die Lichtgeschwindigkeit hat über eine Entfernung von 1500 km eine Latenzzeit von etwa 5 ms. Eine Netzverbindung kann unter perfekten Bedingungen nicht schneller sein als diese Zeit.
Seit der Veröffentlichung der ersten Version dieses Beitrags habe ich eine Menge gelernt.
LoLa
In einem Fall habe ich etwas über LoLa gelernt. Dies scheint die beste Lösung zu sein, um Musiker:innen das Spielen über Entfernungen zu ermöglichen. Leider ist es keine Lösung für Privatanwender und erfordert sehr spezielle Hardware und eine leistungsstarke 1-GB-Clear-Path-Verbindung zwischen den Standorten. Die Hardware hilft, die Latenzzeit zu verringern, und die Clear-Path-Datenverbindung trägt dazu bei, durch den Netzwerkverkehr aufkommende Spitzen zu vermeiden. Das Projekt ist dank Universitäten und Forschungslabors auf der ganzen Welt vielerorts installiert und ermöglicht es Musikern, zu proben und in einigen Fällen aufzutreten.
Jack Trip
Eine weitere vielversprechende Option (nur Audio) ist JackTrip.
Dank einer Erwähnung durch NPR erhielt JackTrip meineAufmerksamkeit und scheint am besten über kürzere Strecken zu funktionieren, maximal 800 Km. Jacktrip verkürzt die Zeit, die benötigt wird, um Ihr Audiosignal in Pakete zu kodieren, die über das Internet gesendet werden können. Erheblich.
Leider haben die meisten von uns keine perfekten Netzverbindungen. Wir haben mit dem Netzwerkverkehr zu kämpfen und müssen versuchen, die Schwankungen zwischen mehreren Musikern auszugleichen, die versuchen, eine Verbindung mit unterschiedlichen Latenzzeiten herzustellen. Online ein Echtzeitgefühl zu erreichen, wird bei Musik nicht funktionieren, obwohl unser Gehirn lernen kann, dies zu kompensieren und vorherzusagen.
Das heißt aber nicht, dass wir nicht online gehen und ein bisschen Spaß haben können.
Finde mehr über Caleb und Latenz heraus:
