Yamaha AI verwandelt die Bewegung des Tänzers in Pianoklänge

Yamaha hat eine KI geschaffen, die etwas sehr Seltsames tun kann. Die KI ist in ein von Yamaha entwickeltes neues Musiksystem integriert, das speziell darauf ausgelegt ist, die Bewegungen eines Tänzers in Musik zu verwandeln, die von einem echten Klavier stammt. Der Tänzer Kaiji Moriyama konnte mit seinen Bewegungen das Klavier kontrollieren.

Das Konzert, bei dem Moriyama auftrat, hieß "Mai Hi Ten Yu" und wurde von der Tokyo University of the Arts und der Tokyo University of the Arts COI gesponsert. Yamaha lieferte das Original-Musiksystem für die Performance, die menschliche Bewegung in Musik verwandeln konnte, indem sie eine künstliche Intelligenz und Sensoren, die mit dem Körper des Tänzers verbunden waren, einsetzte.

Begleitet wurde der Tänzer und seine Klaviermusik von Spielern des Scharoun Ensembles der Berliner Philharmoniker. Yamaha sieht sein neues Musiksystem als Fortschritt bei der Suche nach neuen künstlerischen Ausdrucksformen und plant, das System weiterzuentwickeln.

Die KI im System befindet sich noch in der Entwicklung und ist in der Lage, die Bewegung des Tänzers in Echtzeit zu erkennen, indem sie Signale von vier am Körper angebrachten Sensortypen analysiert. Die Datenbank verknüpft Melodie und Bewegungen und die KI ist in der Lage, Melodiedaten (MIDI) aus Bewegungen sofort zu erzeugen.

Diese MIDI-Daten wurden dann an ein Yamaha Disklavier-Piano gesendet und in Musik übersetzt. Yamaha sagt, dass das Klavier in der Lage ist, satte Klänge mit sehr geringen Änderungen im Anschlag zu erzeugen.

Links:

Sehen Sie es sich die Performance hier an: https://www.youtube.com/watch?v=21injmy1wsU