Huawei skomponował symfonię przy pomocy sztucznej inteligencji

"Sound of Light" to najnowszy projekt Huawei pokazujący, że technologia może przenikać do świata sztuki i pomagać w przekraczaniu artystycznych granic. W jego ramach zorza polarna została zamieniona w symfonię.

To unikalne widowisko stworzone przez cenionych artystów "we współpracy” ze sztuczną inteligencją zaszytą w procesorze smartfona. Premierowe wykonanie symfonii „z udziałem” AI miało miejsce 28 listopada w słynnej wiedeńskiej sali koncertowej Musikverein – zagrała ją Synchron Stage Orchestra pod batutą Jamesa Shearmana.

Zorza polarna, sfilmowana w Norwegii w pobliżu miasta Tromsø przez uznanego fotografa Kjetila Skoglia, stała się inspiracją dla muzyków, którzy podjęli wyzwanie, by spektakl świetlny tworzony przez naturę zamienić w symfonię.
Inżynierowie Huawei stworzyli dedykowany temu projektowi system sztucznej inteligencji, bazujący na AI wbudowanej w procesor smartfona Mate 20 Pro, potrafiący analizować właściwości światła tak niezwykłego jak zorza polarna, interpretować jej dynamikę i wyrażać ją dźwiękiem. Światowej sławy kompozytor Mark Sayfritz podjął się przetłumaczenia języka światła na język muzyki.

- Zastosowanie sztucznej inteligencji w mojej muzyce otworzyło zupełnie nowe możliwości twórcze. Wprowadziłem materiał filmowy z nagraniem zorzy polarnej do oprogramowania, które przeanalizowało takie elementy jak kolor, rozmiar, kształt i prędkość. Następnie wygenerowałem wariacje muzycznych fraz, w oparciu o to, co było widać na nagraniu wideo. AI rozpoznała poszczególne ujęcia zorzy i modulowała dźwięki tak, aby odzwierciedlały jej intensywność w kompozycji – powiedział Syfritz.

Te wariacje dźwiękowe posłużyły dyrygentowi i kompozytorowi Jamesowi Shearmanowi, do stworzenia scenariusza widowiska "Sound of Light". Realizacja symfonii połączonej ze spektaklem wizualnym wymagała intensywnego przetwarzania danych w czasie rzeczywistym i wykorzystania komputerów o dużej mocy obliczeniowej.

Maciej Zasada z firmy Unit 9, pracujący nad projektem, opowiadał o kulisach powstania symfonii.

- Wszystkie zmienne, które pojawiają się na zdjęciach zorzy polarnej, to dodatkowa warstwa w muzyce – jej tony czy akcenty. Zaczęliśmy od trenowania sztucznej inteligencji na bazie zdjęć zorzy, które podzieliliśmy na 10 rodzajów. Każdy rodzaj miał innego kompozytora. Mieliśmy bardzo mało czasu, bo tylko trzy miesiące, ale nam się udało – wspomina.

Inżynierowie Huawei przekształcili Huawei Mate 20 Pro – pierwszy na świecie smartfon z podwójnym chipsetem obsługującym sztuczną inteligencję – w komputer koordynujący ten niesamowity spektakl. Podczas występu na żywo, przekonwertowane dane były przekazywane za pośrednictwem smartfona do syntezatorów.

- Sztuczna inteligencja od dawna jest priorytetem w działaniach badawczo-rozwojowych Huawei. AI pozwala nam przekroczyć nasze ograniczenia, umożliwia osiąganie tego, co kiedyś wydawało się być poza naszym zasięgiem. Brzmienie światła dokładnie oddaje ten pomysł – powiedział Peter Gauden, Global Senior Product Marketing Manager, Huawei CBG.