Dat Anka Mulder, voorzitter van het College van Bestuur, tijdens de Opening Hogeschooljaar niet écht achter de piano zat, dat kon iedereen wel zien. Maar de oplettende en muzikale kijker zag ook dat de handen van Anka precies de juiste toetsen bespeelden die hoorden bij de muziek. En dat is de verdienste van studenten van het Extended Reality Lab.
Eerder dit jaar maakten studenten van het Extended Reality Lab, ook wel het XR Lab genoemd, het al mogelijk om virtueel een concert te bezoeken. Dat project is inmiddels afgerond, maar de techniek die daarvoor gebruikt werd, werd in eerste instantie doorontwikkeld in het Anka-project. “We hadden voor het eerdere project twee opdrachtgevers”, vertelt student Elias Issatayev. “Metropool wilde echt die beleving creëren en Xsens was geïnteresseerd in de animatietechniek die gebruikt werd om de handen op realistische wijze de muziekinstrumenten te laten bespelen. Uiteindelijk bleven we wat betreft die handanimatie steken op 70% en in dit nieuwe project wilden we echt naar 90 tot 95%.”
Leren op basis van data
Elias heeft het machine learning-gedeelte voor zijn rekening genomen. “Ik heb veel onderzoek gedaan en artikelen gelezen. Het is een nieuwe techniek die we gebruiken, die gebaseerd is op een algoritme dat leert op basis van data. Uiteindelijk heb ik een hele dataset opgebouwd en geprobeerd om de input data, een geluidsbestand met bijvoorbeeld pianomuziek, te laten matchen met de output data, een animatie van iemand die dat liedje speelt. Hoe meer data je hebt, hoe meer het algoritme kan leren en hoe accurater deze wordt.”
Het is anders dan programmeren, want daarbij bouw je eigenlijk steen voor steen een huis, maar met machine learning weet je nooit hoe snel het algoritme iets leert: misschien morgen al, maar misschien ook nooit.
Innovatieve handschoen
Voor de Anka-video wordt in eerste instantie gebruik gemaakt van dezelfde techniek, maar dan krijgen de studenten de beschikking over een zogeheten data glove, een innovatieve handschoen. “En die kan precies de bewegingen nabootsen die we wilden. Omdat het liedje dat Anka speelt van tevoren bekend was, konden we ons daarop instellen. Machine learning was daarom, in tegenstelling tot het Metropool-project, niet meer nodig. Daar hield mijn project dus eigenlijk op, maar wat ik gedaan heb is wel een inspiratie geweest.”
Magie
Toch vindt Elias zijn onderzoek naar machine learning allerminst verspilde moeite. “Het was heel interessant om onderzoek naar te doen. Het is anders dan programmeren, want daarbij bouw je eigenlijk steen voor steen een huis, maar met machine learning weet je nooit hoe snel het algoritme iets leert: misschien morgen al, maar misschien ook nooit. Je moet dus altijd andere dingen blijven proberen. Het voelt bijna als magie, niemand weet wat zich daar eigenlijk afspeelt.”
Heel populair
Volgens hem is performance art de toekomst. “Maar het hangt ook af van hoe de wereld er na corona uitziet. Het wordt nu steeds gangbaarder. En misschien lukt het nog niet dit jaar of volgend jaar”, sluit Elias af. “Maar daarna denk ik dat het heel populair wordt.”
