Temporal Constructs: creatief dialoog tussen mens, AI en digitaal erfgoed

Het doel van dit project

In Temporal Constructs onderzoekt kunstenaar-onderzoeker Jacco Gardner hoe kunstmatige intelligentie - in het bijzonder modellen voor taal- en spraakherkenning - kan samenwerken met creatieve systemen uit de digitale revolutie om nieuwe vormen van audiovisuele expressie mogelijk te maken. Jacco signaleert dat AI, zoals het tegenwoordig gebruikt wordt, vaak creatieve keuzes overneemt in plaats van dat het creatieve professionals ondersteunt. Daardoor dreigt er verlies van wat hij omschrijft als 'collaboratieve intelligentie': het vermogen van makers om sámen met technologie te creëren.

Jacco onderzoekt hoe historische protocollen die ooit gemaakt zijn voor geluid, beeld en licht, opnieuw waarde kunnen krijgen in combinatie met AI.  Dit doet hij door pioniers uit de digitale revolutie van de jaren ‘80 en ‘90 te betrekken, waaronder ontwikkelaars van vroege ‘intelligente’ sequencers en interactieve lichtsynthesizers. In deze periode werd gezocht naar een vorm van collectieve intelligentie tussen creatieve instrumenten, door ze een gemeenschappelijke computertaal te laten spreken. Dit maakte unieke interacties tussen machines en mensen mogelijk. 

Deze talen zijn nog steeds in gebruik, maar de instrumenten en unieke werkwijzen zijn met de komst van computers die “alles” kunnen en technologie onzichtbaar maken, verdwenen. Dit zorgt voor een steeds grotere afstand tussen makers en hun instrumenten, die met de komst van AI alleen maar groter wordt waardoor menselijke autonomie verdwijnt. 

Het doel van het onderzoek is om AI-tools te ontwikkelen als creatieve medespelers, niet als vervangers. Denk aan taalmodellen die vergeten programmeertalen en protocollen uit ons verleden leren, zodat we ze opnieuw kunnen inzetten tijdens live performances of in het creatieve proces. Jacco draagt met dit project bij aan een toekomst waarin menselijke creativiteit, technologische autonomie en digitaal erfgoed hand in hand gaan.

Hoe pakt Inholland dit onderzoek aan?

Samen met internationale pioniers die de digitale revolutie mede hebben vormgegeven, onderzoekt Jacco Gardner, vanuit het lectoraat Innovation in the Music Industry, voor zijn PD-onderzoek hoe historische experimentele, interactie-gerichte systemen – zoals intelligente sequencers en licht synthesizers – destijds zijn ontworpen en welke creatieve principes erin besloten liggen. Vanuit dat erfgoed ontwikkelen we kleine duurzame AI-modellen die in real time kunnen interacteren met zowel oude machines als hedendaagse creatieve software, zodat dit erfgoed weer tot leven komt, en actief relevant wordt in onze huidige tijd. Vanwege de extreme limitaties en daardoor geheugenefficiëntie van historische protocollen werkt deze methode niet alleen beschermend voor dit gedachtegoed, maar maakt de methode ook de huidige AI-technologie inclusief en duurzaam.

Het onderzoek vindt op ontwerpende wijze plaats. Dat wil zeggen: al onderzoekend bouwen, testen, documenteren en opnieuw ontwerpen. Artistieke optredens en installaties spelen daarbij een centrale rol. Niet alleen vormen zij de plek waar mens, machine en AI elkaar tegenkomen; zij bieden ook een analysekader voor het onderzoek. Want wat werkt? Waar ontstaat betekenisvolle samenwerking? Wanneer neemt AI over en wanneer ondersteunt AI de creativiteit juist?

Wat is het belang voor het onderwijs?

Voor creatieve opleidingen is de opkomst van AI zowel een kans als een uitdaging. Studenten moeten leren te werken met systemen die steeds vaker creatieve keuzes beïnvloeden. Dit project helpt hen daarbij door aan te tonen hoe AI niet alleen een hulpmiddel is, maar ook een gesprekspartner kan worden. Wij ontwikkelen toegankelijke AI-raamwerken die functioneren op reguliere apparatuur en goed aansluiten bij creatieve instrumenten die studenten reeds gebruiken.

Tijdens onderwijspilots testen we deze systemen om te begrijpen wat zij doen met creatieve autonomie, met het leerproces en met de manier waarop studenten technologie benaderen. Daarnaast wordt er ook gereflecteerd op de techno-optimistische visie van pioniers met focus op democratisering en inclusiviteit. Daarmee leveren wij nieuwe inzichten op voor curriculumontwikkeling, didactiek en digitale geletterdheid. Zo ontstaat een onderwijspraktijk waarin AI niet het creatieve werk uit handen neemt, maar studenten juist stimuleert tot onderzoek, experiment en kritische reflectie.

Hoe betrekken we het werkveld?

We werken intensief samen met het werkveld. Partners zoals Cycling ’74, Llamasoft, V2_Lab for the Unstable Media en Thunderboom Records bieden technische kennis, testfaciliteiten en kritische reflectie. Hun kennis, vragen en ervaringen vormen een belangrijk onderdeel van het onderzoek. Door deze partijen te betrekken bij interviews, gezamenlijke ontwikkelsessies, artistieke experimenten en publieksmomenten kunnen we unieke gesprekken voeren tussen generaties technologiemakers.

Wat zijn de verwachte resultaten?

Vanuit het project Temporal Constructs leveren we een AI-bemiddelingssysteem op dat systemen voor creatie uit verschillende generaties met elkaar laat communiceren, en dat ruimte laat voor menselijke regie en creativiteit. Denk hierbij aan het gezamenlijk leren en creëren met vroege digitale synthesizers en vergeten programmatuur uit de jaren tachtig en negentig. Daarnaast ontwikkelen wij nieuwe audiovisuele optredens en installaties waarin de samenwerking tussen mens, machine en AI zichtbaar en ervaarbaar wordt.

Hiermee bouwen we aan een levend archief waarin we protocollen, creatieve werkwijzen, interviews en codevoorbeelden verzamelen. Dit archief stellen wij beschikbaar voor makers, onderzoekers en studenten, zodat de kennis die anders verloren dreigt te gaan, een actieve rol speelt en opnieuw betekenis krijgt voor de hedendaagse praktijk.

Ook ontwikkelen we frameworks en educatieve materialen waarmee andere makers en opleidingen met dezelfde principes kunnen werken. Publicaties en presentaties, zowel artistiek als wetenschappelijk, ondersteunen de verspreiding van de opgedane inzichten. Zo dragen we met dit project bij aan een toekomst waarin AI en creativiteit elkaar versterken in plaats van te verdringen.