Immersiivinen kierros Rembrandtin maalaukseen vuodelta 1632

Vuorovaikutteisessa dioraamassa tohtori Nicolaes Tulpin anatomialuentoa (The Anatomy Lesson of Dr. Nicolaes Tulp) esittävän maalauksen seitsemän lääkäriä ovat saaneet uuden elämän kolmiulotteisina hahmoina eleineen, liikkeineen ja puheineen. Anatomian oppitunti pidettiin tiettävästi Amsterdamissa kirurgikillan salissa, jonka mallinnuksessa on käytetty 1700-luvun kuvia ja fotogrammetriaa. Dioraama rekonstruoi tämän tärkeän hetken, jolloin tieteen ja taiteen historia yhdistyivät. Aalto-yliopiston Medialaboratoriossa luotu teos esiteltiin Ars Electronica -festivaaleilla 7.–11. syyskuuta 2017 Linzissä, Itävallassa.

Kurkistus tulevaisuuteen

Dioraamassa käytetty tekniikka edustaa uusinta valtavirtaa: HTC Vive -laitteisto ja siihen liittyvä STEAM VR -ohjelmisto julkaistiin kaksi vuotta sitten. Niille ei siis ole vielä ehditty tuottaa sisältöjä kovinkaan paljon.

"Tällä hetkellä maailmassa ei ole montaakaan meidän esitystämme vastaavaa tuotantoa. Koko Ars Electronicassa laskimme olevan kolme teosta, joissa käytettiin HTC Vive -teknologiaa ja virtuaalitodellisuutta, omamme mukaan lukien. Tietojemme mukaan esityksemme oli ainoa, joka tarjosi samanaikaisesti sekä täyden immersion että kokonaisvaltaisen vuorovaikutteisen kokemuksen", kertoo Aalto-yliopiston uuden median professori Lily Díaz-Kommonen, joka on projektin käynnistäjä, tuottaja ja suunnittelija.

On olemassa teoksia, jotka yrittävät päästä “maalauksen sisään”. Monissa näistä käytetään erilaisia ​​tekniikoita, kuten kuvapohjaista 360 asteen stereoskooppista panoraamaa. Näitä ei kuitenkaan pidetä oikeina virtuaalitodellisuuden esityksinä, sillä niissä kuvaa heijastetaan ruudulle perinteisen elokuvan tapaan. Tällaisia teoksia ovat muun muassa tunnetut klassikot; Salvador Dalín Angelus de Millet'n arkeologiset muistot; Hieronymus Boschin Maallisten ilojen puutarha, jossa on käytetty enimmäkseen 2D-animaatiota maalauksen kuvitteellisessa tilassa liikkumiseen, ja Pablo Picasson Guernica, joka käyttää 3D-mallinnusta erottamaan hahmot ja taustan toisistaan ja siten mahdollistaa maalauksessa liikkumisen.

Useiden asiantuntijoiden yhteisprojekti

Vuorovaikutteisen dioraaman konsepti ja tutkimus käynnistyivät vuonna 2011, kun Díaz-Kommonen oli sapattivapaalla Carnegie Mellon -yliopiston viihdeteknologian keskuksessa (ETC) Yhdysvalloissa. Díaz-Kommonen tutkii ja yhdistää virtuaalisia verkottuneita ympäristöjä, antropologiaa ja uuden median keinoja edistääkseen ihmiskeskeistä suunnittelua. Häntä kiinnostavat eurooppalaiset tutkimus- ja kehityshankkeet digitaalisen teknologian ja kulttuuriperinnön alalla. Hän sanoo saaneensa inspiraation työhön Venetsian vierailullaan sekä luettuaan hiljattain julkaistun Cynthia Klestinecin kirjan Theaters of Anatomy Students, Teachers, and Traditions of Dissection in Renaissance Venice. Projektin tuotanto käynnistyi kesällä 2013.

Alussa projektiryhmän muodostivat Díaz-Kommonen ja animoija, pelisuunnittelija Juha Koppström. Professori Sofia Pantouvaki ja Johanna Ilmarinen Aalto-yliopiston elokuva- ja lavastustaiteen laitokselta auttoivat pukusuunnittelussa luomalla esimerkkejä, joihin työryhmä syventyi tarkasti. Installaatiossa on tietokoneella luotu 3D-ympäristö, jossa esineet on mallinnettu todenmukaisesti. Maalauksen lääkäreiden kolmiulotteisten hahmojen todenmukaiset eleet ja liikkeet on luotu 3D-animaatiolla ja liikkeenkaappauksen menetelmillä. Tästä työstä ovat vastanneet LUME-studiossa Max Mäkinen, Toni Tolin sekä Shareef Askar median laitokselta. Myös kaikki installaation esineet on ohjelmoitu käyttäytymään kuten todellisen maailman esineet. Ling Chen median laitokselta on vastannut käyttöliittymästä ja vuorovaikutussuunnittelusta sekä esimerkiksi kirjan ja saksien toiminnallisuudesta.

Maalauksen tilasta on luotu mallinnus, jossa käyttäjä astuu sisään 3 x 3 metrin vuorovaikutteiselle alueelle, joka on kehystetty Andrea Vesaliuksen vuonna 1543 julkaistusta De humani corporis fabrica -kirjasta tehdyillä läpikuultavilla tulosteilla. Nämä tulosteet on luonut Angela Hernández muotoilun laitokselta. Installaation suunnittelusta on vastannut Díaz-Kommonen muotoilun laitoksen Karola Sahin ehdotusten pohjalta ja sen toteutuksesta on vastannut Mercedes Said median laitokselta. Markku Reunanen median laitokselta on avustanut työryhmää keinotodellisuuden ja vuorovaikutussuunnittelun kanssa.

Taustalla huolellinen rekonstruointi

VR-sovelluksessa luotu virtuaalinen tila on Amsterdamissa Waag Societyn tiloissa (vuodesta 1691) sijainneen anatomiateatterin rekonstruointi. Se luotiin yhdistämällä Amsterdamissa asuvan vapaan tutkijan Judith van der Elstin fotogrammetrian tekniikoita ja 1700-luvun painokuvia. Maalaus luotiin alun perin Waag Societyssa, joka oli Barber’s Surgeon Amsterdam -kirurgikillan tila. Díaz-Kommonen sai tilasta käyttöönsä arkkitehtonisia materiaaleja tarkkoine mittoineen ja kuvauksineen.

"En voinut kuitenkaan tietää tarkkaan, missä Waagin tilassa teos oli luotu. Päätin kuitenkin, että tarvitaan anatomisen teatterin rekonstruktio, koska ajattelin, että tämä on tärkeää sekä taiteen ja tieteen historioitsijoille että yleisölle", hän sanoo.

Professori Díaz-Kommonen on yhdessä Systems of Representation -ryhmän kanssa tehnyt myös muita virtuaalitodellisuussimulaatioita, joissa työ on vaatinut niin paljon historiallista tarkkuutta kuin mahdollista. Tässä työssä tavoitteena oli taiteellisempi lopputulos. Díaz-Kommonen toteaa lisäksi, että teos ei ole peli vaan taideinstallaatio. Kyse ei ole siellä täällä klikkailusta tai tehtävien suorittamisesta, vaan siitä, että esitykseen tutustutaan rauhallisesti syventymällä. Tyypillisen vierailun kesto on viidestä kymmeneen minuuttiin. Tämä tarkoittaa siis, että Ars Electronica -festivaaleilla noin seitsemänkymmentäviisi ihmistä päivässä pääsi suoraan vuorovaikutukseen teoksen kanssa, ja lisäksi monet muut pääsivät kokemaan teoksen antia seuraamalla vierailijan interaktiivista toimintaa viereiseltä ruudulta.

Vuorovaikutteinen dioraama on virtuaalitodellisuudessa tehty työ, mutta se myös tutkii tietokoneavusteisten viestintätyökalujen uusia muotoja. "Meitä kiinnostaa tutkia uusia mediamuotoja, jotka syntyvät huipputason tietokonegrafiikan ja tietoliikenteen yhtymäkohdista. Mikä on niiden suhde vakiintuneempiin audiovisuaalisiin aloihin, kuten elokuvaan? Millä tavoin ne ovat samankaltaisia? Missä he eroavat toisistaan? Näihin kysymyksiin voimme nyt keskittyä", Díaz-Kommonen selittää.

Työryhmä on kutsuttu esittämään dioraama Waag Societyssa Amsterdamissa ja myös muita mahdollisia näyttelykutsuja on tullut. Seuraavaksi ryhmä haluaisi toteuttaa installaation, jossa useampi kuin yksi vierailija voisi kokea teoksen samanaikaisesti ja nähdä toisensa virtuaalitilan hahmoina.