Brain crystal / interaktív mapping objekt

Brain Crystal mapping

Interaktív audiovizuális agyhullám vezérelt installáció / performansz

Koncepció, vizuális szoftver, 3d terv, konstrukció: Sztojánovits Andrea

Külön köszönet: Hegyi Zsolt

Kutatók éjszakája, 201309, A38, Budapest

Ludwig Múzeum, 201401

A Brain „Crystal” Mapping egy komplett audiovizuális, eeg szenzorral vezérelt, fizikai térben architektúrálisan megjelenő nonfiguratív vizualitású kísérleti installáció, mely a látás és a hallás komplex, egymásra és a nézőre ható folyamatait térképezi agyhullámok vizsgálatán keresztül. Az installáció műfaji komponensei (audio, vizuál, architektúra, interaktivitás) a maguk területén kísérleti jellegűek és a kettősség (sztereoszkopikus, binaurális ) elvén alapulnak. (Az installáció előképe a 2012-ben elkészült Kristálykórus, melyről részletesebben „Az installáció technikai megvalósítása” fejezetben írok)

Vizualitás és architektúra szempontjából a vetített kép és az épített szerkezet sztereoszkopikus formában jelenik meg, ezáltal az emberi binokuláris látás, vagyis sztereolátás tulajdonságát használják fel.

Az installáció audio környezete egyrészt az installációt körülvevő hangszóró sokaságból szóló atmoszferikus hangtömeg, másrészt az installációt aktívan ‘használó’ szemlélő, beavatkozó néző fülhallgatón keresztül kapott binaurális hangokból tevődik össze.

Ludwig Museum Budapest, Ludwig Next: Monochrome Clack exhibition, 2014

ZENEISÉG

Az installációban kétféle hangforrás rendszer helyezkedik el. Az egyik a külső – installációt körülvevő hangszórókból áll, melyet a passzív nézők hallhatnak, a másik a belső – aktív nézőre applikált fülhallgató, melyet csak ő hall.

Az installáció hátsó része, a hangrendszer:

Az installáció külső hangja felhasználja az ambient, mint stílus elméleti- és gyakorlati elemeit. Az ambient eredetileg egy olyan zenei műfaj, mely a természethangokat, környezeti zajokat manipulálja, ebből teremt egy új atmoszférát. A zenei minimalizmus nem ritmusközpontú ága, melynek atyjai között említhetjük Philip Glass-t, John Cage-et vagy Brian Eno-t („Az általa megálmodott “Zene liftre” vagy a “Zene légikikötõk számára” olyan finom zörejstruktúrájú kísérletek, melyek azt tekintik feladatuknak, hogy pozitívan befolyásolják az emberek hangulatát, és felébresszék saját belsõ pszichoterápiás mechanizmusaikat úgy, hogy mindeközben ne vonják el a figyelmüket, és ne avatkozzanak bele a zenei mûélvezetbe.”(1)

Az installáció belső hangja binaurális hang (Heinrich Wilhelm Dove 1839-ben felfedezett egy olyan jelenséget, melynél – a sztereo hallást kihasználva – az agy két különböző frekvenciájú hangra (fizikai inger) egy harmadik hangot – fantomhangot – generál.(2) Ezt az eljárást meditációban, relaxációban használják javarészt az agyfrekvenciák 8-12Hz állapotba generálásával, melyeket összefoglaló nevükön alfa agyhullámoknak neveznek és a szervezet alvás és ébrenlét közötti nyugalmi állapotát idézik elő.

VIZUALITÁS

Audiovizualitás – Az installáció a zeneiség bekezdésben felvázolt zenei műfajból – ambient – kiindulva nemcsak zeneileg, hanem vizuálisan is a finom áthatások, rezgő szín- fény-árnyék változások nyomvonalán halad, melyben a két médium szimbiózisba kerül interakció – agyhullámok által, vagyis a vizuális tér a zenei mező indirekt reaktív elemévé válik, lényegében egy interaktív színorgonává avanzsálódva. A színorgona nagy múltra tekint vissza, már az 1700-as évektől több olyan tudósról van tudomásunk, kik hangképeket vizsgáltak különféle épített gépeken keresztül, mint például Johann Leonhard Hoffmann, aki Newton nyomán indult el és azt állította, hogy a nap spektrumának 7 fő színe egyenlő a fríg hangskálával, vagy a múlt századból Moholy-Nagy Light-Space Modulátora, Raoul Hausmann Optophone vagy Spetrophone-ja vagy akár Mary Ellen Bute megközelítése, aki úgy gondolta, hogy a film lényegében ritmizált fény. (3)

Vizuális megjelenésében mind virtuálisan – számítógépes sztereoszkopikus animáció révén – mind fizikálisan – épített faszerkezet által – is megjelenik az installáció („A sztereó kifejezés Charles Wheatstone nevéhez kapcsolódik, a sztereosz (térbeli) és a szkopein (nézni) görög szavak összevonásával konstruálta.(4) Sztereoszkopikus kép az, melyet a szem térbelinek észlel sztereopszis által. A sztereopszis olyan vizuális észlelési folyamat, mely a két szem két különböző látott vetületéből egy harmadik térbeli képet állít össze.

A Brain „Crystal” Mapping egy olyan színorgonára írt audiovizuális interaktív kórusmű, mely a 21. század technikáit használja fel. Egy új vizuális irányzat technikájával, un. Architekturális mapping vetítéssel kerülnek a sztereo-három dimenziós faszerkezetre a vetített képek.

Screenshotok az animációkból:

ARCHITEKTÚRA

Az installáció egy fából épített két méter magas kristályszerkezet – elemei háromszög alapú szabálytalan „duplikált” gúlák. Az installációra sztereoszkopikus kép vetül, mely formailag is egy az egyben visszaköszön a szerkezeti felépítésen, vagyis a sztereokép három dimenzióban is megjelenik. A szerkezeten kívüli térben 14 hangszóró helyezkedik el. A szerkezetre feszített vászonra mozgókép vetül. A 14 alapelemből álló szerkezetnek 14 hangja van. A vetített animációk és hallható hangok az adott agyfrekvenciákhoz rendelt változásokat szeparáltan érzékelik, vagyis a 14 frekvencia forrás 14 jelen keresztül változtatja az animációkat és a hangokat.

A hangok természete ambiens, vagyis javarészt dallam nélküli végteleníthető zenei ‘szőnyeg’. Az animációk a szerkezetet a maga struktúrájában értelmezik és igazodnak hozzá színekkel és fekete- fehér, vagyis fény-árnyék változásokkal valamint ezen változások szerkezeti variációival.

INTERAKTIVITÁS

Az installáció második fázisában – a már megépült szerkezet és elkészült audiovizuális rendszert követően kezdődik az agyszenzor – eeg – beépítése, mely által a néző kapcsolatba tud lépni, továbbá irányítani tudja az installációt. Az eeg szenzor – Emotiv Epoc eeg neuroheadset – elektródákon mért jeleken keresztül közvetíti az agyfrekvenciákat a koponya különböző területeiről. Ezeket a jeleket átalakítva az installáción az animáció változásai lényegében jelmapping-nek foghatóak fel, tehát a fejre applikált szenzor elektródáinak felülnézeti elhelyezkedése az installáció területi változásait irányítja, ezáltal ‘láthatóvá téve’ a különböző agyi aktivitásokat.