Courtesy of Golan Levin and Zachary Lieberman Messa di Voce ( Italian for “voice placement” ) is an audio-visual system in which the oral speech, shouts and songs of two vocalists dramatically increase in real time by custom interactive visualization software. In this installation, abstract communication gives synesthetic relationships, the language of strips, and the writing of a system and production scores are discussed… Within the framework of a sophisticated and fun virtual world. It stimulates the eye and ears, and attracts you to engage with it. It’s responsive, and in a modern day and age people will still feel the need to patch up the idea of non-responsiveness. Another great example of recognition and response is the ideal concept of the future virtually conceptualized by the movie ‘Her’. Levin and Lieberman’s Software transforms every vocal nuance graphs. It’s corresponding complexity, subtly differentiated and highly expressive. Through these displays not only the voices of users are displayed, but it also serves as a ‘device’ to pre-record sound and play during performance. While the voice charts as a tool that observers/performers can use to interpret physical manipulations of these graphics, the screens reformulate the sounds of voices of users, to mimic them, so a cycle of interaction occurs and fully integrates public in connection to a healthy environment. It’s a matter of virtual objects and real- time processing. The installation was made in a different time (2003) than XBOX’s kinect (2010), which uses a similar idea of voice and movement recognition. ‘Messa di Voce’ lies at the crossroads of two extremes, human and technological, and adds the unpredictable spontaneity of the human voice with advanced visual computing technologies and discourse analysis. No words, but deep verbal sounds, the ‘Messa di Voce’ project is designed to reflect on the meaning and implications of speech, sounds provoke acts of language and absorb a language environment. It’s a form of visual art which can certainly be implemented for various technical solutions such as interactive supermarket displays or ad space when you walk along or make a sound. There’s even a possibility something might exist generated from your interests by shouting them out. pinterest link:

Chris O’Shea is a multidisciplinary artist who works a lot with openFrameworks projects. His work always had a kinetic approach and he plays a lot with human interaction. Human interaction interferes with the intellect of things and it lets objects recognize you.

Hand From Above is the latest project from Chris O’Shea, a joint co-commission between FACT: Foundation for Art & Creative Technology and Liverpool City Council for BBC Big Screen Liverpool and the Live Sites Network. It premiered during the inaugural Abandon Normal Devices Festival.

Inspired by Land of the Giants and Goliath, the project aims to remind us of mythical stories by mischievously unleashing a giant hand from the BBC Big Screen. Passers are playfully transformed being tickled, stretched, flicked or removed entirely in real-time by a giant deity.

Fitted with a CCTV camera, The BBC Big Screen is linked into a computer that runs the custom built software then outputs to the screen. The software picks a person based on their proportions & how alone they are from other people, then tracks the blob over time using optical flow. If the giant hand removes, flicks or shrinks a person, firstly it rubs out the person from the live video using the background reference pixels. Then the tracked person is redrawn over the top in relation to what the hand is doing, i.e. being picked up, or flying out to the left of the screen (not shown in this video). When the hand shrinks a person it redraws them into the video at half scale. When there is too big a crowd it resorts to tickling people, with a random selection.

Many people thought it was a real hand, or at least controlled by an operator. Many didn’t care how it worked. People liked seeing themselves on a big screen and then were completely surprised when this big hand came in and did something to someone. Apparently one lady said “I haven’t had a man’s hand all over me like that in years!” Chris

Hand from Above was built using openFrameworks & openCV.


Flyknit uses Kinect cameras to capture the motion of nearby observers and then digitally translates the image into swirling, undulating swarms of colours and shapes. Imagine standing near a giant cube that senses your motion and interprets it back to you by displaying colourful, swirling video on each of its four sides, following your motions in a colourful cascade.

flyknit-100038251-orig universal_everything_nike_milan_sketch2universaleverything2

Machine stop door Duologe (gemaakt door Moving Brands)




Machine stop is een interactieve 3D video clip door de Londense band Duologue en creatief bureau Moving Brands. Het is een interactieve meeslepende ervaring die alleen toegankelijk is voor Google Chrome. De muziekvideo is een innovatieve en interessante ontwikkeling in muziekland. De gebruiker kan wisselen van hoek, licht, vorm, danser en de diepte.


De gebruiker is volledig in controle van de video en wordt als het ware regisseur van zijn eigen beeld. Door de muziek als gebruiker meteen om te zetten in visuals voegt het een extra laag toe en creëert de gebruiker een heel ‘eigen’ verhaal om de muziek.


Kinect camera’s, website, 3D printer, software en hardware


Moving Brand gebruikte op maat gemaakte software en hardware om de bewegende 3D data te verzamelen voor de videoclip en verschillende Kinect camera’s om zowel kleur als diepte vast te leggen. Door bepaalde klemmen te laten 3D printen en die te bevestigen aan de camera’s kon het bureau experimenteren met verschillende film stijlen; zowel statief als vloeiende handbewegingen.

Net als Minimaforma gebruikte ze voornamelijk Kinect camera’s.

Petting Zoo FRAC Centre door design studio Minimaforms




Minimaforms is een studio voor experimentele architectuur en design van de gebroeders Stephen en Theodore Spyropoulos. De studio is gestart in 2002 en gebruikt architectuur en design om nieuwe vormen van interactieve communicatie te ontdekken. Ze zoeken de grenzen op van kunst, architectuur en design. De broers werken interdisciplinair en focussen zich op digital design.In 2010 was Minimaforms genomineerd voor de International Chernikhov Prize in architectuur. In 2008 werd hun project Memory Cloud genoemd als een van de top 10 internationale publieke kunst installaties door the Guardian.



Het project Petting Zoo is een ruimte gevuld met ‘levende’ robotten die interactie hebben met het publiek. De robots zijn zo gedesigned dat ze zichzelf verder ontwikkelen door de interactie met het publiek; ze beschikken over een kunstmatige intelligentie. De robots kunnen emoties te vertonen, zoals vrolijk, boos of verveeld. Bezoekers die afwachtend staan te kijken, zullen ze betrekken bij de interactie. Ze kunnen flirten als je ze aait of boos worden als je ze negeert.



Het is een experiment dat laat zien hoe architectuur en techniek nieuwe relaties en betrokkenheid tussen mensen, gegevens en de ruimte kan creëren en veranderen.

Dit project schets een mogelijke futuristische omgeving. Het project roept vragen op: Hoe zal de techniek in de toekomst ons leven bepalen? Zullen er nieuwe communicatievormen komen door middel van techniek, en zo ja in wat voor vorm?




Ieder dier maakt gebruik van een Kinect camera* om de opeenvolging van gebaren en houdingen van deelnemers te registreren en te lokaliseren door middel van blobdetectie** en optische flowanalyses. Er worden geen andere sensoren gebruikt.

Hoe langer het dier leeft, hoe meer het leert. De ontwerpers hebben de dieren voorzien van een rudimentaire versie van een zelflerend vermogen dat fungeert als geheugen, waardoor ze een reeks gedragingen onthouden die passen binnen de context van de situatie.


*Kinect bestaat uit een camera en bijbehorende software voor de Xbox 360, waarmee de spelcomputer zonder controller is te besturen. Het is gebaseerd op een extra accessoire waarmee interactie met de Xbox 360 mogelijk is door middel van gebaren die gemaakt worden met het volledige lichaam, gesproken tekst of door voorwerpen te laten ‘zien’ aan de camera van het accessoire.

**Blob detective is een rekenkundige methode die erop gericht is eigenschappen op te sporen zoals helderheid of kleur.