약 15세기 경부터 ‘Art’와 ‘technology’라는 그 의미가 분리되어 사용되기 시작해 현재는 전혀 별개의 상반되는 분야로 알려져 있다. 특히 근세 이후 과학기술의 비약적인 발전으로 그 간격은 커지고 전혀 다른 장르로 인식됐다. 하지만 이렇게 분리되어 사용되고 있는 예술과 과학기술이 하나의 줄기로부터 나왔다는 것은 그들이 ‘같은 의미’의 ‘다른 표현’이라는 것을 말해준다.예술은 우리가 세계를 시각화하는데 도움을 주는 수단으로서, 과학기술은 새로운 아이디어와 개념들로부터 우리가 상상해 온 것들을 현실화하는 역할을 해왔다. 즉, 예술의 변화는 우리가 세계를 보는 방법에 변화를 가져오고, 과학이 자연을 바라보는 방법에도 영향을 미치게 된다. 일반적으로 예술이 과학보다 10년 정도를 앞서간다고 하는데 이렇게 볼 때 예술과 과학은 분리된 개념에서 벗어나 하나의 흐름을 타고 합쳐져야 할 것이다.예술이 표현을 위한 수단과 재료로서 과학기술을 이용한 반면, 예술은 과학기술에 새로운 해석을 제공하거나 과학적 발견의 동기를 부여했다. 큐비즘(다양한 시점에서 바라본 모습들을 한 면에 중첩해 그리는 기법)이 아인슈타인의 상대성 이론에 영향을 끼쳤다는 것은 잘 알려진 사실이다. 빛의 해석에 대한 화가들의 호기심과 탐구정신은 광학의 발전을 이끌었으며 광학과 색채 이론의 발달은 인상주의 예술을 잉태했다. 또한 인간 시각 인식의 불완전성을 탐구했던 네델란드 출신 화가 에셔의 그림들은 뇌의 인지 과정에 대한 연구에 동기를 부여했다.
과학과 예술의 ‘인터랙션’근세 이후 분리됐던 과학기술과 예술은 20세기에 들어서면서 다시 관계를 갖게 된다. 1960년대 중반부터는 전 세계적으로 두 분야의 협동 작업에 대한 새로운 경향이 생성됐으며 70년대에서 80년대에 걸쳐 이러한 움직임은 컴퓨터 기술에 기반한 디지털 미디어 기술에 집중됐다. 특히 디지털 미디어 기술의 발달은 예술작품에 인터랙티브한 기능을 부여하는 결정적인 역할을 했다. 아트에서의 인터렉션은 기술과 떼어놓고 생각할 수 없다. 이것은 디지털 기술의 발달로 컴퓨터로 예술 작업 활동을 한다는 것을 말하는 것뿐만 아니라 관객을 포함한 환경과 관련해 예술작품이 진행되어 나가는 전 과정을 컴퓨터가 제어하고 관리한다는 것이다. 이러한 예술작품에 친숙하게 되면 관객은 아트 시스템의 일부분이 되어간다. 전통적인 예술에서는 정보의 흐름이 단방향(one-way)이었다. 즉, 정보는 예술가로부터 수동적인 관객에게 전달된다. 그러나 예술가와 관객이 함께 참여자 역할을 하는 오늘날의 예술 활동에서는 컴퓨터, 즉 기술의 역할이 대단한 잠재력을 가지고 있다. 관객의 행동이 예술작품에 영향을 줘 예술작품을 변화시키게 된다. 기술의 도입이 없었다면 불가능한 일들이다. 기존의 미디어는 결과를 바꿀 수 없지만, 인터랙티브 아트는 관객의 취향에 따라 예술 행위에 변화를 줄 수 있고, 원하는 방향으로 결과를 바꿔나갈 수도 있다. 이러한 점은 관객들로 하여금 흥미를 유발시켜서 작품에 더욱 몰입하게 한다. 컴퓨터 공학자의 관점에서 보면 인터랙티브 아트 시스템에서 예술가는 서버의 역할을 하고 관객은 클라이언트의 역할을 한다고 할 수 있다.인터랙티브 아트의 장점은 창조적 표현, 유연하고 다양한 표현, 대화적 표현, 즉흥적 표현이 가능하다는 것이다. 단점은 작품과 관객 사이의 상호작용이 실시간에 처리돼야 하며, 정확해야 한다는 점이다. 또한 작품의 설치 비용이 비싸며 기술의 오동작이 작품을 망칠 수 있다는 부담이 있다. 인터랙티브 아트공학적인 관점에서 인터랙티브 아트는 하나의 지능형 시스템으로 해석할 수 있다. 관객의 움직임 등 환경 정보를 센서, 카메라 등을 사용해 입력받은 후 이 정보들을 실시간으로 처리, 분석, 인지하여 그 결과를 영상, 그래픽, 음향 등의 매체를 사용하고, 예술적 표현으로 출력하며 이러한 프로세스가 연속적으로 끊임없이 반복되는 환경을 인지하고 이에 반응하는 지능적인 시스템이다. 경우에 따라서는 입력 정보로부터 관객의 감정이나 감성 상태를 측정하여 이를 예술적 표현으로 출력하는 경우도 있다. 인터랙티브 영화인터랙티브 영화에서는 관객이 직접 주인공이 되어 다른 인물들과 음성이나 동작을 통해 상호작용하면서 이야기를 이끌어갈 수 있다. 관객은 이야기의 중심에 위치하므로 기존 소설이나 영화에서와 다르게 극대화된 현실감과 몰입감을 느낄 수 있다. 인터랙티브 영화 시스템은 외향적으로 영상출력을 위한 프로젝터와 대형 스크린, 음향 출력을 위한 스피커, 그리고 사용자의 음성과 동작을 입력받기 위한 마이크와 위치 센서로 구성된다. 스크린과 스피커를 통해서는 관객이 참여하고 이야기가 소리와 영상으로 표현된다. 관객은 마이크를 통해 컴퓨터가 만들어낸 캐릭터에게 말을 하거나 다른 사용자에게 말을 전달할 수 있다. 또한 팔과 다리에 부착된 위치 센서들을 통해 사용자의 동작을 인식하게 된다. 인터랙티브 영화 시스템은 소프트웨어적으로는 음성 인식, 동작 인식, 이야기 생성 및 그래픽 생성기로 구성된다. 이야기 생성기는 다양한 부분 대본들을 관객의 선택에 따라 보여줘 관객이 하나의 이야기를 만들어 갈 수 있도록 해주는 역할을 한다. 그래픽 생성기는 관객이 표현하는 주인공과 그 외에 이야기에 참여하는 가상 캐릭터들이 말하고 행동하는 모습을 생성해주는 기능을 한다.오페라 프로젝트MIT 미디어 랩에서 진행 중인 ‘오페라 오브 더 퓨처(opera of the future)’ 프로젝트에서는 전문적인 음악가뿐만 아니라 아마추어 음악 애호가도 쉽게 사용할 수 있고, 자신의 감정과 단어 표현만으로도 아름다운 음악을 만들어 낼 수 있는 도구를 개발하고 있다. 센서와 시그널 프로세싱 기술, 그리고 분석과 합성을 할 수 있는 소프트웨어로 구성된 이 시스템은 사용자의 행동을 분석하고 그의 음악적인 요소 등을 해석함으로서 새로운 형태의 음악을 만들어내는 도구로 사용되고 있다. 또한, 현을 켜는 하이퍼스트링(hyperstring)이라는 도구는 악기를 사용할 때 사용자의 행동과 악기로부터 나오는 소리를 분석하고 컨트롤해 음악을 만들어 내는 도구로서 사용자가 쉽게 사용할 수 있게 되어 있다. 이와 같이 더 이상 악기를 통해 음악을 만들어 내는 것이 예술가들의 영역으로 국한된 것이 아니라, 음악 애호가라면 누구나 쉽게 접할 수 있는 수단으로서 악기가 제시됐고, 이로써 과학기술과 예술의 만남은 음악의 진보적인 미래를 만들어가고 있다.
마법의 책미국 워싱턴대학의 HIT(Human Interface Technology) 연구소에서는 실세계와 가상세계를 넘나들 수 있는 이야기책을 선보였다. 이 ‘마법의 책’은 겉으로 보기엔 컬러 그림과 글로 이뤄진 평범한 책으로 보이지만, HMD(Head Mounted Display)를 쓰고 펼쳐진 책을 보면 그림들이 튀어 나와 3차원의 가상공간에 보여진다. 또한 HMD에 있는 스위치를 켜면 독자가 가상공간 안으로 들어가 환상적인 가상세계를 경험할 수 있다. 여러 독자가 한 군의 마법 책 주변에 모여 함께 HMD를 쓰고 공동으로 3차원 영상을 경험할 수 있는데 가상환경 안으로 들어가 아바타(avatar)로 표현되어 있는 다른 독자들과도 만날 수 있다.마법의 책에는 실세계에 가상세계가 덧붙여지는 형태의 혼합현실 기술과 아바타로 표현되어 나타나는 독자들 사이의 인터랙션을 다룬 분산 가상현실(collaborative VR) 기술, 카메라에 들어온 영상을 분석해 가상의 물체가 놓여질 위치를 찾아내고 독자의 머리 위치를 추적하는 컴퓨터 비전(computer vision) 기술이 사용된다. 마법의 책은 대중 매체의 하나인 책을 컴퓨터 기술을 이용해 디지털화하는데 그치지 않고 새로운 혼합현실 기술을 이용해 3차원 미디어로 창출해냈다는 데 의의가 크다. 실제로 책 속에 있는 이야기 속으로 들어가 책의 내용을 가상적으로 경험 할 수 있어 독자에게 주는 감동 또한 크며, 단순한 그림과 글로 이야기를 전달하던 방식을 벗어나 애니메이션 형태의 3차원 그래픽으로 이야기를 전달함으로써 내용을 쉽게 이해할 수 있게 했다. 인터랙티브 아트와 과학기술인터랙티브 아트와 로봇기술도 밀접한 관계가 있다. 기존 예술 매체는 주로 관객이 작품을 인지하는 형태이지만 로봇예술은 로봇 스스로가 센서 및 시청각 등의 감각 기능을 통해 관객을 인지할 수 있다는 점에서 차이가 있다. 소위 인터랙티브 퍼포먼스가 가능하다는 것인데 로봇을 매개로 하는 예술의 핵심적인 특징은 로봇의 행위 능력이다. 로봇은 자율적, 반응적, 상호작용적, 적응적, 역동적인 행위를 보여줄 수 있으므로 로봇을 매개로 하는 예술작품에서는 그 주변에서 로봇과 상호작용하는 대상들이 작품의 의미를 좌우하게 되는 것이다. 이미 로봇을 주제로 하거나 로봇을 표현의 미디어로 사용하는 예술작품은 우리 주위에서 많이 볼 수 있다.
가상생명체와 관객의 상호작용도 인터랙티브 아트에서 자주 사용되는 소재이다. 관객 앞에 설치된 스크린에, 가상 동물 또는 식물과 관객의 이미지가 투사된다. 가상생명체는 사람들의 움직임에 반응해 움직이거나 자라게 된다. 결국 관객은 그들 자신의 환경을 스스로 창조할 수 있는 것이다.21세기로 접어들면서 과학기술은 또 한번 비약적인 발전을 하고 있다. IT 이외에, BT, NT 등 새로운 기술들이 등장하고 인간의 삶은 이러한 기술들의 발전으로 과거와는 매우 다른 형태로 변화해 가고 있다. 새로운 과학기술의 발전은 예술가들에게 새로운 표현의 재료와 방법을 제공할 것이며 예술작품에 더욱 다양한 형태의 인터랙티브 기능을 제공할 것이다.@
