프로젝트 명 : 게르하르트 리히터 전 - 우연성의 흐릿한 이미지
프로젝트 기간 : 2022.07.22. ~ 2022.07.27.
프로젝트 내용 : 게르하르트 리히터에 대한 소개와 이미지 처리가 있는 가상의 전시 구성해 보기
사용 데이터 : GOPRO 사진 데이터, Gerhard Richter 그림 이미지, Gerhard Richter에 대한 문서들
사용 방법 : 자연어 처리, Knowledge Graph, BERT Summerizer, GAN
주제 의식
예전에 미디어 전시 프로그램에 연구 보조원으로 참여한 적이 있습니다. 거기서 제가 맡은 업무는 인상파나 간송 등 다양한 주제로 구성된 미디어 아트 전시를 찾은 관람객들의 설문 내용을 분석하는 일이었습니다. 분석을 하면서 생각보다 원본 전시와 미디어 아트 전시에 대한 만족도가 (차이가 있긴 했지만) 적다는 것이 놀라웠고, 미디어 아트 덕분에 다소 전문적일 수 있는 전시를 보다 친근하게 느낄 수 있다는 것을 알게 되었습니다.
 4900 Farben 4900 Colours 2007 680 cm x 680 cm Catalogue Raisonné: 901 Lacquer on Alu Dibond |
 |
이번 프로젝트는 이러한 경험을 떠올리면서 진행했습니다. 제가 주제로 삼은 것은 세계적으로 유명한 예술가인 게르하르트 리히터(Gerhard Richter)입니다. 리히터는 추상부터 구상, 채색부터 단색을 아우르는 다양한 스타일의 작품들을 선보였으며, 그 중 그를 대표하는 스타일 중 하나가 바로 마치 블러 처리를 한 사진처럼 보이는 photo-paintings입니다.
 |
 |
사진을 모방해서 그린 유화의 표면이 미처 마르기 전에, 붓이나 스크린으로 밀어 흐릿하게 만드는 기법은 리히터가 만든 세계의 핵심에 위치합니다. 따라서 이 프로젝트를 통해, 1) 'photo paintings'이라는 키워드를 통해 검색된 문서들을 활용해 리히터의 예술을 이해해보고, 2) 그의 그림을 기반으로 이미지 처리를 통해 만든 이미지들을 보여줌으로써 다시금 리히터의 예술에 대해 다시 생각해볼 기회를 마련해보고자 하였습니다.
PART Ⅰ. 리히터의 키워드
리히터를 소개할 수 있는 키워드를 추출하기 위해, 먼저 구글에 "Gerhard Richter Photo Paintings"으로 검색하여 임의의 문서들(위키피디아 문서, 9개의 기고문, 1개의 논문 초록: 총 6445문장)을 수집하였습니다.
Blurred Visionary: Gerhard Richter's photo-paintings
Gerhard Richter: Painting as a Moral Act
How Gerhard Richter reinvented painting
Gerhard Richter : Painting After All
The Innovation of Gerhard Richter
Blur : Gerhard Richter and the photographic in the painting
The Dark Revelations of Gerhard Richter
The Sublime Farewell of Gerhard Richter, Master of Doubt
이 문서들을 모두 소문자로 만든 후, 알파벳 소문자와 숫자만 포함할 수 있도록 정규 표현식 처리를 하였습니다. 이후 Spacy를 사용해 불용어를 제거한 후, nltk를 통해 표제어 추출을 진행하였습니다.
다음은 이렇게 단어들을 전처리한 후 자주 등장하는 상위 30개 단어를 squarify로 시각화한 결과입니다.
결과를 보면 리히터의 이름이나 art, work, painting 등 예술가라면 으레 나올법한 키워드 외에 두 가지 상반되는 경향이 눈에 들어옵니다. (아마 리히터의 이름이나 painting, work, art 등의 단어를 불용어에 추가하면 다른 흥미로운 결과가 나왔을 것 같습니다.) 첫 번째는 photograph, picture, photo, photographic, photography 등 사진과 관련된 키워드이고, 다른 하나는 abstraction, abstract 등 추상 회화와 관련된 키워드입니다. 리히터가 다양한 스타일을 아우르는 예술가임을 반영하고 있습니다.
지식 그래프(Knowledge Graph)
이제 이 키워드들이 어떤 관계를 가지고 있는지 지식 그래프(Knowledge Graph)를 통해 살펴보도록 하겠습니다. 이 문서를 지식 그래프로 만들기 위해, 먼저 문장을 구성 성분으로 나누었습니다. 주어에 해당하는 부분을 Source로, 목적어에 해당하는 부분을 Target으로, 그리고 동사는 이 두 노드의 관계를 표현하는 엣지로 변환하였습니다.
(코드는 다음 참조:
https://www.kaggle.com/code/pavansanagapati/knowledge-graph-nlp-tutorial-bert-spacy-nltk/notebook)
위 그림은 전체 문서의 관계망을 표현한 그래프인데, 당연하게도 이 그래프로는 원하는 정보를 얻을 수 없습니다. 몇몇 핵심 동사들을 통해 키워드가 가지고 있는 관계들을 살펴보았습니다.
1) painted
 |
 |
painted라는 키워드로 살펴본 연결망입니다. 'three color series'가 'arbitrary color'를 그렸다는 표현이 있습니다. 아마, 리히터의 color chart 연작을 나타내는 것으로 보입니다. 다음으로는 'I' painted 'victim'이라는 연결도 눈에 들어왔습니다. 이는 동독에서 태어나 2차 대전을 경험하고 베를린 장벽이 지어지기 직전 서독으로 탈출한 리히터의 전기적인 요인을 반영한 것으로 보입니다.
2) made
made라는 키워드에서는 'everything'과 'blurred effect'라는 연결이 나타납니다. 리히터의 작품의 중심에 있는 blur 효과를 나타내는 것으로 보입니다.
이제 이런 키워드들을 염두에 두면서, 요약을 통해 보다 깊은 이해를 시도해보겠습니다.
distilBERT를 통한 추출 요약(Extractive Summerization)
보다 심층적인 이해를 위해 구글을 통해 수집한 문서들을 요약해보았습니다. 요약을 위해 문장 이해에 장점이 있는 BERT, 그 중에서도 기존 BERT와 성능은 유사하면서 보다 가볍고 빠르게 분석을 수행하는 distilBERT를 사용하였습니다.
우선 텍스트의 파일 경로를 'text_list' 리스트로 저장한 다음, 아래 코드를 통해 각각의 문서를 최대 5줄 분량으로 요약하였습니다.
import torch
from models.model_builder import ExtSummarizer
from ext_sum import summarize
for id, text in enumerate(text_list):
model_type = 'distilbert'
checkpoint = torch.load(f'checkpoints/{model_type}_ext.pt', map_location='cpu')
model = ExtSummarizer(checkpoint=checkpoint, bert_type=model_type, device='cpu')
file_name = text[64:-20]
input_fp = text
result_fp = f'/content/drive/MyDrive/text_summarizations/{file_name}.txt'
summary = summarize(input_fp, result_fp, model, max_length=5)요약문 중 몇 개만 샘플로 가져왔습니다.
| Devoted to one of the greatest artists of our time, Gerhard Richter: Painting After All will consider Richter’s six decade long preoccupation with the dual means of representation and abstraction to explore the material, conceptual and historical implications of painting. Spanning the entirety of Richter’s prolific and innovative career, the exhibition will present over one hundred works that focus on his specific commitment to the medium, as well as his related interests in photography, digital reproduction, and sculpture. Throughout, he has tested the ability of art to reckon with personal history, collective memory, and identity, particularly in the context of post World War II German society. Richter’s early works involved the transference of small, seemingly unremarkable black-and-white photographs – found in newspapers, magazines, and family albums – into paintings. Richter was acutely aware of the artistic and cultural context in which he found himself. - ARTPIL 기고문 |
Gerhard Richter was born February 9, 1932 in Dresden, Germany, at the height of the Third Reich. Celebrated contemporary painter, Gerhard Richter, has been called by some “the world’s greatest living painter.” This prestigious title is awarded not only for the high prices his paintings fetch at auction, but also for his intense dedication to his medium over the six decades of his career. Partially influenced by the changing art movements he has lived over the years, Richter has developed a unique and yet incredibly versatile style which despite all odds, has kept the art of painting alive and relevant in the face of contemporary media. In 1951, Richter returned to Dresden to study art at the Kunstakademie there. From his blurred photo-paintings to his colorful abstract paintings, Gerhard Richter has never fully conformed to any twentieth century art movement. - CANVAS 기고문 |
두 요약문 모두 리히터가 새로운 사회 및 미디어에 대한 대응으로서 추상 회화와 사진 회화라는 독자적인 영역을 발전시켰다고 말하고 있는 것을 확인할 수 있습니다.
따라서 리히터의 흐릿한 사진 회화도 현대 사회 및 미디어에 대한 대응이라는 관점에서 이해해볼 수 있을 것 같습니다.
PART Ⅱ. Blurring
리히터를 대표하는 블러링 기법은 오일 페인팅이 한 뒤, 물감이 마르기 전에 미세하게 붓질을 하거나 롤러 스퀴즈를 통해 밀어버림으로써(위 사진 참고!) 흐릿한 이미지를 만들어내는 기법입니다.
리히터는 자신의 blurring 기법에 대해 다음과 같이 말합니다.
선명한 이미지보다 흐릿한 캔버스를 통해 더 많은 것을 볼 수 있다.
사진으로부터 그림을 그릴 때, 의식적인 생각은 사라진다. 나의 작업은 '리얼리즘'보다는 앵포르멜에 가깝다. 사진은 그 자체가 간파하기 어려운 추상이다.
나는 모든 것을 동등하게 중요하거나 중요하지 않게 만들고자 흐리게 만든다. 나는 예술적으로 보이게 하기 위해서가 아니라, 기계적이고 부드럽고 완벽해 보이게 만들기 위해 흐리게 만든다. ... 어쩌면 나는 중요하지 않은 정보들의 과잉을 지워 흐릿하게 만드는 것이다.
리히터의 발언에 따르면, 우리가 생각하는 것과 다르게 사진 이미지는 현실을 있는 그대로 잘 나타내는 '리얼'한 것이 아닙니다. 오히려 리히터가 보기에 사진은 '간파하기 어려운 추상'에 가깝습니다. (이런 리히터의 발언을 참고한다면, 리히터에게 있어 통상적으로 구분되는 추상/구상의 구분은 의미가 없어집니다.)
블러링은 이 '간파하기 어려운 추상'의 불피요한 과잉을 제거함으로써 오히려 더 많은 것을 볼 수 있게 해줍니다.
미술 평론가 할 포스터(Hal Foster)는 "리히터가 제기하는 질문은 워홀 이후에 서정 회화(lyric painting)가 있을 수 있느냐는 것이다"라고 평가한 바 있습니다. 리히터는 팝 아트에 많은 영향을 받았다고 이야기되곤 합니다. 팝 아트는 본격적으로 사진을 예술 작품 안으로 끌어오기 시작했습니다. 만화책이나 광고의 일부분을 가져오거나, 일상적인 상품들을 반복적으로 제시하는 방식으로 말이죠. 그런데 오히려 이 과정에서 일상적인 사물들이 일상적인 모습과는 다른 '생소한', '예술적인' 모습으로 다가오고, 상품들의 '가상'이 폭로되는 효과가 나타납니다.
팝 아트에서 영향을 받은 리히터의 사진 회화는 마찬가지로 우리가 일상적으로 '현실'로 받아들이는 것이 '가상'일 수 있음을 폭로합니다.
여기서 시사되는 것은 우리의 감각 중추, 기억력, 무의식 자체가 최소한 일부는 '사진 친화적'으로 변했다는 것이다. 이는 우리가 사진가 영화로부터 영향을 받을 뿐만 아니라, 사진과 영화에 어떻게든 적응을 한다는 말이다. 외양에서 일어난 이런 변화가 리히터의 으뜸 주제고, 이 주제는 인식론적, 심지어는 존재론적이기까지 한 의심을 산출하는데, 이 또한 그의 회화가 등재하려고 애를 쓰는 것이다. - 할 포스터.
이런 '가상'을 '재현'하는 리히터의 회화는 오히려 그 '흐릿함'으로 인해 보다 더 '사진같은' 효과를 산출하게 됩니다. 자, 사진은 현실에 대한 '모사'였습니다. 그리고 사진 회화는 이 '모사'를 다시 '모사'합니다. 이 '모방의 모방'이 오히려 그 '흐릿함'으로 인해 보다 더 '진짜 모방'처럼 보인다면, 우리가 살고 인식하는 현실이란 무엇일까요?
리히터의 회화는 바로 '사진'이라는 '가짜 현실'에 깃든 아우라를 제거하는 동시에, 이에 대한 모방을 통해 우리가 처한 현실을 통렬하게 지시합니다. 바로 이를 통해, "회화는 아직도 가상의 본성을 성찰할 수 있는 매체"임을 리히터는 보여주고 있습니다.
PART Ⅲ. Deblurring the blurred : GAN으로 디블러링 하기
리히터의 예술이 현대 사회와 미디어의 변화에 대한 대응이었다면 여전히 리히터의 질문은 유효해 보이며, 갱신될 필요까지 느껴집니다. 리히터의 시대에 사진과 영화가 현실에 대한 모사물로서 현실을 대체하기 시작했다면, 기술이 더더욱 발전한 지금은 AI 기술을 통해 만들어지는 '원본 없는 이미지'들이 등장하기 시작했기 때문입니다. AI가 만든 가상 인물, 딥페이크 등은 오히려 현실과 가상의 경계를 무너뜨리면서 현실에 영향을 미치고 있고, 회화까지 그리면서 예술의 지위에 대한 질문을 다시금 제기하고 있는 것처럼 보입니다.
그래서 리히터의 질문을 다시 이어받음으로써, 리히터의 사진 회화를 다시 조명해보기 위해 리히터의 사진 회화에 AI 기술을 활용한 Deblurring을 적용해 보았습니다.
이를 위해 사용한 기술이 GAN(Generative Adversarial Networks)입니다. GAN은 이미지를 생성해 내는 생성자(generator)와 생성자가 생성한 이미지가 실제인지 만들어진 이미지인지를 판독하는 판별자(discriminator)를 동시에 훈련시킴으로써, 생성자가 현실에 가까운 이미지를 생성할 수 있게끔 학습시킵니다.
이러한 GAN 중에는 deblurring을 위해 사용되는 모델이 있는데, 이번 프로젝트에서는 그 모델에서 사용한 사진 데이터(GOPRO)와 모델의 신경망 구조를 그대로 가져왔습니다.
(참조 : https://github.com/RaphaelMeudec/deblur-gan)
먼저, 신경망 구조는 그대로 가져오고, 손실함수는 일반적인 GAN에서 사용되는 crossentropy 손실함수를 사용했습니다. 하지만 이 모델을 통해 10시간 넘게 학습시켰는데, 오히려 더욱 손상된 이미지가 나타나는 것으로 확인되었습니다.
아마 본래 학습이 불안정한 GAN 모델의 특성이 반영된 것으로 보입니다.
따라서 기존의 deblurGAN에서 학습한 가중치도 가져와서 deblur 처리를 해보았습니다. 그 결과 보다 선명한 이미지를 생성할 수 있었습니다.
GAN을 통해 만들어진 이미지들은 여전히 흐릿하긴 하지만, 리히터의 그림에 비해 어느 정도는 선명한 모습을 보여줍니다. 그러나 아직은 학습이 부족해서인지, 회화에도 현실에도 충분히 닿지 못한 모습처럼 느껴지네요.
후기
평소에 좋아하던 예술가인 게르하르트 리히터를 주제로 프로젝트를 진행할 수 있어서 재밌었습니다. 특히, 프로젝트 동안 자연어 처리부터 GAN 등 다양한 딥 러닝 기술들을 활용하면서 딥 러닝 기술들에 대한 공부도 할 수 있는 좋은 시간이었습니다.
하지만 개인적으로는 아쉬움이 많은 프로젝트였습니다.
먼저, 5일 남짓 되는 짧은 시간 동안 너무 많은 것을 하려고 했던 프로젝트였습니다. 각각 하나씩만 공부하고 사용해도 빠듯했을 딥 러닝 방식들을 짧은 시간 동안 공부하고 적용하려고 하면서, 각각의 데이터에 대한 전처리나 모델의 설계, 학습이 충분하지 못하다는 느낌을 많이 받았습니다. 프로젝트 기간을 고려하지 않은 프로젝트 설계였다는 점에서, 설계 자체는 실패에 가까웠다고 자체적으로 평가하고 싶습니다.
둘째로, 전문적인 도메인 지식과 충분한 고민이 필요한 주제를 선정하면서, 프로젝트 전체의 방향을 잡는 데에 시간도 많이 소요되었고, 결과물과 주제 의식도 명확하지 못했다고 생각합니다. 한 예술가와 그의 예술 작품을 이해하고 소개하여 전달하는 일은 분명 그 자체로도 많은 공부를 필요로 하는 일인데, 주제에 대해 충분히 고민하고 구성하지 못했다는 것이 아쉽습니다.
여러모로 시간과 이해에 있어 아쉬움이 많이 남는 프로젝트였네요. 나중에 여유가 된다면 같은, 혹은 비슷한 주제로 다시 도전해 보면 좋을 것 같습니다.
