| EN
觀察報告

為自己量身打造一款更直覺的數位創作工具,談李亦凡「瘋狂影像工具」

李亦凡透過C-LAB的進駐,試圖打造一套更為直覺、即興的影像工具套件。圖/李亦凡提供
Info 相關資訊
發布日期2022.03.23
撰文 馮馨
CREATORS瘋狂影像工具系統音像實驗

隨著科技發展至今,人們可以真實地感受到科技工具的影響不單只是在操作面向,有時甚至影響了我們的思維。例如過去手拿筆書寫,到今日敲著鍵盤打字,又或是更及時地按著手機輸入文字,從紙張到螢幕,從一筆一畫,到敲擊字母成形、刪除、複製、貼上,文字書寫的狀態已不可同日而語。對李亦凡來說,影像的生產也受科技與時代推進的轉變,並且產生不一樣的美學語彙。

為自己打造綜觀影像發生的視點

2020年10月,李亦凡於國立臺灣美術館「臺灣美術雙年展:禽獸不如」中的展出作品《important_message.mp4》,首次挑戰360度環形空間的影像呈現。該作以殭屍蝸牛為題,從「腦控」進而討論當今網路世界真假訊息混雜流竄的狀態。作品從其自身變聲配音的敘事展開,並使用3D臉部動態捕捉創造多個人肖像,當人頭不斷於影像中冒出,以一種多重聲調、或是話語接力的方式進行敘事時,這種影像呈現所牽涉到的創作形式,已非過去傳統的剪輯方式可以處理,因此,李亦凡開始嘗試採用即時3D創作軟體「Unreal Engine」(虛幻引擎)進行影像創作。相較於過往的線性敘事,Unreal Engine的剪輯方式,更近似於直接在數位空間中搭建場景、架設虛擬攝影機進行畫面拍攝,過往在剪輯軟體中的不同軌道,直接化為畫面上的不同人物,影像工作者在其中操作的不僅是畫面,亦是場景的調度。

因為創作模式的轉變,李亦凡採用「Unreal Engine」(虛幻引擎)進行影像創作,並在虛擬空間中進行場景搭建與影像調度。圖/李亦凡提供

李亦凡談及過往的傳統動畫創作方法極度耗時,須透過大量影格的累積構成最後影像,並歷經漫長畫面運算時間,創作當下的時間感反而相當零碎。他形容這種狀態如同一位鋼琴家在彈奏沒有即時發出聲音的琴鍵,直至最後才會聽到完整樂章。過程反覆且不夠直覺,亦無法即時進行調整,與他理想中能捕捉靈光一閃的創作狀態大相牴觸。關於其影像創作中的人像,李亦凡希望保有一種直覺的身體反應,除了使用Unreal Engine進行影像場景構成與拍攝,他也應用3D動態捕捉人物的肢體及臉部動作,不僅自己演出這些肢體動作與表情,也是自身人偶的操偶師,並進一步將人物形體安置於場景中。他以不同方式打造自己的影像創作工具系統,整合身體動態捕捉、面部動態捕捉、時間軸系統,以及虛擬攝影機等功能,於軟體中建構一套更為直覺、即興的編、導、演工具套件。使他在動畫的創作過程中,創作者的身體與螢幕上的畫面連動關係更為即時,也加速自身影像的產製過程。

舉例來說,創建動畫中的場景與人偶之後,李亦凡可以透過即時捕捉自己身體與面部動態的變化,實體攝影機成為了如操偶師手上的線,操控螢幕內的人偶,並且透過軟體中的虛擬攝影機,錄製一連串的動作。時間軸的系統在錄製完畢後,可以保留進行剪輯,又或是將錄製影像留於畫面中,與下一段動作一起錄製。在不斷重複這樣的過程後,場景中可能同時出現數位人偶、展現不同動作的動態影像,畫面中的狀態就像是藝術家將不同時間的人偶,壓縮並存於同一時空中。這種更為靈活、自由的創作方式,不單更為直覺,對李亦凡來說,也相當符合身為一個獨立創作者不求人、一切通通自己來的習慣,在不斷自己操作測試的過程中,逐步構成自身創作的路徑。

李亦凡在進駐C-LAB期間舉辦「激躁――虛幻引擎工作坊」,藉由這場工作坊帶領參與者運用「虛幻引擎」(Unreal Engine 4)探索遊戲引擎的影像製作方法。圖/李亦凡提供

他形容過往的創作過程,如同一位鋼琴家在彈奏無法即時發出聲音的琴鍵。希望透過創作工具的開發,即時地捕捉創作靈光。

身兼創作者與開發者的自我協力

如果說《important_message.mp4》是李亦凡對於這個創作系統的首度嘗試,融合臉部偵測與場景式的敘事表現,那2020年於「臺北數位藝術節:愛情數據」中呈現的另外一件作品《Rewiring》則是延續於此系統,並加入身體動作的另一次實驗。進駐C-LAB的 CREATORS創研計畫「瘋狂影像工具」則將這套系統進行更完整地發展與建置。

李亦凡談及這個進駐過程中對他來說最有趣的狀態,是同時身兼創作者與開發者的自我協力過程。身為一個有撰寫程式能力的創作者,面對一個有開發空間的工具,擁有許多摸索、開發、改良,甚至創造新功能的可能,並進而讓創作更貼近理想。當他在創作狀態時,有想要建構的畫面或是內容,但功能上卻還無法達成時,他便轉為開發者,試圖讓工作流程更順暢,甚至開發新的功能去回應需求。隨著開發過程的進展,也可能在其中試出新的效果,並進一步構想可以發展的不同段落或是支線。

這種來回的測試過程,讓內容與技術的關聯性更為緊密,也催生了他在2021年的「亞洲藝術雙年展:Phantasmapolis未至之城」展出的作品《不好意思…請問一下這個怎麼打開》。作品依然保有著李亦凡一貫的敘事風格,從自己兒時常畫的機器人作為開頭,一路鋪陳人類對於人造人的思考,他透過影片逐步描述數位人偶的各種部位與運作方式。而他在創作的過程中也遇到許多反覆修正的狀況,例如:李亦凡原先預設可以藉由一次次的重覆錄製,將每一個部位的動作疊加在一起,讓影像在自然順暢且保有即興的方式下生成,產生一種全知者的狀態。

同時身兼創作者與開發者的李亦凡,透過創作不斷開發更貼合自身需求的系統工具。圖/李亦凡提供

殊不知,他在第一個步驟立馬遇上難題,如創作過程中需要配戴著VR眼鏡進行操偶,但若同時要一邊操偶、一邊講話演出,攝影機便無法完全捕捉到攜帶著VR眼鏡的表演者實際的臉部表情。這也使他建構畫面變得需要拆分步驟,先行預錄台詞與臉部表情,合成到VR空間內的人偶臉上,才有辦法進行第二階段的動作拍攝。此外,他也發現自己原本的語速過快,導致操偶時動作跟不上而手忙腳亂。所有的動作如果要一氣呵成,必須要熟記所有的拍攝腳本,以及前面所拍攝的每一場的內容,這些都是李亦凡一開始沒有預期到的情況。因此,當「瘋狂影像工具」的開發計畫進行到進駐尾聲時,他意識到若要繼續發展這套工具系統,下一個階段就是要在開發時納入導演角色的功能。

這個系統除了人偶動作操作與表情捕捉的連動開發之外,場景與道具的建置也是一個相當繁複的過程,很像傳統電影美術設計的工作,但數位化的好處是場景搭建完成後,無須拆除、無須倉儲,可以不斷累積,並且延用於後續同樣使用這個系統所創作的作品。例如在《不好意思…請問一下這個怎麼打開》中不斷出現的香菸,即是這次開發的物件,他設計了如冒煙燃燒、菸頭掉落等不同的視覺效果。

關於場景的建置靈感,李亦凡則分享了臉書粉絲專頁「奇葩裝潢分享中心」,上面有許多案例對於他來說有種特異的數位拼貼感,是一種純然直覺、非一般正統功能或是經過整體視覺考量的裝潢設計,也十分近似於他曾生活過的中永和區域住屋。許多生活場景的物件來自於他平日的東拼西揀,當沒有敘事靈感時,李亦凡往往是先透過影像場景的建置,將飄浮的思緒抓進場景中,並逐步醞釀出可以在場景中發生的事件。

「激躁――虛幻引擎工作坊」場景。圖/李亦凡提供
透過自行開發的工具,在遊戲引擎中打造虛擬的表演舞台。圖/李亦凡提供

鬆動影像創作的即興空間

回顧李亦凡一路以來的創作,他回想自己幾乎沒有拿著相機拍攝的經驗,一方面是因為不喜歡面對鏡頭(但如果自己是以動畫中的角色出現,就似乎能夠克服這樣的心理障礙);另一方面是,當他作為掌鏡者拍攝他人,那段來回溝通的成本於他而言,成為另外一種實質與心理上的負擔。面對不滿意的拍攝結果,如果僅牽涉到自己,大不了打掉重來,一旦牽涉到他人,便成為了一個需要多方考量的艱難決定,亦難以忠於最純然的創作自由。而「瘋狂影像工具」這套系統的開發建置,不單使整個創作能夠由一人獨力完成。許多腦海中預想的畫面與場景,可以運用系統中的第三人稱位置的攝影機進行試拍,作為呈現的嘗試,而時間可能僅需一至兩小時即可確認是否可行,成本大幅下降。同時,這項嘗試也開啟了他未來與他人合作的可能性,例如邀請更為專業的操偶師或是肢體表演者在這套系統的架構下參與共創。

面對這漫長的技術開發與建置過程,李亦凡於訪談中提及至今對他影響深刻的文本《裸體午餐》,為作家威廉.布洛斯(William BURROUGHS)於1959年的半自傳小說。該小說描述一個毒癮者漫遊紐約、丹吉爾等各城市的故事,最後落腳於跨際區的荒土,文字靈活且腦洞大開,這種語言開展出的自由與奇想,也呼應了李亦凡一貫以來創作中的敘事狀態,那也是他之所以打造這套工具中最想要撐出的創作空間,讓影像的生成與敘事語言的自由發展能夠與心中所想像的內容更為契合服貼。

Info 相關資訊
發布日期2022.03.23
撰文 馮馨
CREATORS瘋狂影像工具系統音像實驗
Reference 參考資料
Author 作者
馮馨曾任2013「混種現場」策劃人,2011-2013「失聲祭」專案經理,2016-2019耿畫廊/TKG+展覽企劃。近年策展「歷史變體」、「2018牛俊強個展」、「動態圖層」和「線下真實」等。《台灣當代藝術策展二十年》(2015,典藏藝術家庭出版)共同作者與編輯。
More 相關文章
觀察報告
找尋自身的創作方法――花逸芯創研計畫「聲迷耳眩」
「錯視的例子俯拾皆是,也較常被注意到,而錯聽卻不容易被發現。」花逸芯的CREATORS創研計畫「聲迷耳眩」即是從「錯聽」出發,探索聲音中創作的可能性。
發布日期2022.04.13
CREATORS聲音錯聽
觀察報告
神的願力與人的業力:朱駿騰、黃艾倫、黃詩珊「陰合幽冥――從邊界浮動性探索漂泊的有機韻律」
「陰合幽冥」計畫藉由這一個守護、庇佑地方的土地公神明,以及彳亍社子島上,各式尋尋覓覓的人,來重新檢視這片土地長年的滯留命運。
發布日期2022.04.07
CREATORS土地社子島神明
觀察報告
自然、超自然與一張無盡的歌單:與「引爆火山工程」的淡水基隆河半日遊
我所參與的這個小出航計畫來自於「引爆火山工程」,他們近年致力上山下海,翻轉社會與自然、人類及其周圍生態的位階,並嘗試從中找出找出科學和非科學之間的模糊領域。
發布日期2022.03.30
CREATORS實驗生態跨領域