Sapporo Creative Community vol.3 　実施報告（2022年2月12日）

---

札幌市内・札幌近郊で活動している学生や若手クリエイターを対象に、メディアアーツに関わる人材育成を目的として開催している交流イベント『Sapporo Creative Community』。

これまで、2021年8月に第1回、12月に第2回が行われ、オンラインでのセミナーやトークセッションを開催してきました。

第3回が2022年2月12日に行われ、AI（人工知能）を活用したパフォーマンス活動を行っているユニット『Ai.step』のお二人、Scott Allenさんと白石覚也さんにご登壇いただきました。これまでのキャリアや制作に関するお話を伺ったほか、Ai.stepのライブパフォーマンスも披露していただきました。また、Scottさんは2021年12月から今年1月にかけて開催された『Collaborate with AI 人工知能を用いた創作ワークショップ』の講師も務められています。このワークショップの成果物発表も本イベントとあわせて実施しました。

イベントは札幌市内にあるコワーキングカフェで開催され、同時にオンラインでも配信されました。

イベントはScottさんと白石さんのトークからスタート。はじめに、お二人のこれまでの活動や作品をご紹介いただきました。

Scottさんはこれまでに、レーザーを用いたインスタレーション作品や、AIを活用し自分によく似た少し違う顔の画像を生成し、SNSにアップロードするプロジェクトなどを実施してきました。

白石さんは、人間とAIが掛け合いの形でライブパフォーマンスを行う仕組みを制作しています。その場でコードを書きプログラミングを行う「ライブコーディング」の形式で人間がコードを書き音を鳴らすと、それに対しAIがコードを打ち返し音を鳴らします。この人間とAIとのやりとりを、AIが学習していきます。人間もまた、AIが打ち返すのを元にパフォーマンスをアップデートしていきます。こうしたやりとりの中で、人間のパフォーマンスを進化させられるのではないかと白石さんは考えています。

白石さんは工業高等専門学校（高専）の電子情報工学科出身。高専で学んだプログラミングを、音楽をはじめとした表現に活用したいと思うようになり美大に進学し、その後さらに大学院に進んでアートを学びました。「ライブコーディングでは、書いたコードは単なる計算結果ではなく、音になって現れるのが面白いところ」と魅力を語ります。

Scottさんは理系の大学院を修了し職に就き、その後芸術系の大学院へ進学しました。「科学の世界では、これまでに積み上げられた知識や技術をより良いものへ発展させることを目標に、みんなで研究を進めていくのが基本。そのような世界に身を置くうちに、既存の物や考え方に対してオルタナティブな道を提示したり、新たな視点を生み出すような役割にコミットしたい思いが強くなり異なるジャンルへの進学を選んだ」と当時を振り返りました。

トークに続いて、『Collaborate with AI 人工知能を用いた創作ワークショップ』の成果披露として、7名の受講者がプレゼンテーションを行いました。今回のワークショップでは「札幌」や「雪」をテーマに、各自がアイデアを膨らませ制作に挑みました。

1人目の発表者は、まず雪の結晶を模した画像をブラウザ上にランダムで自動表示するプログラムを作成。そこで生成された雪の結晶の画像と、本物の雪の結晶の画像を真偽判定する機械学習モデルを作成しました。なるべく本物に近似した雪の結晶を生成することで、機械学習モデルの誤判定を誘発することにチャレンジしましたが、結果的には本物は本物／偽物は偽物と判別するのみで、欺くには至らなかったとのこと。

講師によるコメントでは、AIがどのような要素を以て対象を雪の結晶と判別しているかという、特徴量の見出し方はなかなか人間が予測することは難しいそう。その点を実感できたことも成果であり、思考をめぐらすことが価値だと言います。

【プログラムによる雪の結晶の生成と、本物の結晶と比較した真偽の判定】

二人目の発表者はお子さんに雪まつり気分を味わってもらいたいという思いから、氷のブロックをLEDで照射する装置を制作しました。おもちゃの音声を識別する機械学習モデルを作成し、その音声によってLEDの色をコントロールします。制作過程では当初の計画通りには進まない点もあったそうですが、回り道することで予期せぬ良い結果に繋がったり、正解は一つではないという気付きを得たそうです。今回はおもちゃの音声のみをトリガーとした装置でしたが、例えばテレビから聞こえた何気ない音声などにも反応するような、創造的なミスリードも混じえることでさらに面白くなるのではと、講師から作品の展開についてアイデアが挙がりました。

【音声認識に応じたLEDコントロールによる氷のライティング】

三人目の発表者は、身体のモーションに反応して画像が表示されるシステムに挑戦しました。例えば、両腕を体の真横に大きく広げると木の写真が表示されたり、両腕を頭上に高く上げるとテレビ塔の画像が表示されるという構想です。講師からは「雪国ならではの動作」を見つけることが作品の独自性に繋がったり、正解のポーズを探すエンタメ性あるインタラクティブコンテンツへの発展も可能なのではと、新たな着眼点が持ち出されました。

【身体のポージングに応じた画像表示システム】

四人目の発表者は、口の位置を特定して画像を表示するシステムを制作しました。実際にカメラで顔を写すと、口元にマスクの画像が表示されました。本来は口の位置のみにマスクの画像が表示されるべきですが、誤認識によって別の位置に表示される瞬間も。視点を変えると口以外の場所を口としてAIが誤認識している状況であり、どのような要素を口として認識しているのか考えてみることで新たな学びに繋がるのではとコメントがありました。

【口の位置の特定によるマスクの画像表示システム】

五人目の発表者はゲーム制作に挑みました。攻撃のポーズや防御のポーズを識別する機械学習モデルを作成し、判定結果を自作ゲーム側に送ることで、身体のモーションでコントロールできる格闘ゲームを目指しました。判定結果とゲームを連携させる工程が難しかったそうで、まだ完成を目指して制作途中とのこと。講師からのお話では、AIがポーズを正しく認識してくれない場合、逆に人間がAIに認識されやすいポーズをとるようになるという逆転の現象も起こりえるそう。そのような視点で人間とAIの関係性を考えることも学びになりそうですね。

【身体のモーションでコントロールするゲームツール】

六人目の発表者はショートフィルムの制作にチャレンジしました。海外から日本に移住してきた際、日本語の案内板や標識を読むことができなかったという自身の経験とその時の心情を、ビデオエフェクトで表現するという作品です。今回の発表では制作段階の映像に加え、これまで札幌で撮影した写真をAIで物体検出しグリッチを重ねた写真も見せてくれました。

講師によると、今回の作品制作で用いられているYOLOは物体検出の代表的なアルゴリズムではあるものの、欧米諸国で撮影された画像やインターネット上の画像がデータセットの大半を占めていることから、日本固有の物などは検出されないことがあり得るそう。そのような意味で、YOLOから見た日本の風景は、初めて日本に降り立った作者の視界とまさに重なり合う部分があるのではと指摘がありました。

【物体検出を利用したエフェクトをかけたショートフィルム】

最後の発表者は、GANのモデルを自分で構築することを目標として2つの制作に挑みました。まず初めは既存のモデルを利用しオリジナルの星空を生成。もう一つは札幌の街中で収集した大量の「顔」の画像を学習させ、オリジナルの顔の生成に挑みましたがこちらは途中経過の発表となりました。制作を振り返り、AIからアウトプットが生成される過程はブラックボックスであり自分があまり介入できず、「自分でこの作品を作った」という感覚を持つことが難しかったと話します。講師によると、AIに対してブラックボックスのような感触を抱くことはよくあるという一方で、例えばGANを構成する畳み込みニューラルネットワークの層をひとつひとつ確認し構造を理解することで、AIも干渉可能な対象に変わってくるそうです。

【GANのモデル構築による、星空の生成と、札幌の顔の生成】

難易度の高い講義内容でしたが、参加者のみなさんそれぞれの創造性が発揮された作品が集まりました。ワークショップが終了した後も、いただいたコメントを参考に制作を続けて行くと、また新たな発見があるかもしれませんね。

イベントの最後に、Ai.stepのお二人がライブパフォーマンスを披露。白石さんとAIの掛け合いによって移り変わっていく音楽と、Scottさんが操作する映像の迫力を目の前で感じられる貴重な機会となりました。

イベント終了後には、参加者とScottさん・白石さんが機材やパフォーマンスの仕組みについて議論する場面も。実際に機材を見ながら話ができるのはオフラインのイベントならではですね。イベントの参加者からは「札幌でこういう高度なテクノロジーとアートに触れて、理解を深められる機会があると思わなかった。本当に学びになりいい機会となりました」という声も聞かれました。

札幌市では、今後もメディアアーツに関する情報交換や交流の機会を設ける予定です。