maeda-yuto

[maeda-yuto]

GUIデザインの進捗

卒研概要はこちら:https://drive.google.com/file/d/19zoILU-_3UGVWPNefJAd4tL53bI_v_uA/view?usp=sharing

●制作中のGUIデザイン

▼高画質版▼

https://drive.google.com/file/d/14YDUUbboOK5GmrOWBXgurfbydsiqV2Pg/view?usp=sharing

自分のデータが勝手に取得されているという感覚になって欲しい。 ⇨展示に来たときに、自分のデータが取得され、勝手に利用されているように見えるGUIを制作。

・来場者数データ 　・今日の来場者 　・累計来場者

・位置情報

・顔認識 　・氏名 　・大学名 　・学年 　・学生番号 　・プロフィール

・音声認識

・来場者層データ

・信用スコア →現状展示と関係のないパラメータになっているので、展示データとスコアを結びつけられるように、パラメータを変更する予定

・顔認識のフレーム 　・マスクの有無 　・体温

●提出までの目標 ・デザインのブラッシュアップ 　・WEBカメラ映像と合成した時にくっきりと見えるか 　・できるだけ展示環境と同じ明るさで、見え方のテスト ・展示の雰囲気がわかる程度にアニメーションをつける

[maeda-yuto]

顔認識システムの進捗

展示に必要なシステムをPythonで構築する。 卒研概要はこちら:https://drive.google.com/file/d/19zoILU-_3UGVWPNefJAd4tL53bI_v_uA/view?usp=sharing

顔認識システムの進捗

展示に必要なシステムをPythonで構築する。 卒研概要はこちら:

●環境構築 目標:ネットに落ちているプログラミングを使って顔認識の動作テスト

①Visual Studio CodeからPythonをインストール ②anacondaを用いてライブラリのOpenCVをダウンロード この手順でプログラミングを実行するも、原因不明のシンタックスエラーがでてしまう。 他の手順を試してみる。

①Homebrewからpyenvのインストール ②pyenvからPythonをインストール ③ターミナルでプログラミングを実行 上記の手順だと問題なく実行できた。

マスクありでも動作確認済み。

●実現したいこと

●実現したいことの進捗 1:WEBカメラの映像と透過されたGUIの映像を、リアルタイムで合成する。 ⇨Pythonで動画を透過合成する際、デザイン通りの透明度では実装できない可能性大。 αブレンドとクロマキー合成の２種類が確認できたが、どちらも望んだ形にはならない。 https://qiita.com/developer-kikikaikai/items/1572019427833bd2e915#opencv%E3%81%A7%E3%81%AE%E9%80%8F%E9%81%8E%E5%90%88%E6%88%90%CE%B1%E3%83%96%E3%83%AC%E3%83%B3%E3%83%89%E3%81%AE%E5%88%A9%E7%94%A8 最終手段として、配信ツールのOBSを使って合成することも視野に入れる。

2:WEBカメラの映像から顔を認識する。 ⇨既存のプログラムを組み合わせてなんとか実装。静止画の場合、透明度ありでもデザイン通りに実装できた。

３:顔認識したあと、GUI映像がループ再生される。顔認識がされていない時は　異なるGUI映像がループ再生される。 ⇨どれだけ調べても、解決策が発見できず。自分ではどうにもならなそうなので、外注を検討。

●提出までの最低ライン ３:顔認識したあと、GUI映像がループ再生される。顔認識がされていない時は　異なるGUI映像がループ再生される。 ⇨こちらの機能以外は実装の見込みがあるので、そこまでは完成させる。

[maeda-yuto]

草案提出が間に合いません。とりあえず途中のものを提出します。

https://drive.google.com/file/d/1yv0YlNzF_mG51XVnmQUEqfZT9kFhCYjy/view?usp=sharing

卒研概要をなにから書き出せばいいか分からず、自分でもなにを研究しているのか分からなくなっています。とりあえず端的に経緯を書きます。

7月の初めに先生に伝えた卒研内容は「SF的なGUIの文脈で　現在の世界観を表現するGUIのスタイルを提案する」ということでした。ですがコンセプトがとっちらかって、なにひとつまとまっていないのに社会問題やSF映画などのテーマを無理やりおしこんで、なにがなんだか分からない状態になりました。

ない頭でどれだけ考えても仕方ないので、とりあえず手を動かすことにしました。

それでこんなものができました。

↓

コンピューターの思考プロセスをGUIで表現する、というテーマで作りました。

これは音声を認識して、性別を見分けたり、声の特徴を分析したりするGUIを想像して作ったものです。基盤の丸を線で繋ぎ、コンピューターの思考プロセス（フロー）を、グラフィックとアニメーションで分かりやすく表現することを目指しています。

コンピューターっぽさを表現するために、基盤とコマンドラインインターフェースの、古典的なSF的グラフィック要素を入れ込んでいます。

このような浅い考えで制作しているので、卒研概要がまったく思いつきません。というより、なにから書いたら良いのか分からず、文章でまとめることができませんでした。

とりあえず、これから無理やりにでもまとめます。以上です。

[maeda-yuto]

2021.7.20

講評見ました。研究の目的とアウトプットが噛み合っていないことが完全に見抜かれていた。

研究テーマに一貫性がないので、とにかくなにがしたいのか伝わらないテーマ発表になってしまい、先生方もどうコメントするか困っていたと思う。

森山先生

人型アンドロイドのGUI ： 映像の鑑賞者だけでなく所有者に利益になるものとして研究・制作するアンドロイド。「だけ」と言っても、両者は相当異なる目的、用途をもつものではないでしょうか。それともこの研究は後者に限るのですか。

原則的に後者を主軸に据えて研究する方向性ではあった。

確かに所有者にとっての利益、という意味では映像としてのかっこよさはほぼ無意味。無理矢理こじつけたとしても、GUIの演出に力を入れることで、ユーザーの所有欲を満たされるくらいしか思いつかない。

そもそも、かっこいい映像を作りたいことと、所有者のための実用性のあるGUIを作ることがあまりにも噛み合っていない。テーマに一貫性がないことがやはり見抜かれている。

井上先生

研究自体は「実用性のある設計を目指す」とありつつ、作品としては「演出としての利用なので、実用性は備えていない」としている点が気になりました。とりあえずは、やり切った作品を作ってください。評価はそれを見て、ということで。

これは私の伝え方が悪かった。従来のアンドロイドのGUI表現が「演出としての利用なので、実用性は備えていない」、なので本研究とそれに基づく作品は「実用性のある設計を目指す」と伝えたかった。

そもそも研究テーマと制作物に一貫性がないので、勘違いするのも当然である。とにかくクオリティの高さが最も説得力を産むということだと思うので、頑張るしかない。

J佐藤先生

近未来って何年ぐらいの設定でしょうか？　GUIの表示言語は日本語だけでいいのかな？　いずれにせよ映像のクオリティの高さを期待します。

時代設定は限定せず、自律型アンドロイドが当たり前のように実用化された時代にしようとしていた。表示言語はとりあえず日本語だけのつもり。どちらも明確な理由はない。考えが足りないことを強く実感する。

白石先生

どんなGUIになるのか楽しみです。完成を期待します。

私のテーマ発表に中身が伴っていなかったことがはっきりと分かるコメント。アウトプットがどんなものであろうと、４枚もあるPDFで研究内容が伝わらないのはテーマとして失格。反省して研究テーマの深掘りに努めるしかない。

高山先生

どういった方向性で進めるか気になっていましたが、やはりUI/UX的視点から攻めることにしたのですね。でも、話の節々から「SF好き」なことがバレバレになっています。自分の気持ちに素直に進める方が継続しやすいと思いますので、研究を進める際の立ち位置をよく考えましょう。

UI／UX的な、ユーザーにために最適化されているという機能美こそ、私が最もかっこいいと感じるものなので、そこを重視したいとの思いがあった。「アンドロイドの視界をテーマにしたGUI」をいかにSF的に表現できるかということに絞った方が、テーマとしては取り組みやすいとは思うが踏ん切りがつかなかった。

木下先生

「AR における GUI の表現追求」はまだあまり行われておらず、追求するフィールドは広いと思います。 用途を絞った方がクリアになるかもしれません。

「人型アンドロイドの視界に用いられるGUI」というテーマでAR全体のGUI表現を研究するのは無理があると自分でも思う。GUI研究という部分に軸足を置くから起きてしまう矛盾点。いまのテーマのままでは改善は難しい。

大石先生

アンドロイドの視界を作る、という認識で良いですかね。 思いつくのは、通りすがった人の顔認証と分析とか、、そういったのを想像します。チェックされているかと思いますが、SF映画で学ぶインタフェースデザイン」という本があります。

先生の認識の通り。現状、なんとなくSFチックなGUIを作りたい、という思いだけで進めてしまっている。「SF映画で学ぶインタフェースデザイン」。恥ずかしながら調査不足で知らなかった。SFから生まれたアイデアを現代のデザインに生かす方法論をまとめた本であるらしい。

こういった参考書籍を提示してくださるのは本当にありがたい。即購入した。

とにかくツッコミどころ満載のテーマ発表会であった。そのツッコミに対する答えもなく、自分でもその疑問はもっともだと思う。自分で理解できていないものを相手に伝えることなど不可能。

研究テーマの深掘りが急務なので、参考文献を漁るところから始める。

[maeda-yuto]

2021.7.5

卒業制作のテーマが定まらない期間が続き、とんでもなく焦っている。怠け続けてきたツケがあまりにも重い。なんとか捻り出した『人型アンドロイドの実用的なUI』も、考えれば考えるほど研究価値を見いだせない、というかそもそもテーマとして成り立っていない気がしてきた。弱音を吐く暇があるならもっと脳みそを動かすべきなのはわかっているんですが…

●卒業研究テーマの概要

先々週軽く発表（？）をした研究テーマについて。具体的には、『自律人型アンドロイドの一人称視点に用いられる実用的なUI』をテーマにした実写映像作品を制作しようと考えている。

映画やアニメのSFモチーフとして、自律人型アンドロイドが登場することがある。近未来にAIが発達し、もはや人間との定義が曖昧になるレベルのやつ。そのアンドロイドの一人称視点が演出などで用いられることがあり、GUIというかメニューデザインというか、「なんかわからんけど近未来っぽい」デザインが視覚内に表示されることが多い。ただあくまで世界観の演出としての利用なので、そこまで実用的な機能を備えていなかったりする。

実際にアンドロイドが実用化される時代が訪れるとしたら、もっと実用的で人間ファーストな作りになるのでは？と考えたのがテーマ選定のきっかけ。UIデザインと実写映像を合成することで、近未来への妄想を具現化できるような、説得力のある作品を目指したいし、ARにおけるUIの表現研究もおこなえればいいと思っている。

●そもそもの動機

まず第一に、今まで取り組んできたUIデザインを卒制でも活かしたいという思いが強かった。UIを研究しようと思うと、アウトプットはサービスデザインかゲームになりがちだと思うが、サービスデザインはそもそも興味が薄い＆すでに一通りやり尽くしたのでテーマに据えたくはなかったし、ゲームに関してはプログラミングの知識が皆無で詰んだ。網羅的にゲームUIをまとめて研究するという方向性で行こうかとも思ったが、卒制は一つの作品として完結したものを作りたかったので、この案も没になった。

題材がないとUIは存在しないのでそもそも研究のしようがない、という問題を解決できずにいたときに思いついたのが現在のテーマ。アンドロイドのUIなら世界観を深堀りして意義のある研究ができそうだし、完全に未経験なのは撮影だけなのでなんとかなると思った。

第二に動きのあるUIに挑戦したい思いがあった。自分がゲームUIに美しさを感じる理由は、UIの装飾よりもアニメーション演出にあると感じたから。加えて就職先がゲーム会社に決まり仕事でもUI演出を手がけることが確定したので、学生時代に確かな技術を習得しておきたいと思った。卒制のアウトプットを映像にしたのも、このことが理由として大きい。

こういった理由で今回のテーマとなったわけです。

●問題点

前述のように、未知の分野だから研究価値ありそうだし映像としてもかっこいいものができそう！程度の理由でテーマを捻り出した訳だが、冷静に考えるとテーマ自体に問題がある気がしてきた。

一番ヤバい問題は、そもそもアンドロイドにUIいる？っていう根本的なやつ。元々想定していた利用シーンがこちら↓

自立人型アンドロイドが所有者から離れて行動するとき、アンドロイドの視点はいつでも所有者が見られるようになっているだろう。離れた場所で、アンドロイドがどこにいてどんな行動をとっているのか、それを知るためにはアンドロイド視点の映像に加え、アンドロイドの思考？を所有者が理解するための、ユーザーとの接点（GUI）が必要。例えば位置や目的、なにをどう認識しているかなど、ユーザーが常にわかるように表示されているはず。例えばおつかいを頼むなら、何を買って、どこにいて、商品を何と認識していて…などが表示される?(自分でなにを言っているのかわからなくなってきた…)

うーーーーーん、この機能、アンドロイドに必要か？人類の叡智を結集して作り上げた自律人型アンドロイドにやらせることが”おつかい”とは…

ただのおつかいでも必要とされる世界なんだ！！と言い張ることもできるけど、創作なんだし多少嘘も交えていいでしょ的なスタンスだと、実用的で人間ファーストなUIをつくる目的と噛み合わなくなってしまう。最終的にそれなりにかっこいい映像ができたとしても、研究として価値がなくなるのは致命的である。とかいろいろ悩んでいるが、もうタイムリミット。これをやる。

-----------------

以上、虚無の進捗でした。ブログ書き始めると意外にスラスラ書けるし、タスクを終わらせた安堵感が心地良い。得しかないからマジで今後は真面目に書け。今日できることは今日やれ。