電子の体を手に入れたい (2023年3月時点) #みんなの推し技術をブログに書いて〜3月3日に座談会するよ

#みんなの推し技術をブログに書いて〜3月3日に座談会するよ」という内容で座談会するので、そのためのネタです。

みなさんは電子の体を手に入れたいと思ったことはないですか?ありますよね。今日のネタはそんな気持ちの現時点の報告みたいなものです。not for meだと思われることが多そうなので早々にバックしてもらったほうがいいかも。

ことのはじまり

哲学的な話は置いといて、電子な体というかアバターが欲しいと思ったのはMMORPGを始めたあたりかもしれません。
当時(2006年ぐらい)なんか忙しすぎてあんまり記憶がないんですけど、たまたま手を出したMMORPGが楽しくて割と廃人気味にやってた気がするんですが、その時のキャラがかなり愛着わいてこのアバターをずっと(いろんな場面で)使いたい、とずっと思ってたわけです。ワシカワイイ。
まぁ愛着がわいたのも現実よりゲーム内のほうが楽しかったとかいろいろあると思いますけど。。
image

その後紆余曲折ありつつも2010年ぐらいまで遊んでたのですが、現実世界のあれこれでそのMMORPGからはほぼフェードアウトしてしまいました。(まだアカウントはある)

それから数年、動かして楽しそうなMMDモデルなどもいろいろあったのですが、やはり「自分の」という感覚ではなかった感じです。(Kinectがあったりクラウディアさんモデルがあったりとかいろいろありました)

2代目

2015年ごろになると、Youtubeでラジオぽいことやりだします。基本的に自分の外面はあまり好きじゃないので声だけメインですね。内容はともかく絵面はBlogとかブラウザの画面がメインだし、味気がないなぁ、アバターだしたいなぁというのはずっと思ってたわけです。
当時はMMDはもちろん、Live2Dとかもあったり割とアバターを動かせる環境だったはずなのですが、気に入らないガワ使ってもなぁという感じ。

そんな感じでもやもやしてたわけですが、2018年にとあるアプリがリリースされました。

アレがベースになってると思うのですけど、このアプリでピーンときましたね。MMORPGのキャラの再現が割とできるのでは?と。実際作ってみてだいぶいい感じにできることがわかりました。現状のTwitterアイコンでもあります。

image

※ 当時、すでに他にも(REALITYとか)いっぱいこの手のアプリあったのですけど、結局好みの造形じゃなかったんですよね。

さて割と好みの造形になったぞ、となったら今度はこのアバターを他でも使いたい欲が復活します。
そうなるといろいろネックが出てきます。まずライセンスがらみ。当時、これらのアプリってそのアプリが許可した配信先でのみ利用が可能だったりしました(現在はだいぶ緩和されてる)。
もちろんアバターはエクスポートも出来ないのでそのアプリ内で弄るだけです。

カスタムキャストで再現できたらアレでも再現できるはず、なのですが結局そこから汎用的なモデルを抜き出すのはまぁダメでしょう。となるとここまで来てまたお預け、、

アプリ内から脱出できずにまた悶々と過ごしたある日、カスタムキャストがThe Seed Online(現在はVIrtualCastに統合されたもよう)と連携できるようになりました。

ようやっとVRMを外に出せるのかと喜んだものです。VRMそのものはオープンなのですけどね。ただこの時の枠組みはカスタムキャストは完全にオープンじゃなくて、The Seed Onlineと連携できるアプリだけVRMを利用できるという(カスタムキャストの)制限がありました。当時の連携できるアプリはVirtualCastがあったのですが、できるだけ労力かけずにやるコンセプトのラジオでヘッドセット被ってまでやるか?となるとうーん。。。となってやりたいけどちょっと気持ちは萎え気味に。

さてまた時間が過ぎて、2020年にVDRAWというアプリがあるのを知ります。「PCでお手軽に」「カスタムキャストのVRMを使って」操作ができる、というピンポイントで欲しい機能が詰まったアプリでした。

image
当時の自分の要望としては「もろもろの許諾内」「カスタムキャストのモデルが使える」「配信で動かないので表情ぐらい(上半身)でいい」という点だったのでオールOKでした。すばら。たまに手ぶりもつけたいときはOculus被ってVirtualCastすればいい、みたいな感じですね。

というわけでここに来てやっとだいぶ満足できる状態になりました。

3代目

人間、したかったことが出来るようになると欲がでるものです()。
時代は大引きこもり時代、もうちょっと汎用性のあるモデルが欲しくなってきたわけです。アバターの体も動かせる状態にしておきたい。VDRAWは素晴らしいアプリですが、手はゲームパッドかキーボード操作なのですよね。Leap Motionなどで操作しようと思うとVSeeFaceとか別アプリが良さそうなのですけど、そうなるとVRMがネックになります。ここにきてまた。

2代目だいぶ気にってるけどいっちょVRM作るか!という気になったのが2022年ですね。前置きが長かったけど今日の本題はこれ。完全に好みのものをゼロから作る(自作 or 発注)のはさすがにシンドイ&金がない。じゃぁどうするのか?というのが今日のお話です。

今の世の中、Boothに行けばVRMとかいっぱいあるのでそこで手に入れれば手っ取り早いわけですよ。とはいえ自分は割と好みがあるので、できるならワシカワイイモデルを作りたいわけで。という感じで妥協点としてはパーツをいろいろ買って自分でカスタマイズする、というのに落ち着きました。

最終的にはVSeeFaceLeap Motionで手も動くし、VRMファイルがあるからどこでも動かせられる、という状態になりました。もっともっと改善できる余地もいっぱいあるけど割と満足。

20220823_165451766_iOSimage

VRChatはちょっとVRChat向けにビルドしなおしたり必要ですけど、持っていけます。ClusterもOK(何か間違ってるのかClusterは表情が変化しないけど…)

作り方

ざっくりだと公式の流れに沿います。

VRMだけだとあんまり気にならないっぽいですけど、VRChat向けのモデルを作ろうとするとVRChatのSDKの都合だと思いますがUnityのバージョン制約が厳しい感じ。今回は割愛。

VRM作るだけ、はそんなに苦労しないんですよね。。着せ替えとかし始めると服が動かないとか体と連動しないとか骨折するとか、まぁ苦労が絶えません。なんか体系的に纏められるほど詳しくないので都度検索してた。Boothでモデル販売してる方はわりとDiscordなどで手厚くサポートしてくれる見たいですが、、、なんか素人すぎて聞くのも憚られるみたいな呪いにかかって割と苦労した。ボーンとの紐づけがよくわからん!とか。無駄な努力だったかもしれない。

VRoidで作るという手段ももちろんありますが、自分ではうまく作れなかった…

3代目の素材

そういえばどこにも載せてなかった(忘れてた)気がするので、ここに使用モデルを挙げておきます。

髪型がなかなか…難しい。

今後

今後は見た目のアップデートはもちろん随時したいけど、(自分のアバターでもいいんだけど)アシスタント的なBotを作りたい、と思ってUnityのほかに慣れないOpenAIだのなんだの見てるわけです。(VRMはむしろ出来る人にお願いしたいのが本音だけど)

  • Whisper系によるSTT ※オンデマンドな音声入力はiOSでいいと思ってるけど
  • TTS+声の変更(自分の声が好きじゃない) ※ずんだもん、語尾含めてカワイイからいいかという気分になってる
  • GPT系による対話
  • 空間(VRoomみたいなのとか。UnityよりUnreal Engineのほうが良いか?)

※ 配信的には去年作ったTeamsでピコピコするやつがTeamsのWeb版の更新により動かなくなったので頓挫してる。。どうにかしたい。

とまぁ、そんな感じで電子の体のアップデートはまだまだ続きますが今はこんなところで。

コメントを残す