3DXchange5 Pipeline テストシリーズ 13J: Does Poser Model TY talk in iClone
2013.8.25 Reported by Hirospot (パーソナルサイト) |
Poser モデル Terai Yuki の Viseme (ビセミ)、表情&衣類モーフのエクスポートテスト
iClone 5.5 新搭載 Motion Plus
|
|
|
|
印は日本語でのレポートです |
|
|
|
バーチャルアイドル(シンガー)「テライユキ」は今から15年程前に漫画家のくつぎけんいち氏により創作され、様々なメディア上で活躍した。3Dモデルフィギュアは当初Shade上で作られ、2005年7月にローポリのPoser版が登場した。
ハイポリ版は現在でも入手可能で、ボディと着衣類のメッシュが別々のボーンにスキニングされている独自の構造になっていて、Poser 内でのアニメーションができるようになっている。
このモデルには豊かな表情表現ができるフェイシャルモーフが内臓されているので、Poserの上位版であるPoserProを使ってCollada形式でエクスポートすれば、FBXコンバータを使って3DXchangeに入れ、そこでExpression Editorで表現を拡張しながら、iClone上で使えるようになる。
また、最新版のiClone5.5ではMotion Plus機能により、ボディモーションやフェイシャルモーフデータを一つのファイルにまとめ、3DX5.5からFBX形式で外部3DソフトやUnityゲームエンジンにエクスポートすることができる。 |
|
このレポートは個人的な体験に基づいて記載したもので、チュートリアルではありません。 |
本レポートの作成に当たり、Poserモデル販売元のe front社と、TYの創作者Kutsugi 様に感謝いたします。 |
Poser Figure Terai Yuki Set,
Terai Yuki 2 FULL
Terai Yuki c 2005 Ken-ichi Kutsugi /
extage All rights reserved. |
|
|
テライ ユキ: TY Set |
テライ ユキ 2: TY2 FULL |
Terai Yuki (Set) |
|
Terai Yuki 2 FULL |
|
TY-Dress |
|
TY-Dress |
|
TY-Boots |
|
TY-Boots |
|
|
|
Shorts |
|
Hair |
|
Hair |
|
Earrings |
|
Earrings |
|
TY Set ポリゴン数 |
37,628 |
TY2 FULL ポリゴン数 |
|
|
|
|
使用したモデルとツール類 |
製品のバージョン |
|
(0) Terai Yuki |
TY and TY2 Poser Version |
|
(1) Poser Pro 2010 SR1 |
8.0.3.11916 |
Smith Micro Software, Inc |
(2) Poser Pro 2012 |
9.03.23027 |
Smith Micro Software, Inc |
(3) FBX Converter |
2013.3 X64 |
|
|
(注)モーフデータのコンバージョンがサポートされているのは2011ですが、本レポートでは2013を使用しました。 |
(4) 3DXchange5.5 Pipeline |
5.5.2007.1 |
|
(5) iClone5.5 Pro |
5.5.3207.1 |
|
(6) TTS |
SAPI5 TTSAPP |
Microsoft |
(7) 和風ステージ |
和風ステージ.x |
MMD セカンドパック/データカタログ/ステージ:作者名/Yuduki 様 |
(8) 3ds Max |
2012 |
|
(9) Unity 4 (Free) |
Version4.1.5f1
|
|
参照サイト |
本レポートをまとめるにあたり、主として下記のサイトを参照させて頂きました。 |
(1) |
Monster Workshop Tutorial-Quick Lip-sync and Expressive Animation |
(2) |
Tutorial Poser: Use TalkDesinger with V4 or M4 |
(3) |
Non Genesis Character Facial Editing Plus Body Morphing in iClone5 |
(4) |
Poser to iClone via 3DXchange with Lip Sync |
(5) |
ChibiBel にしゃべらせる(トークデザイナー) |
|
|
作業ステップ |
作業の内容 とコメント |
TY |
TY2 |
1 |
PosePro2010/2012
Phonemes と Talk Designer |
TY2FULLでPhonemesを調べる。
TY setはPhonemesは利用できません。
|
|
|
2 |
PosePro から Collada.dae 出力 |
Morphデータのエクスポート設定 |
|
|
3 |
FBX Converter |
Morphデータに推奨の2011を使うと Scene Tree の表記が複雑化。
2013はノーティスが出るものの、コンバージョン後にはMorphが使える。 |
|
|
4 |
3DXChange でのキャラクタライズ(TY/TY2の対比) |
Scene Tree でのノード表記が PoserPro2010/2013 で異なる。
ボーン構造について、髪の毛の方向について
|
|
|
5 |
3DXChange
Expression Editor |
Expression Editor は目の動き、表情と衣類のモーフ全体に対応可。 |
|
|
6 |
iClone5.5 Pro:モデルの動作確認 |
髪の毛、ポークスルー部分の修正、基本モーションによる動作確認。 |
|
|
7 |
iClone5.5 Pro:TTS |
Viseme 関連の操作 |
|
|
8 |
iClone5.5 Pro:表情調整 |
Custom Expression Editorによる表情設定、ボディモーション |
|
|
9 |
iClone5.5 Pro:Motion Plus |
音声、表情、ボディモーションを一括し、ひとつのファイルで3DXに送れる。 |
|
|
|
3DXchange:FBX エクスポートテスト
|
エクスポート先のターゲットの種類によりエクスポートできない場合がある。 |
△ |
△ |
11 |
3dsmax へのインポート |
ターゲットとしてMotionBulder を選択した出力ファイルが使用できた。
MOTION Plus データのインポートはできたが、音声ファイルはFBXインポートされなかった。
|
|
× |
12 |
Unity へのインポート |
UnityへのFBXインポートでのハンドルできるポリゴン制限が約65,000ポリゴンとのメッセージが出て、TY2では動作確認ができなかった。このため、TYを使った。MOTION Plus データのインポートはできたが、表情変化はできなかった。
|
|
× |
|
|
PoserPro の Phonemes と Talk Designer |
1_1 |
PoserProを起動し、Poser Library から Preview 画面上にTerai Yuki 2 FULL を表示します。 |
|
|
1_2 |
Face Camera を使います。 Head を選択し、Parameters のFaceMorph下にあるPhonemes (音素) を展開します。
|
|
(Morping Tool を出してから、TYの顔上をクリックするとParameters上に発音用のダイヤルが出現します。)
|
1_3 |
この状態で Phonemes 内の各ダイアルを動かすとリップ形状は変わりますが、PoserPro上で音声ファイルでのリップシンクはできません。 |
|
(注)TY をPoserPro上でリップシンクさせてみるためにはTY2対応の Phonemes を作ることが必要です。 |
iClone側でリップシンクさせる場合、このPhonemes を特に作らなくても動作しましたが、作っておくと表現の幅が広がるメリットはあります。
|
1_4 |
TY用のリップ形状を作って登録するため、Morphing Tool のCreate タブ側の階層にあるPhonemes を出します。 |
|
|
1_5 |
Phonemes のA、E、O、U 〜を順次選択し、文字に合ったリップ形状になるように対応するPhonems のダイヤルを調整します。 |
|
Parameters のPhonems の各ダイヤルを調整し、Morphing Tool のCreate 側で'文字'のダイヤル目盛りが1.0000で丁度良い形状にします。
次の文字のリップ形状を設定する際には、前の文字の時の設定をリセットします。
|
1_6 |
設定した各リップ形状はObject/Spawn Morph Target で表示されるMorph Name 欄に名前を入れ、OK で登録します。 |
|
|
Morph → TY_A などとしてみます。
|
|
1_7 |
登録したMorph が下図のように表示されます。 |
|
|
1_8 |
次に、今登録したMorph を反映したTerai Yuki用のViseme map file を作成し、追加します。 |
|
1) RUNTIME/LipSync の中にデフォルトで入っている.xmlファイルをテキストエディタで開き、登録したMorphを割付けます。
2) 割付できない所はそのままにしておき、別名を付けて保存します。 |
|
|
|
1_9 |
Window メニューからTalk Designer を選択し、下記の設定を行います。 |
|
|
1) |
Input files/Sound File: TYに喋らせたい文章を(.WAV)形式で指定します。
(Runtime/LipSync/Audio Files内)
|
2) |
作成したViseme map file を指定します。 |
3) |
Configuration/Figure でTreai Yuki 2 を選択します。 |
4) |
Enunciation:スライダを動かすと口の開き具合が調整できます。 |
5) |
Head Motions: Eye Blink rate, Eye Motion, Head Motion の設定を加えると生き生きしたものになります。 |
6) |
Talk Designer の各部の設定を行ったあと、Apply ボタンを押します。 |
|
|
1_10 |
Apply ボタンを押したとき、適用した(.WAV)ファイルが適切でない場合には下図のメッセージが出ます。 |
|
|
Apply ボタンを押してこのメッセージが出た場合、Talk DesignerのResetボタンを押して再度Apply ボタンを押しても、リップの動きは正常時の最後の状態のままとなります。
他の(.WAV)ファイルで試してみます。
|
|
1_11 |
PoserPro上でリップシンクのアニメーションが確認できたので、TY2_TalkTest1.wmv (デモ動画用)として保存します。 |
1_12 |
Figure/Zero Figure をクリックしてからエクスポート作業に入ります。 |
2 |
PoserPro で Collada ファイルを作成します。 |
2-1 |
File/Export/COLLADA と選択し、ExportRange は Single frame export とします。 |
|
1) Select Objects でTerai yuki 2 以外のチェックを外します。
2) Export Options で:
・Export standard units は Centimeters を選びます。
・Bake all morphs のチェックを外します。
・Preset はDefault を選択してみます。
(注)3ds Max/Maya(2012+) を選択してもOKですが、 Scene Tree の表記内容が変わります。
・Invert transparency map のチェックを外します。 |
|
3) Select Morphs では Select All にしておきます。
|
|
2-2 |
ここでテライユキとテライユキ2との相違について、Hierarchy で比較しておきます。 |
|
TY Set:Terai Yuki (Set)/TY-Boots/TY-Dress/Hair/Earings |
|
|
|
TY FULL:Terai Yuki 2/TY2-Dress/TY2-Boots/TY2-Hair/TY2-Earings/TY2-Shorts |
|
|
3 |
モーフデータを FBX 変換し、3DXchange にインポート |
3-1 |
PoserProからエクスポートしたCollada(.DAE)ファイルをFBXファイルに変換します。 |
|
変換後のFBXファイルはDAEファイルと同じフォルダ内に生成されます。
|
3-2 |
コンバートの途中で下記のノーティスが出ますが、そのままOKをクリックします。 |
|
|
(コメント) Morph を含んだデータの場合は FBX Converter 2011 を使用するように指定がありますが、FBX2011を使ってみるとScene Treeの表記が非常に長くなり、作業性が低下。
本レポートではFBX2013を使用してみましたが、PoserPro内で表示されたMorphは
コンバートできております。 |
|
3-3 |
今回インポートしたTerai Yuki 2 は髪の毛の前後が逆に表示されました。 |
|
(注)髪の毛の方向はCharacterize のステップで修正できますが、本レポートでは非表示の状態で使わせて頂きます。 |
Scene Tree のFirure_6_node のチェックを外し、髪の毛を非表示にしておきます。
|
3-4 |
目の中が黒く表示されるため、Material/Select Material からCornea(角膜)を選択し、Opacity を「0」にします。 |
|
Iris のSPECULAR 値も 0 にします。
|
|
|
3-5 |
それ以外の部分については100になっているMaterial のSpecular値は、イヤリング以外、ゼロに設定します。 |
3-6 |
Modify/Face Setupの中のMorph List 内にはPoser側で付加されているMorphの種類が部位別に表示されます。 |
|
(注)使用するFBX Converter のバージョンにより、変換後のTY2Full の Scene Tree の表記内容は異なります。 |
|
3-7 |
この段階でも PoserPro で設定した Viseme map ファイル のリップ形状や他の Morph 設定は3Dビュー上で再現できます。 |
|
|
3-8 |
iClone5上で動くようにするには3DX上で人型UI を使い、Characterize をして iClone Non-Standard-Character にします。 |
4 |
TY2Full モデルの キャラクタライズと、Expression Editor による表現拡張 |
4-1 |
Modify/Convert to Non-Standard ボタンを押します。 |
|
1) 下図の Notice が出ますので、そのまま(Y)をクリックします。
|
コンバートの際、重複名称のノードの名前を自動的に付け直すため、アニメーションは一部正しくなくなるかもしれない、との注意内容です。
また、使用したPoserProやFBX Converterのバージョンの組み合わせでも表記内容が変わります。
イヤリングや髪の毛、ブーツは個別にインポートし、
iClone 上で TY2 にアタッチする方法も有効です。 |
|
|
2) ここではTY2 について、ボーンマッピングUI の各ボーン毎にシーンツリー内の対応ボーン上をクリックして行きます。 |
|
|
|
3) ボーンマッピングの作業方法 |
|
1) |
Scene Tree を使い、Tree内のFigure番号順に各ノードを選択し、モデルのメッシュとの関係を把握する。 |
2) |
ボディ(+頭)、ドレス、イヤリング、髪の毛、ブーツの各々は個別に専用のボーンで動いている。(Bone Mesh Morph) |
3) |
Bone Mapping UI にて、Poser_scene_root を Hips に対応させる。 |
4) |
Custom を選択し、 UI 上に表示されているボーン片をTY2の各ボーンに順次、機械的にあてはめて行く。 |
|
|
黄色枠はNeck Page
オレンジ色枠はSpine Page |
(注) Figure4 髪の毛については
対応ボーンUI不足のためマップ省略
|
|
Presets側 |
Bone Mapping UI |
Terai Yuki 2 (Set)側 |
|
|
Head |
Head(0) |
Neck Page |
Neck9 |
|
Head |
|
Neck8 |
Head(2) |
|
Neck7 |
Head(1) |
Head |
Neck6 |
Neck |
Head(2) |
Neck5 |
Neck(1) |
Head(1) |
Neck4 |
Neck(0) |
Neck |
Neck3 |
Chest |
Neck(1) |
Neck2 |
Chest(0) |
Neck(0) |
Neck1 |
Abdomen(2) |
Chest |
Neck |
Abdomen(1) |
Chest(0) |
|
|
LeftHand |
Left(R)Hand |
|
|
◆ LeftForeArm |
|
|
|
LeftForeArm |
Left (R)_Forearm |
|
|
◆ LeftArm |
|
|
|
LeftArm |
Left (R)_Arm(0) |
|
Left(R)Shoulder |
|
Left(R)_Collor(0) |
|
Spine9 |
Abdomen(1) |
Hip(2) |
Spine8 |
Hip(2) |
Hip(1) |
Spine7 |
Hip(1) |
Hip(0) |
Spine6 |
Hip(0) |
Hip |
Spine5 |
Hip |
Body |
Spine4 |
Body(4) |
Spine3 |
Body(3) |
Spine2 |
Body(2) |
Spine1 |
Body(1) |
|
|
Spine |
Body(0) |
|
|
Hips |
Poser_scene_root |
|
|
Left(R)UpLeg |
L(R)_Thigh(0) |
|
|
◆ Left(R)UpLegRoll |
◆L(R)Thigh(2) |
|
|
Left(R)Leg |
L(R)_Shin(0) |
|
|
◆Left(R)LegRoll |
◆L(R)Shin Left Thigh(1) |
|
|
Left(R)Foot |
L(R)Foot(0) |
|
|
Left(R)ToeBase |
◆L(R)_Foot |
|
|
4) TY2 FULL について、PoserPro2010 と3DXchange5上の表記関係を理解しておきます。 |
|
|
3DXchange 5上の表記(例)
|
|
ポリゴン数 |
Characterize後 |
Hierarchy20 |
説明 |
|
Poser Scene Root |
|
|
|
|
|
Body(0)/Hip(0) |
頭部とボディ |
86,782 |
TY2-Dress |
Figure_3_ node |
Body(2)/Hip |
ドレス |
19,080 |
TY2-Boots |
Figure_4_ node |
Body(1)/Hip(1) |
ブーツ |
9,268 |
TY2-Hair |
Figure_5_ node |
Body(3)/Head(1) |
髪の毛 |
6,910 |
Earrings |
Figure_6_ node |
Body(4)/Head |
イヤリングと飾り |
8,116 |
Shorts |
Figure_7_ node |
Body/Hip |
下着 |
5,548 |
|
Figure_8_ node |
|
|
|
総ポリゴン数 |
|
|
|
135,704 |
(参考)Poser2012→FBX2013.3 出3DXchange niimpの場合の表記内容
|
3DXchange 5上の表記(例) |
説明 |
|
Figure 1_node |
なし |
|
Figure 2_node |
なし |
Terai Yuki FULL
|
Figure 3_node |
ボディー全体 |
TY2-Dress |
Figure 4_node |
ドレス |
TY2-Boots |
Figure 5_node |
ブーツ左右 |
TY2-Hair |
Figure 6_node |
髪の毛 |
Earring |
Figure 7_node |
イヤリング (ベース+飾り部分) |
TY2-Shorts |
Figure 8_node |
下着 |
|
|
5) TY2 SET のボーン構造を理解しておきます。 |
|
|
コンバート後の状態(例) |
- |
Figure2 |
Figure3 |
Figure4 |
Figure5 |
ボディー |
ドレス |
シューズ |
髪の毛 |
イヤリング |
Head(0) |
Head(1) |
|
Head(2) |
Head |
Neck(0) |
Neck(1) |
|
Neck |
|
Chest(0) |
Chest |
|
|
|
Abdomen(0) |
Abdomen(1) |
Abdomen(2) |
|
|
Hip(0) |
Hip(1) |
Hip(2) |
|
|
Body(0) |
Body(1) |
Body(2) |
Body(3) |
Body(4) |
Butttock(0) |
|
Buttock(2) |
|
|
Thigh(0) |
|
Thigh(2) |
|
|
Shin(0) |
|
Shin |
|
|
Foot(0) |
|
Foot |
|
|
|
|
|
|
|
|
|
|
|
(Dressの裾は、メッシュには
モーフが付いていますが
(Mesh Morph)、ボーンには
接続しておりません 。
(not Bone Mesh Morph) |
|
|
|
(参考)TY Set の場合
|
3DXchange 5上の表記(例)
|
|
ポリゴン数 |
Characterize後 |
Hierarchy |
説明 |
|
Poser Scene Root |
|
|
|
|
|
Body(0)/Hip(0) |
頭部とボディ |
21,372 |
TY-Dress |
Figure_4_ node |
Body(2)/Hip |
ドレス |
5,524 |
TY-Boots |
Figure_3_ node |
Body(1)/Hip(1) |
ブーツ |
2,002 |
Hair |
Figure_5_ node |
Body(3)/Head(1) |
髪の毛 |
5,782 |
Earrings |
Figure_6_ node |
Body/Head |
イヤリングと飾り |
|
総ポリゴン数 |
|
|
|
37,628 |
|
|
(参考:TY1Set の場合はDressの裾も変形します) |
|
|
|
6) TY2 FULLの構成はFBX Converter で変換され、Scene Tree 内の表記は下記の様に対応しています。 |
|
|
表記 |
ボーン番号 |
Terai Yuki 2 Full
の対応部分 |
node |
|
コンバート前 |
コンバート後 |
|
|
root |
ボディ |
Figure_3 |
|
ドレス/ボディ |
ドレス |
Figure 4 |
|
ブーツ/ドレス |
ブーツ |
Figure 5 |
|
ブーツ左右 |
髪の毛 |
Figure 6 |
Body4/Head |
髪の毛
|
イヤリング |
Figure7 |
Body/Hip |
イヤリング
(+飾り) |
|
Figure 8 |
|
パンツ |
|
Figure4 と Figure6 は表記とボーン番号が入れ替わる |
表記 |
Terai Yuki 2 上の部分 |
Figure 1 |
一体化されたボディー全体 |
Figure 2 |
ドレス |
Figure 3 |
ブーツ左右 |
Figure 4 |
髪の毛 |
Figure 5 |
イヤリング(ベース+飾り部分) |
Figure 6 |
パンツ |
|
|
4-2 |
髪の毛の方向修正について |
|
Mapping 完了後の髪の毛のメッシュはScene Tree の Neck にリンクしています。
Active のチェックを外した状態でRotate Object ツールを使い、Neck ボーンの方向を修正してから、Active に戻すことで修正できます。 |
|
|
4-3 |
次に、Face/Extend Mapping をクリックし、Eye Mapping もしておきます。 |
|
|
4-4 |
また、Unused Body Bone を展開して、残りの Extend Bone にもマッピングをしておきます。 |
|
|
4-5 |
取敢えず、Active 状態から Convertボタンをクリック。 |
|
ノーティスが出るので、OKをクリックすると、Expression Editor を起動できるようになります。→
|
|
|
5 |
Expression Editor |
5-1 |
Expression Editor ではHead, Eye, Jaw, Viseme, Muscle, Custom の分類別に表現の設定ができるようになっています。 |
|
1)Head Expression:6方向の頭の向き選択し、RotateObjectツールで調整後、各方向毎に登録します。(SetボタンまたはAutoキー使用) |
|
|
5-2 |
Eye Expression:4方向の目の向き選択し、RotateObjectツールで調整後、各方向毎に登録します。 |
|
|
5-3 |
Viseme (ビセミ):PoserProからインポートされた各Morphのレバーを選択調整して各発音のリップ形状を生成し、登録します。 |
|
|
5-4 |
Muscle:PoserProからインポートされたMorphのレバーを調整して瞼や眉毛、鼻や唇の動きを実現し、登録します。 |
|
|
5-5 |
設定したViseme は保存しておきます。この結果はiClone側で使用する Lip Synching のリストにそのまま反映されます。 |
|
Facial Animation Profile 保存形式:*.3dxFaceAnimProfile |
|
5-6 |
Custom:iClone側でのマウス操作に対応して変化できる任意の表情を設定してみます。→Custom Group1:顔のみの表情変化 |
|
|
5-7 |
Custom:Dress の形状モーフ→Custom Group2:顔の表情とドレスが同時に変化するように組み合わせてみます。 |
|
|
5-8 |
Custom:Boots (Figure 4) 先端の形状もここで調整することができます。(デフォルト状態では変形しています) |
|
|
5-9 |
各Custom Group で設定した内容例を整理しておきます。 後で変更もできます。 |
|
Group |
顔側の設定例 |
着衣側の設定例 |
Group1 |
口と目の両方を動かし、笑顔〜怒り顔を作る。 |
|
Group2 |
口と目の両方を動かし、笑顔の程度を変える。 |
|
Group3 |
|
ドレスの裾だけを動かす。 |
Group4 |
口と目の両方を動かす。 |
ドレスの裾も同時に動かす。 |
Group5 |
(髪の毛がある場合、揺らせる) |
(ドレスを同時に動かす) |
Group6 |
足のすねの修正(マウス左右方向) |
Boots形状の修正(マウス上下方向) |
|
5-10 |
マッピングしたExtend Bone に Spring のTranslate/Rotateを設定し、Group Setting を調整してみます。 |
|
Preview Motion からモーションを適用し、スプリングの効き具合を確認してみます。
|
5-11 |
設定が一応完了したら、Expression Editor を閉じ、 Apply to iClone をクリックします。改良点があれば、戻って修正できます。 |
|
|
|
|
6 |
iClone5.5 上に現れた TY2 FULL へのスピーチ前の準備 |
6-1 |
1)髪の毛(ショートヘア)が前後反転して表示される場合は、Skin モードにて Hairを選択し、Opacity を’0’にしておきます。 |
|
|
6-2 |
首の下とブーツの先端などにポークスルーが気になる場合には、Opacity Map を作って適用してみます。 |
|
|
6-3 |
Animation/Motion/Modify/で Motion Puppet を表示し、デフォルトの姿勢を合わせ、手の指の形を整えておきます。 |
6-4 |
ボディ全体の動作確認のためTY2上をクリックし、Persona を表示します。 |
6-5 |
Actor/Pesona/TemplateでG5_Gwynnをダブルクリックし、TY2上を左クリックしてPerformを開き、idle 01を適用してみます。 |
|
|
7 |
iClone5.5 で Text to Speech を使ってみます。 |
7-1 |
Animation/Facial Animation/Modify/IMPORT Voice にてText-to-Speech のType ボタンをクリックします。 |
|
1) スピーチの内容を入れて、Voice Mode で VW Julie を選択し、Preview で声を聞いてみて、OK ボタンをクリック。 |
|
2) TY2 の口は3Dビュー画面でリップシンクした形で動くようになります。 |
|
(注)OKボタンをクリックするとEditorウインドが消えてしまうため、スピーチ内容はテキストツールに保存しておきます。
|
|
3) 外部TTS App を使うとスピーチ内容のテキスト文が消えないため、修正がある場合には便利です。 |
|
Animation/Facial Animation/Modify/Import Voiceで Vocal ファイル(.WAV)を開いても良いです。
Crazy Talk のCTSファイルを使うと感情表現の付いた状態で表現できます。
|
7-2 |
発声音に対し、リップの形状が適切に見えるようにするには、Phoneme レベルで細部の調整をします。 |
|
Viseme リスト
|
Viseme
口形素
|
視覚音素
Visual + Phoneme の造語 |
Phoneme
音素 |
発音を区別するための最小音声単位 |
|
|
ツール |
方 法 |
1) |
Voice 波形の表示 |
iClone でF3 をクリックしてタイムラインを表示したら、Viseme を展開します。 |
2) |
Lip Synching Visemeリスト |
Lips ライン上の任意の場所をダブルクリックするとポップアップします。 |
3) |
リップ形状の確認 |
Viseme欄の音声ファイル上で赤いタイムラインをスライドさせます。 |
4) |
リップ形状の追加 |
必要な位置に赤いタイムラインを移動し、Lip Synching リスト内のViseme上をクリック |
5) |
Viseme全体の強度 |
全体はViseme Strength のスライダーで調整します。
|
6) |
Viseme個別の強度 |
Viseme毎の調整はLipSynchingリスト上のExpressiveness のスライダで行います。 |
|
|
7-3 |
キーボードのF3 を押すとTimeline が出ます。Track List をクリックし、Character からRootNode(0) を開きます。 |
|
|
RootNode のFace タブをクリックするとVisemeが出ます。
▼マークをクリックするとVoice波形が出ます。 |
|
7-4 |
リップシンクのタイミングを微調整したい時は、タイムラインの該当部分を拡大し Voice波形 と対応 Phoneme マーカーを表示します。
|
|
|
【 リップシンクの微調整方法 】
|
1)Phonemeマーカーの上をクリックし、その位置をずらす。
2)リップ形状が合うように、適切なマーカーをペーストする。
3)発声していない場所には(None)マーカーを置きます。
4)不用と思われるLips 形状記号は左クリック、または、Deleteボタンで削除する。
|
|
|
|
7-5 |
発音内容とリップ形状がマッチしない場合には 音声(Phoneme) マーカ の入替とExpressiveness の調整で改善します。 |
|
|
調整したい部分の両側にタイムストッパーを置き、リプレイ範囲を制限すると作業性が上がります。
|
言葉 |
My |
Name |
is |
|
Yu |
ki |
Te |
ra |
i |
当初のViseme |
Ih |
None |
T.L.D |
|
Ih Ch.J |
Ch.J |
Ih |
T.L.D, |
Ih |
編集後 |
Ah |
EE |
Ih |
|
W.OO |
Ih |
EE |
Ah |
Ih |
Expresiveness |
70 |
100 |
70 |
|
100 |
100 |
100 |
100 |
100 |
|
|
7-6 |
Visemeが適切でない場合には、TY2本体を3DXchange に戻し、再度、Visemeを調整し直してiClone に上書きして戻します。 |
|
|
8 |
スピーチ中に表情や動きを付加したい場合の方法 |
|
種 類 |
ツールの手順 |
説 明 |
ボディーモーション1 |
Modify/Motion Puppet/Body Puppet
Content Manager/Templateの中から選択
|
Body Profile にあるモーションの中から選択してモデルに適用 |
ボディーモーション2 |
Modify/Direct Puppet/ |
Direct Puppet のパペット上でボディパーツを選択し、レコーディングしながらマウス操作でモデルを動かす |
ボディーと手の指 |
Motion Layer Editor |
タイムライン上、任意の位置でボディと指の動きを修正 |
顔の表情 |
Facial Animation/Expression Style |
11種類のプリセットスタイルから選択する。
トーク期間の全体に渡って動作が付く。 |
顔の表情 |
Facial Animation/Puppet/Puppeteering Panel |
3DXchange の Custom パネルで設定した表情をマウス操作で再現しながらレコーディングできる。 |
|
8-1 |
表情の操作 |
|
1) オーディオクリップに重ねて表情を追加したい場合はPuppetering Panel の 3DX_Custom を使います。 |
|
2) 3-8,9項で設定したCustom の 6つのGroup は このFull Face Control で選択できます。
|
|
(注)Edit Property を使う場合は、全てのWeight 値を0にしない。
|
|
3) まず、Full Face Control でグループを選択します。2つの軌道マーク上をクリックして首を固定してからPreview ボタンをクリックします。 |
|
4) マウスを上下、左右に回すとCustom Expression Editor で設定したフェイシャルエクスプレッションが再現できます。
|
|
|
Expression Strengthのスライダーを動かすと表現の度合いが調整できます。
調整の結果は表現全体に影響します。
|
|
|
5) エクスプレッションを記録するにはRecord ボタンを押します。このモーションはタイムライン上に'PuppetClip'として乗ります。 |
8-2 |
ボディーモーション |
|
1) Motion Template の中からスピーチに合いそうなMotion Charming Girl のTalk 01を選択して加え、スピーチの雰囲気に近つけます。 |
|
2) Edit Motion Layerを開いて、スピーチの流れに合うようにボディ各部の挙動を調整します。 |
|
|
|
3) ボーンの色、サイズ、透明度の調整をしたい場合には EDIT Motion Layer パネル右上のBone Settings を開きます。 |
|
|
Pose の調整時にはBone Settings のポップアップは閉じます。 |
|
|
4) Viseme のVoice波形の動きを参照しながらスピーチと身体の挙動がシンクロするようにモーションを調整します。 |
|
|
|
|
9 |
iClone5.5 の MotionPlus とは |
9-1 |
スピーチを開始するタイミングにしてからPesonaを開き、 'Agree' モーションを選択します。 |
|
(注)FBX エクスポートテストなので、エクスポートライセンス費不用のモーショに変更しました。 |
|
9-2 |
スピーチの雰囲気を出すため、適当な背景を追加してみます。 |
|
(注) ここではMMDセカンドパックの和風ステージ(作者名:yuduki様) をお借りしました。
|
|
9-3 |
Actor\Avatar にて'Edit on 3DXchange' ボタンをクリックし 3DX5 の3Dビュー上にTY2 モデル形状を表示します。
|
|
(注) この操作を忘れると、TY2のかわりにiClone標準男性キャラクターのChuck が現われてしまいます。)
|
|
9-4 |
タイムライン上で、’Collect Clip’ ボタンを左クリックし、そのままエクスポートしたい領域全体をドラッグして選択します。 |
|
|
9-5 |
Collect Clipのライン上で右クリックし、ポップアップから'Add MotionPlus to 3DXChange' を選択します。 |
9-6 |
MotionPlus で確保されたデータは3DXchangeのMotion Library 上に’motionplus’ として表示されています。 |
|
(注)motionplus 以外のモーションはは削除しても良いです。
|
10 |
TY と TY2 とで 3DX5.5 からの FBX エクスポートテスト |
10-1 |
File から Export to other 3D Format → Export FBX を選択し、Target Tools にてエクスポート先を選択します。 |
|
TY2_3ds Max : このターゲットを選択すると3DX5.5 が動作終了してしまう。
|
TY2(3ds Max) → 3ds Max
|
このターゲットを選択すると
3DX5.5 が動作終了してしまう。 |
|
|
|
TY2 Full_MotionBuilder : このターゲットを選択するとエクスポートはできたが、出力したFBXファイルはmaxで開けない。
|
TY2 (MotionBuilder) → 3ds Max
|
出力したFBXファイルはmaxで開けない。 |
|
|
|
TY2 FULL_Unity(Animation 非選択) : 表情は付かないが出力できた。
|
TY2 (Unity) → 3ds Max
|
出力したFBXファイルは3ds maxで開けたが、アニメーションは付いていない。 |
|
|
10-2 |
次に、ポリゴン数の多いTY2 FULL からポリゴン数の少ないTY Set に変更してみます。 |
|
|
|
TY Set : 37,628 ポリゴンカウント, MotionPlus を適用します。
|
10-3 |
Export FBX にて 前回と同様に Target Tool での選択を行います。 |
|
TY Set_3ds Max: 3DXchange5.5 の動作が停止しました。
|
TY (3ds Max) → 3ds Max
|
このターゲットの場合、
3DXchange5.5 の動作が停止
|
|
|
|
TY Set_MotionBuilder : エクスポート成功
|
TY2 (MotionBuilder) → 3ds Max
|
エクスポートしたFBX ファイルは
3ds maxで開き、顔とボディのモーションのプレビューができました.
音声は付いていません。 |
|
|
|
TY Set_Maya : エクスポート成功
|
TY2 (Maya) → 未確認
|
|
|
TY Set_Custom :エクスポート成功
|
TY2 (Custom) →未確認
|
|
11 |
テスト1: FBX エクスポート後の TY Set を3ds Max にインポート |
11-1 |
TY Set は3ds Max にインポート後、 Motion Plus の動作がプレビューできました。 |
|
3dsmax Time Configuration: フレームカウントは180 (3DXchange5上で356 フレーム)
プレビューイメージ(髪の毛は非表示)
|
11-2 |
音声を付加するには 'Open Mini Curve Editor' アイコンの上をクリックし、Soundの上を左クリックします。
|
|
プロパティを開き、音声ファイルとインポートします。
|
Time Configurationの設定
|
|
11-3 |
TY Set にiCloneで設定した表情と Persona モーションが再現、音声は 3ds Max 側で付加されました. |
|
プレビュー画面
|
12 |
テスト2: FBX エクスポート後のTY Set を Unity にインポート
|
|
(エクスポートした FBX ファイル (TY Set_MotionBuilder) は
Unity で開くことができ、MotionPlus ファイルも入っています。) |
|
1) Assets の中に’TY_5.5’ というフォルダを作り、エクスポートしたTY_MotionBuilder.fbx ファイルを入れます。
|
|
motionplus ファイルが Project パネルに表示されています。 |
|
2) motionplus ファイルをAnimator フォルダにドラッグすると、NewController.controller ファイルが
生成されます。 |
|
(注) このテストでは髪の毛は表示しておりません。)
|
|
3) 音声ファイルをインポートするため、Hierarchy パネルの中に 'Audio Source' というフォルダを作ります。 |
|
'Audio Source' の作成方法
GameObject→Create Empty を選択すると Hierarchy パネル内に ’Game Object' が生成されます。
その ’Game Object' を'Audio Source' に変更します。
|
|
4) Unity のシーン内でボディモーションは再現しましたが、表情は変化しません。(Unityの仕様) |
|
5) リップシンクなど、表情まで変化させたい場合は、MegaFires というプラグインを導入し、Max エクスポータを使う必要があります。
MegaFires |
@ MEGA-FIRES, STORE にアクセスし、 'MegaFiersv2.44.rar'ファイルをダウンロードします。.
A Unity Standard packages フォルダに 'Mega-Fiers.unitypackage' をインストールします。 |
Max Exporter |
@ 3ds Max 内にUnity で必要な .MORファイルを生成するために必要になります。
A 入手方法は、MegaFires 購入
時の注文番号を記載したメールをmegafiers@west-racing.com に送り、
Max Exporter1希望の旨を伝えます。
B 'MorphExport_201264a.dlo' というファイルが添付されたメールが届きます。 |
|
|
(続く?) |
|
|
13 |
デモビデオを作ります。 |
|
Step1.PoserPro上でTTSでテライユキを喋らせ、表情のモーフデータをエクスポート
Step2.
3DXchange でキャラクタライズ後、ExpressionEditorを使う
Step3.
iClone上でTTS,表情と動作を付け、MotionPlus でFBXエクスポート
Step4.
3ds Maxへのエクスポート結果
Step5.
Unity上へのエクスポート結果 |
|
|
3DXchange5 Pipeline テストシリーズ 2013.8.25 Hirospot (パーソナルサイト) |