3DXchange5 Pipeline テストシリーズ 13J: Does Poser Model TY talk in iClone
2013.8.25 Reported by Hirospot (パーソナルサイト)
  Poser モデル Terai Yuki の Viseme (ビセミ)、表情&衣類モーフのエクスポートテスト
iClone 5.5 新搭載 Motion Plus
デモ ビデオ(英語)
他のレポートはこちらから→
印は日本語でのレポートです
バーチャルアイドル(シンガー)「テライユキ」は今から15年程前に漫画家のくつぎけんいち氏により創作され、様々なメディア上で活躍した。3Dモデルフィギュアは当初Shade上で作られ、2005年7月にローポリのPoser版が登場した。

ハイポリ版は現在でも入手可能で、ボディと着衣類のメッシュが別々のボーンにスキニングされている独自の構造になっていて、Poser 内でのアニメーションができるようになっている。

このモデルには豊かな表情表現ができるフェイシャルモーフが内臓されているので、Poserの上位版であるPoserProを使ってCollada形式でエクスポートすれば、FBXコンバータを使って3DXchangeに入れ、そこでExpression Editorで表現を拡張しながら、iClone上で使えるようになる。

また、最新版のiClone5.5ではMotion Plus機能により、ボディモーションやフェイシャルモーフデータを一つのファイルにまとめ、3DX5.5からFBX形式で外部3DソフトやUnityゲームエンジンにエクスポートすることができる。
このレポートは個人的な体験に基づいて記載したもので、チュートリアルではありません。
本レポートの作成に当たり、Poserモデル販売元のe front社と、TYの創作者Kutsugi 様に感謝いたします。
Poser Figure Terai Yuki Set,
Terai Yuki 2 FULL
Terai Yuki c 2005 Ken-ichi Kutsugi /
extage All rights reserved.
c 2005 e-frontier, inc.
テライ ユキ: TY Set
テライ ユキ 2: TY2 FULL
Terai Yuki (Set)
21,372
Terai Yuki 2 FULL
86,782
TY-Dress
5,524
TY-Dress
19,080
TY-Boots
2,002
TY-Boots
9,268
   
Shorts
5,548
Hair
5,782
Hair
6,910
Earrings
2,948
Earrings
8,116
TY Set ポリゴン数
37,628
TY2 FULL ポリゴン数
135,704
使用したモデルとツール類
製品のバージョン
備 考
(0) Terai Yuki
TY and TY2 Poser Version
(1) Poser Pro 2010 SR1
8.0.3.11916
Smith Micro Software, Inc
(2) Poser Pro 2012
9.03.23027
Smith Micro Software, Inc
(3) FBX Converter
2013.3 X64
 
(注)モーフデータのコンバージョンがサポートされているのは2011ですが、本レポートでは2013を使用しました。
(4) 3DXchange5.5 Pipeline
5.5.2007.1
(5) iClone5.5 Pro   
5.5.3207.1
(6) TTS SAPI5 TTSAPP Microsoft
(7) 和風ステージ 和風ステージ.x MMD セカンドパック/データカタログ/ステージ:作者名/Yuduki 様
(8) 3ds Max
2012
(9) Unity 4 (Free)
Version4.1.5f1

参照サイト
本レポートをまとめるにあたり、主として下記のサイトを参照させて頂きました。
(1) 
Monster Workshop Tutorial-Quick Lip-sync and Expressive Animation 
(2) 
Tutorial Poser: Use TalkDesinger with V4 or M4
(3) 
Non Genesis Character Facial Editing Plus Body Morphing in iClone5
(4) 
Poser to iClone via 3DXchange with Lip Sync
(5) 
ChibiBel にしゃべらせる(トークデザイナー)

作業ステップ
作業の内容 とコメント
TY
TY2
1
PosePro2010/2012
Phonemes と Talk Designer
TY2FULLでPhonemesを調べる。
TY setはPhonemesは利用できません。

2
PosePro から Collada.dae 出力 Morphデータのエクスポート設定
3
FBX Converter Morphデータに推奨の2011を使うと Scene Tree の表記が複雑化。
2013はノーティスが出るものの、コンバージョン後にはMorphが使える。
4
3DXChange でのキャラクタライズ(TY/TY2の対比) Scene Tree でのノード表記が PoserPro2010/2013 で異なる。
ボーン構造について、髪の毛の方向について
5
3DXChange
Expression Editor
Expression Editor は目の動き、表情と衣類のモーフ全体に対応可。
6
iClone5.5 Pro:モデルの動作確認 髪の毛、ポークスルー部分の修正、基本モーションによる動作確認。
7
iClone5.5 Pro:TTS Viseme 関連の操作
8
iClone5.5 Pro:表情調整 Custom Expression Editorによる表情設定、ボディモーション
9
iClone5.5 Pro:Motion Plus 音声、表情、ボディモーションを一括し、ひとつのファイルで3DXに送れる。
10
3DXchange:FBX エクスポートテスト
エクスポート先のターゲットの種類によりエクスポートできない場合がある。
11
3dsmax へのインポート ターゲットとしてMotionBulder を選択した出力ファイルが使用できた。
MOTION Plus データのインポートはできたが、音声ファイルはFBXインポートされなかった。
×
12
Unity へのインポート UnityへのFBXインポートでのハンドルできるポリゴン制限が約65,000ポリゴンとのメッセージが出て、TY2では動作確認ができなかった。このため、TYを使った。MOTION Plus データのインポートはできたが、表情変化はできなかった。
×

1
PoserProPhonemes Talk Designer
1_1
PoserProを起動し、Poser Library から Preview 画面上にTerai Yuki 2 FULL を表示します。
 
PoserPro/TY2FULL_PP2010
1_2
Face Camera を使います。 Head を選択し、Parameters のFaceMorph下にあるPhonemes (音素) を展開します。


Phonemes Dial
(Morping Tool を出してから、TYの顔上をクリックするとParameters上に発音用のダイヤルが出現します。
1_3
この状態で Phonemes 内の各ダイアルを動かすとリップ形状は変わりますが、PoserPro上で音声ファイルでのリップシンクはできません。
 
(注)TY をPoserPro上でリップシンクさせてみるためにはTY2対応の Phonemes を作ることが必要です。
   iClone側でリップシンクさせる場合、このPhonemes を特に作らなくても動作しましたが、作っておくと表現の幅が広がるメリットはあります。
Create_E
1_4
TY用のリップ形状を作って登録するため、Morphing Tool のCreate タブ側の階層にあるPhonemes を出します。
 
TY_A
1_5
Phonemes のA、E、O、U 〜を順次選択し、文字に合ったリップ形状になるように対応するPhonems のダイヤルを調整します。
 
ParametersPhonems の各ダイヤルを調整し、Morphing ToolCreate 側で'文字'のダイヤル目盛りが1.0000で丁度良い形状にします
次の文字のリップ形状を設定する際には、前の文字の時の設定をリセットします。
1_6
設定した各リップ形状はObject/Spawn Morph Target で表示されるMorph Name 欄に名前を入れ、OK で登録します。
 
Morph → TY_A などとしてみます

MorphName
1_7
登録したMorph が下図のように表示されます。
 
TYMorph
1_8
次に、今登録したMorph を反映したTerai Yuki用のViseme map file を作成し、追加します。
 
1) RUNTIME/LipSync の中にデフォルトで入っている.xmlファイルをテキストエディタで開き、登録したMorphを割付けます。
2) 割付できない所はそのままにしておき、別名を付けて保存します。
1_9
Window メニューからTalk Designer を選択し、下記の設定を行います。
 
TalkDesigner
1)

Input files/Sound File: TYに喋らせたい文章を(.WAV)形式で指定します。
(Runtime/LipSync/Audio Files内)

2)
作成したViseme map file を指定します。
3)
Configuration/Figure でTreai Yuki 2 を選択します。
4)
Enunciation:スライダを動かすと口の開き具合が調整できます。
5)
Head Motions: Eye Blink rate, Eye Motion, Head Motion の設定を加えると生き生きしたものになります。
6)
Talk Designer の各部の設定を行ったあと、Apply ボタンを押します。
1_10
Apply ボタンを押したとき、適用した(.WAV)ファイルが適切でない場合には下図のメッセージが出ます。
 
Message

Apply ボタンを押してこのメッセージが出た場合、Talk DesignerのResetボタンを押して再度Apply ボタンを押しても、リップの動きは正常時の最後の状態のままとなります。

他の(.WAV)ファイルで試してみます。

1_11 PoserPro上でリップシンクのアニメーションが確認できたので、TY2_TalkTest1.wmv (デモ動画用)として保存します。
1_12
Figure/Zero Figure をクリックしてからエクスポート作業に入ります。
2
PoserPro Collada ファイルを作成します。
2-1
File/Export/COLLADA と選択し、ExportRange は Single frame export とします。
 


1) Select Objects でTerai yuki 2 以外のチェックを外します。


2) Export Options で:


・Export standard units は Centimeters を選びます。

・Bake all morphs のチェックを外します。

・Preset はDefault を選択してみます。
  (注)3ds Max/Maya(2012+) を選択してもOKですが、      Scene Tree の表記内容が変わります。


・Invert transparency map のチェックを外します。

ExportOptions_1
 3) Select Morphs では Select All にしておきます。
SelectMorphs
2-2
ここでテライユキとテライユキ2との相違について、Hierarchy で比較しておきます。
 
TY Set:Terai Yuki (Set)/TY-Boots/TY-Dress/Hair/Earings
 
TY_Hierarchy
 
TY FULL:Terai Yuki 2/TY2-Dress/TY2-Boots/TY2-Hair/TY2-Earings/TY2-Shorts
 
3
モーフデータを FBX 変換し、3DXchange にインポート
3-1
PoserProからエクスポートしたCollada(.DAE)ファイルをFBXファイルに変換します。
 
変換後のFBXファイルはDAEファイルと同じフォルダ内に生成されます。
TY2_FBX1
3-2
コンバートの途中で下記のノーティスが出ますが、そのままOKをクリックします。
 
(コメント) Morph を含んだデータの場合は FBX Converter 2011 を使用するように指定がありますが、FBX2011を使ってみるとScene Treeの表記が非常に長くなり、作業性が低下。

本レポートではFBX2013を使用してみましたが、PoserPro内で表示されたMorphは
コンバートできております。
3-3
今回インポートしたTerai Yuki 2 は髪の毛の前後が逆に表示されました。
 

(注)髪の毛の方向はCharacterize のステップで修正できますが、本レポートでは非表示の状態で使わせて頂きます。
Scene Tree のFirure_6_node のチェックを外し、髪の毛を非表示にしておきます。
3-4
目の中が黒く表示されるため、Material/Select Material からCornea(角膜)を選択し、Opacity を「0」にします。
 

Iris のSPECULAR 値も 0 にします。

TY2_Eye
 

2_Cornea_2
3-5
それ以外の部分については100になっているMaterial のSpecular値は、イヤリング以外、ゼロに設定します。
3-6
Modify/Face Setupの中のMorph List 内にはPoser側で付加されているMorphの種類が部位別に表示されます。
 
(注)使用するFBX Converter のバージョンにより、変換後のTY2Full の Scene Tree の表記内容は異なります。

3-7
この段階でも PoserPro で設定した Viseme map ファイル のリップ形状や他の Morph 設定は3Dビュー上で再現できます。
 
TY_A
3-8
iClone5上で動くようにするには3DX上で人型UI を使い、Characterize をして iClone Non-Standard-Character にします。
4
TY2Full モデルの キャラクタライズと、Expression Editor による表現拡張 
4-1
Modify/Convert to Non-Standard ボタンを押します。
 
1) 下図の Notice が出ますので、そのまま(Y)をクリックします。
Notice

コンバートの際、重複名称のノードの名前を自動的に付け直すため、アニメーションは一部正しくなくなるかもしれない、との注意内容です。

また、使用したPoserProやFBX Converterのバージョンの
組み合わせでも表記内容が変わります。

イヤリングや髪の毛、ブーツは個別にインポートし、
iClone 上で TY2 にアタッチする方法も有効です。

 
2) ここではTY2 について、ボーンマッピングUI の各ボーン毎にシーンツリー内の対応ボーン上をクリックして行きます。
 
Y2Mapping
  3) ボーンマッピングの作業方法
 
1)
Scene Tree を使い、Tree内のFigure番号順に各ノードを選択し、モデルのメッシュとの関係を把握する。
2)
ボディ(+頭)、ドレス、イヤリング、髪の毛、ブーツの各々は個別に専用のボーンで動いている。(Bone Mesh Morph)
3)
Bone Mapping UI にて、Poser_scene_root を Hips に対応させる。
4)
Custom を選択し、 UI 上に表示されているボーン片をTY2の各ボーンに順次、機械的にあてはめて行く。
黄色枠はNeck Page

オレンジ色枠はSpine Page

(注) Figure4 髪の毛については
対応ボーンUI不足のためマップ省略

 
Presets側
Bone Mapping UI
Terai Yuki 2 (Set)側
   
Head
Head(0) 
Neck Page
Neck9
Neck Page
Head
 
Neck8
Head(2)
 
Neck7
Head(1)
Head
Neck6
Neck
Head(2)
Neck5
Neck(1) 
Head(1)
Neck4
Neck(0)  
Neck
Neck3
Chest
Neck(1) 
Neck2
Chest(0)
Neck(0)
Neck1
Abdomen(2)
Chest
Neck
Abdomen(1)
Chest(0)
   
LeftHand
Left(R)Hand
   
◆ LeftForeArm
 
   
LeftForeArm
Left (R)_Forearm
   
◆ LeftArm
 
   
LeftArm
Left (R)_Arm(0)
Spine Page
Left(R)Shoulder
Spine Page
Left(R)_Collor(0) 
 
Spine9
Abdomen(1) 
Hip(2)
Spine8
Hip(2) 
Hip(1)
Spine7
Hip(1)
Hip(0)
Spine6
Hip(0)
Hip
Spine5
Hip
Body
Spine4

Body(4)

Spine3
Body(3)
Spine2
Body(2)
Spine1
Body(1) 
   
Spine
Body(0)  
   
Hips
Poser_scene_root
   
Left(R)UpLeg
L(R)_Thigh(0) 
   
◆ Left(R)UpLegRoll
◆L(R)Thigh(2) 
   
Left(R)Leg
L(R)_Shin(0)
   
◆Left(R)LegRoll
◆L(R)Shin   Left Thigh(1)
   
Left(R)Foot
L(R)Foot(0) 
   
Left(R)ToeBase
◆L(R)_Foot
  4) TY2 FULL について、PoserPro2010 と3DXchange5上の表記関係を理解しておきます。
 

PoserPro2010
での表記

3DXchange 5上の表記(例)
ポリゴン数
Characterize
Hierarchy20
説明
 
Poser Scene Root
   

Terai Yuki 2 (FULL)

Figure_2 _node
Body(0)/Hip(0)
頭部とボディ
86,782
TY2-Dress
Figure_3_ node
Body(2)/Hip
ドレス
19,080
TY2-Boots
Figure_4_ node
Body(1)/Hip(1)
ブーツ
9,268
TY2-Hair
Figure_5_ node
Body(3)/Head(1)
髪の毛
6,910
Earrings
Figure_6_ node
Body(4)/Head
イヤリングと飾り
8,116
Shorts
Figure_7_ node
Body/Hip
下着
5,548
 
Figure_8_ node
 
総ポリゴン数
     
135,704

(参考)Poser2012→FBX2013.3 出3DXchange niimpの場合の表記内容

PoserPro201での表記

3DXchange 5上の表記(例)
説明
 
Figure 1_node
なし
 
Figure 2_node
なし
Terai Yuki FULL
Figure 3_node
ボディー全体
TY2-Dress
Figure 4_node
ドレス
TY2-Boots
Figure 5_node
ブーツ左右
TY2-Hair
Figure 6_node
髪の毛
Earring
Figure 7_node
イヤリング (ベース+飾り部分)
TY2-Shorts
Figure 8_node
下着
  5) TY2 SET のボーン構造を理解しておきます。
 
TY2_BoneRelation_2

 

コンバート後の状態(例)
-
Figure2
Figure3
Figure4
Figure5
ボディー
ドレス
シューズ
髪の毛
イヤリング
Head(0)
Head(1)
 
Head(2)
Head
Neck(0)
Neck(1)
 
Neck
 
Chest(0)
Chest
 
 
Abdomen(0)
Abdomen(1)
Abdomen(2)
 
Hip(0)
Hip(1)
Hip(2)
 
Body(0)
Body(1)
Body(2)
Body(3)
Body(4)
Butttock(0)
Buttock(2)
 
Thigh(0)
Thigh(2)
   
Shin(0)
Shin
   
Foot(0)
Foot
   
         
 
 
TY2_BoneRelation_1
(Dressの裾は、メッシュには
モーフが付いていますが
(Mesh Morph)、ボーンには
接続しておりません 。
(not Bone Mesh Morph)
  (参考)TY Set の場合

PoserPro2010
での表記

3DXchange 5上の表記(例)
ポリゴン数
Characterize
Hierarchy
説明
 
Poser Scene Root
   

Terai Yuki (Set)

Figure_2 _node
Body(0)/Hip(0)
頭部とボディ
21,372
TY-Dress
Figure_4_ node
Body(2)/Hip
ドレス
5,524
TY-Boots
Figure_3_ node
Body(1)/Hip(1)
ブーツ
2,002
Hair
Figure_5_ node
Body(3)/Head(1)
髪の毛
5,782
Earrings
Figure_6_ node
Body/Head
イヤリングと飾り

2,948

総ポリゴン数
     
37,628
 
(参考:TY1Set の場合はDressの裾も変形します)Bone Relations
 

Bone Enlarge

  6) TY2 FULLの構成はFBX Converter で変換され、Scene Tree 内の表記は下記の様に対応しています。
 

TY2_Scene_Tree
表記
ボーン番号
Terai Yuki 2 Full
の対応部分
node
  コンバート前 コンバート後
Figure_2
Body(0)/Hip(0)
root 
ボディ
Figure_3
Body(1)/Hip(1)
ドレス/ボディ
ドレス
Figure 4
Body(2)/Hip(2)
ブーツ/ドレス
ブーツ
Figure 5
Body3/Neck
ブーツ左右
髪の毛
Figure 6
Body4/Head
髪の毛
イヤリング
Figure7
Body/Hip
イヤリング
(+飾り)
 
Figure 8
Body/Hip
パンツ
 
Figure4 と Figure6 は表記とボーン番号が入れ替わる

表記
Terai Yuki 2 上の部分
Figure 1
一体化されたボディー全体
Figure 2
ドレス
Figure 3
ブーツ左右
Figure 4
髪の毛
Figure 5

イヤリング(ベース+飾り部分)

Figure 6
パンツ
4-2
髪の毛の方向修正について
  Mapping 完了後の髪の毛のメッシュはScene Tree の Neck にリンクしています。
Active のチェックを外した状態でRotate Object ツールを使い、Neck ボーンの方向を修正してから、Active に戻すことで修正できます。
 
TY2&Hair
4-3
次に、Face/Extend Mapping をクリックし、Eye Mapping もしておきます。
 
EyeMapping
4-4
また、Unused Body Bone を展開して、残りの Extend Bone にもマッピングをしておきます。
 
ExtendBone
4-5
取敢えず、Active 状態から Convertボタンをクリック。
 
ノーティスが出るので、OKをクリックすると、Expression Editor を起動できるようになります。→

Notice_1
5
Expression Editor
5-1
 Expression Editor ではHead, Eye, Jaw, Viseme, Muscle, Custom の分類別に表現の設定ができるようになっています。
1)Head Expression:6方向の頭の向き選択し、RotateObjectツールで調整後、各方向毎に登録します。(SetボタンまたはAutoキー使用)
 
HeadExpression1
5-2
Eye Expression4方向の目の向き選択し、RotateObjectツールで調整後、各方向毎に登録します。
 
EyeExpression
5-3
Viseme (ビセミ):PoserProからインポートされた各Morphのレバーを選択調整して各発音のリップ形状を生成し、登録します。
 
5-4
Muscle:PoserProからインポートされたMorphのレバーを調整して瞼や眉毛、鼻や唇の動きを実現し、登録します。
 
Muscle_1
5-5
設定したViseme は保存しておきます。この結果はiClone側で使用する Lip Synching のリストにそのまま反映されます。
 
Facial Animation Profile   保存形式:*.3dxFaceAnimProfile
5-6
Custom:iClone側でのマウス操作に対応して変化できる任意の表情を設定してみます。→Custom Group1:顔のみの表情変化
 
Custom
5-7
Custom:Dress の形状モーフ→Custom Group2:顔の表情とドレスが同時に変化するように組み合わせてみます。
 
Face+Dress
5-8
Custom:Boots (Figure 4) 先端の形状もここで調整することができます。(デフォルト状態では変形しています)
 
Boots
5-9
各Custom Group で設定した内容例を整理しておきます。 後で変更もできます。
 
 Group
顔側の設定例
着衣側の設定例
Group1
口と目の両方を動かし、笑顔〜怒り顔を作る。  
Group2
口と目の両方を動かし、笑顔の程度を変える。  
Group3
  ドレスの裾だけを動かす。
Group4
口と目の両方を動かす。 ドレスの裾も同時に動かす。
Group5
(髪の毛がある場合、揺らせる) (ドレスを同時に動かす)
Group6
足のすねの修正(マウス左右方向) Boots形状の修正(マウス上下方向)
5-10
マッピングしたExtend Bone に Spring のTranslate/Rotateを設定し、Group Setting を調整してみます。
 
Preview Motion からモーションを適用し、スプリングの効き具合を確認してみます。
Active Spring
5-11 設定が一応完了したら、Expression Editor を閉じ、 Apply to iClone をクリックします。改良点があれば、戻って修正できます。
 
Apply to iClone
   
6
iClone5.5 上に現れた TY2 FULL へのスピーチ前の準備
6-1
1)髪の毛(ショートヘア)が前後反転して表示される場合は、Skin モードにて Hairを選択し、Opacity を’0’にしておきます。
TY2_iClone
6-2
首の下とブーツの先端などにポークスルーが気になる場合には、Opacity Map を作って適用してみます。
 
Boot
6-3
Animation/Motion/Modify/で Motion Puppet を表示し、デフォルトの姿勢を合わせ、手の指の形を整えておきます
6-4
ボディ全体の動作確認のためTY2上をクリックし、Persona を表示します。
6-5
Actor/Pesona/TemplateでG5_Gwynnをダブルクリックし、TY2上を左クリックしてPerformを開き、idle 01を適用してみます。
 
Persona
7
iClone5.5 Text to Speech を使ってみます。
7-1
Animation/Facial Animation/Modify/IMPORT Voice にてText-to-Speech のType ボタンをクリックします。
  1) スピーチの内容を入れて、Voice Mode で VW Julie を選択し、Preview で声を聞いてみて、OK ボタンをクリック。
  2) TY2 の口は3Dビュー画面でリップシンクした形で動くようになります。
 
(注)OKボタンをクリックするとEditorウインドが消えてしまうため、スピーチ内容はテキストツールに保存しておきます。
TTS_iClone
  3) 外部TTS App を使うとスピーチ内容のテキスト文が消えないため、修正がある場合には便利です。
 
Animation/Facial Animation/Modify/Import Voiceで Vocal ファイル(.WAV)を開いても良いです。
Crazy Talk のCTSファイルを使うと感情表現の付いた状態で表現できます。
Sapi 2

7-2
発声音に対し、リップの形状が適切に見えるようにするには、Phoneme レベルで細部の調整をします。
 

Viseme リスト
LipSynching
Viseme
口形素
視覚音素
Visual + Phoneme の造語
Phoneme
音素
発音を区別するための最小音声単位
ツール
方 法
1)
Voice 波形の表示 iClone でF3 をクリックしてタイムラインを表示したら、Viseme を展開します。
2)

Lip Synching Visemeリスト

Lips ライン上の任意の場所をダブルクリックするとポップアップします。
3)
リップ形状の確認 Viseme欄の音声ファイル上で赤いタイムラインをスライドさせます。
4)
リップ形状の追加 必要な位置に赤いタイムラインを移動し、Lip Synching リスト内のViseme上をクリック
5)
Viseme全体の強度
全体はViseme Strength のスライダーで調整します。
Viseme Adi

6)
Viseme個別の強度 Viseme毎の調整はLipSynchingリスト上のExpressiveness のスライダで行います。

7-3
キーボードのF3 を押すとTimeline が出ます。Track List をクリックし、Character からRootNode(0) を開きます。
 
Viseme

RootNode のFace タブをクリックするとVisemeが出ます。

▼マークをクリックするとVoice波形が出ます。

7-4
リップシンクのタイミングを微調整したい時は、タイムラインの該当部分を拡大し Voice波形 と対応 Phoneme マーカーを表示します。
 
Lips 1
【 リップシンクの微調整方法 】

1)Phonemeマーカーの上をクリックし、その位置をずらす。

2)リップ形状が合うように、適切なマーカーをペーストする。

3)発声していない場所には(None)マーカーを置きます。

4)不用と思われるLips 形状記号は左クリック、または、Deleteボタンで削除する。
delete

7-5
発音内容とリップ形状がマッチしない場合には 音声(Phoneme) マーカ の入替とExpressiveness の調整で改善します。
 

調整したい部分の両側にタイムストッパーを置き、リプレイ範囲を制限すると作業性が上がります。Lips 3


言葉
My
Name
is
 
Yu
ki
Te
ra
i
当初のViseme
Ih
None
T.L.D
 
Ih Ch.J
Ch.J
Ih
T.L.D,
Ih
編集後
Ah
EE
Ih
 
W.OO
Ih
EE
Ah
Ih
Expresiveness
70
100
70
 
100
100
100
100
100
7-6
Visemeが適切でない場合には、TY2本体を3DXchange に戻し、再度、Visemeを調整し直してiClone に上書きして戻します。
   
8
スピーチ中に表情や動きを付加したい場合の方法
 
種 類
ツールの手順
説 明
ボディーモーション1

Modify/Motion Puppet/Body Puppet
Content Manager/Templateの中から選択

Body Profile にあるモーションの中から選択してモデルに適用
ボディーモーション2
Modify/Direct Puppet/ Direct Puppet のパペット上でボディパーツを選択し、レコーディングしながらマウス操作でモデルを動かす
ボディーと手の指
Motion Layer Editor タイムライン上、任意の位置でボディと指の動きを修正
顔の表情
Facial Animation/Expression Style 11種類のプリセットスタイルから選択する。
トーク期間の全体に渡って動作が付く。
顔の表情
Facial Animation/Puppet/Puppeteering Panel 3DXchange の Custom パネルで設定した表情をマウス操作で再現しながらレコーディングできる。
8-1
表情の操作
  1) オーディオクリップに重ねて表情を追加したい場合はPuppetering Panel の 3DX_Custom を使います。
 
2) 3-8,9項で設定したCustom の 6つのGroup は このFull Face Control で選択できます。
 
(注)Edit Property を使う場合は、全てのWeight 値を0にしない。
Puppeteering Panel
  3) まず、Full Face Control でグループを選択します。2つの軌道マーク上をクリックして首を固定してからPreview ボタンをクリックします。
  4) マウスを上下、左右に回すとCustom Expression Editor で設定したフェイシャルエクスプレッションが再現できます。
 
Puppeteering_Panel
Expression Strengthのスライダーを動かすと表現の度合いが調整できます。

調整の結果は表現全体に影響します。

  5) エクスプレッションを記録するにはRecord ボタンを押します。このモーションはタイムライン上に'PuppetClip'として乗ります。
8-2
ボディーモーション
  1) Motion Template の中からスピーチに合いそうなMotion Charming Girl のTalk 01を選択して加え、スピーチの雰囲気に近つけます。
  2) Edit Motion Layerを開いて、スピーチの流れに合うようにボディ各部の挙動を調整します。

Charming Girl のTalk 01 を適用すると雰囲気が出ます。
(注)実際にこのモーションを使って作った作品をFBXエクスポートをしたい場合にはライセンス費が必要です。
Edit Motion Layer

  3) ボーンの色、サイズ、透明度の調整をしたい場合には EDIT Motion Layer パネル右上のBone Settings を開きます。
 
Bone Settings
Pose の調整時にはBone Settings のポップアップは閉じます。
  4) Viseme のVoice波形の動きを参照しながらスピーチと身体の挙動がシンクロするようにモーションを調整します。
 
Timeline Viseme
   
9
iClone5.5 MotionPlus とは
9-1
 スピーチを開始するタイミングにしてからPesonaを開き、 'Agree' モーションを選択します。
 
(注)FBX エクスポートテストなので、エクスポートライセンス費不用のモーショに変更しました。
9-2
スピーチの雰囲気を出すため、適当な背景を追加してみます。
 
(注) ここではMMDセカンドパックの和風ステージ(作者名:yuduki様) をお借りしました。
9-3
Actor\Avatar にて'Edit on 3DXchange' ボタンをクリックし 3DX5 の3Dビュー上にTY2 モデル形状を表示します。
 
(注) この操作を忘れると、TY2のかわりにiClone標準男性キャラクターのChuck が現われてしまいます。)
9-4
タイムライン上で、’Collect Clip’ ボタンを左クリックし、そのままエクスポートしたい領域全体をドラッグして選択します。
 
9-5
Collect Clipのライン上で右クリックし、ポップアップから'Add MotionPlus to 3DXChange' を選択します。
9-6
MotionPlus で確保されたデータは3DXchangeのMotion Library 上に’motionplus’ として表示されています。
 
(注)motionplus 以外のモーションはは削除しても良いです。
TY2_MotionPlus
10
TY TY2 とで 3DX5.5 からの FBX エクスポートテスト
10-1
File から Export to other 3D Format → Export FBX を選択し、Target Tools にてエクスポート先を選択します。
 
TY2_3ds Max : このターゲットを選択すると3DX5.5 が動作終了してしまう。

FBX_Export_setting_1

TY2(3ds Max) → 3ds Max 
このターゲットを選択すると
3DX5.5 が動作終了してしまう。

 
TY2 Full_MotionBuilder : このターゲットを選択するとエクスポートはできたが、出力したFBXファイルはmaxで開けない。
FBX_Export_setting2_1
TY2 (MotionBuilder) → 3ds Max 
Succeeded
出力したFBXファイルはmaxで開けない。

 


 
TY2 FULL_Unity(Animation 非選択) : 表情は付かないが出力できた。
FBXexport/FBX Exp Setting_Unity_1

TY2 (Unity) → 3ds Max 
Succeeded
出力したFBXファイルは3ds maxで開けたが、アニメーションは付いていない。
10-2
次に、ポリゴン数の多いTY2 FULL からポリゴン数の少ないTY Set に変更してみます。
 

TY Set : 37,628 ポリゴンカウント, MotionPlus を適用します。
TY_for_FBX
10-3
Export FBX にて 前回と同様に Target Tool での選択を行います。
 
TY Set_3ds Max: 3DXchange5.5 の動作が停止しました。
TY (3ds Max) → 3ds Max
Stop Message

このターゲットの場合、
3DXchange5.5 の動作が停止


 
TY Set_MotionBuilder : エクスポート成功
TY2 (MotionBuilder) → 3ds Max
Succeeded
エクスポートしたFBX ファイルは
3ds maxで開き、顔とボディのモーションのプレビューができました.

音声は付いていません。


 
TY Set_Maya : エクスポート成功

TY2 (Maya) → 未確認
 
Succeeded

 
TY Set_Custom :エクスポート成功
TY2 (Custom) →未確認
Succeeded
11
テスト1: FBX エクスポート後の TY Set 3ds Max にインポート
11-1
TY Set は3ds Max にインポート後、 Motion Plus の動作がプレビューできました。
 
3dsmax Time Configuration: フレームカウントは180 (3DXchange5上で356 フレーム)
プレビューイメージ(髪の毛は非表示)

11-2
音声を付加するには 'Open Mini Curve Editor' アイコンの上をクリックし、Soundの上を左クリックします。
 
プロパティを開き、音声ファイルとインポートします。
Time Configurationの設定
Time Configuration
11-3
TY Set にiCloneで設定した表情と Persona モーションが再現、音声は 3ds Max 側で付加されました.
 
プレビュー画面
TY_3ds_Voice
12
テスト2: FBX エクスポート後のTY Set Unity にインポート
 
(エクスポートした FBX ファイル (TY Set_MotionBuilder) は
Unity で開くことができ、MotionPlus ファイルも入っています。)
 
1) Assets の中に’TY_5.5’ というフォルダを作り、エクスポートしたTY_MotionBuilder.fbx ファイルを入れます。
 
motionplus ファイルが Project パネルに表示されています。
  2) motionplus ファイルをAnimator フォルダにドラッグすると、NewController.controller ファイルが
生成されます。
 
(注) このテストでは髪の毛は表示しておりません。)
TY_Setting
  3) 音声ファイルをインポートするため、Hierarchy パネルの中に 'Audio Source' というフォルダを作ります。
 
'Audio Source' の作成方法
GameObject→Create Empty を選択すると Hierarchy パネル内に ’Game Object' が生成されます。
その ’Game Object' を'Audio Source' に変更します。

TY_Unity_Voice
  4) Unity のシーン内でボディモーションは再現しましたが、表情は変化しません。(Unityの仕様)
  5) リップシンクなど、表情まで変化させたい場合は、MegaFires というプラグインを導入し、Max エクスポータを使う必要があります。
MegaFires
@ MEGA-FIRES, STORE にアクセスし、 'MegaFiersv2.44.rar'ファイルをダウンロードします。.
A Unity Standard packages フォルダに 'Mega-Fiers.unitypackage' をインストールします。
Max Exporter @ 3ds Max 内にUnity で必要な .MORファイルを生成するために必要になります。
A 入手方法は、MegaFires 購入
時の注文番号を記載したメールをmegafiers@west-racing.com に送り、
  Max Exporter1希望の旨を伝えます。

B 'MorphExport_201264a.dlo' というファイルが添付されたメールが届きます。
 
(続く?)
   
13
デモビデオを作ります。
  Step1.PoserPro上でTTSでテライユキを喋らせ、表情のモーフデータをエクスポート
Step2. 3DXchange でキャラクタライズ後、ExpressionEditorを使う
Step3. iClone上でTTS,表情と動作を付け、MotionPlus でFBXエクスポート
Step4. 3ds Maxへのエクスポート結果
Step5. Unity上へのエクスポート結果

 
5.5_Top_1

3DXchange5 Pipeline テストシリーズ  2013.8.25 Hirospot (パーソナルサイト)