MMD Model AKB KARAOKE in iClone5 (日本語）

3DXchange5 パイプライン　テストシリーズ 15 J : MEIKO AKB KARAOKE in iClone5
2014. 2. 3 by Hirospot (Personal Site)

MMDモデルの表情モーフとCeVIO音声で、AKB恋チュンをiClone上で歌ってみる

MMD/iCloneKaraoke
デモ動画(YouTube)

他のレポートはこちらから→

印は日本語でのレポートです

沢山のMMDモデルには表情モーフが仕込まれておりますので、それをiClone5上で使えるようにする方法について調べてみました。
また、CeVIOの歌声機能を使って、歌いながら踊ってもらうための行程についてレポートします。

Step1
各MMDモデル毎にデザインされている表情の内容をデータ化し、3DXchange5（3DX5）上のMorph List 内に読み込む。

Step2
3DX5のExpresionEditorでリップシンクへの展開を行い、CeVIO搭載の歌声をiCloneに読み込んでVocal としてMMDモデルに適用する。

Step3
前回の振り付けデータを活用し、AKB
の恋チュンを歌いながら踊ってみる。

Step1について
Morph List 内に読み込めるファイル形式は.obj と .fbx の2種類なので、データ変換の作業が必要になります。

iCloneの標準モデルであれば3DX内で顔部分のOBJファイルの入替で済みますが、MMDモデルの場合はMMD側で顔部分の分割ができないため、表情の異なる顔を持つ複数の全身毎のFBXデータを使い、親モデルとの位置座標系に合致させてやります。

FBXデータを得る方法としては、PMDEditorの表情付きPMXデータにつき、
①「PMDEditor+DAEエクスポータ」とFBX Converter
② LiveAnimation からFBX出力
③ Blender2.63 以降や3dsmaxを拡張して使う　

などがあり、①と②の事例は、それぞれ、there00009様やWantanKaijin様がネット上に動画を公開されておられます。

Step2について
CeVIOの歌声機能は、現在、「かな文字」限定のため、AKBの恋チュンを日本語で歌ってもらいます。

今回のレポートではMMDユーザモデル（（咲音メイコ）をお借りしました。

本レポート作成に当たり、下記の素材を使わせて頂きました。誠に有難うございました。
素材の種類	素材名等	作品素材の内容
MMD モデル	咲音メイコ	モデリング：キオ様、データ変換：アロハ様、Copyright:斜め上P＆daigoman様＆CRYPTON Future Media,　Inc 様
歌声音源	さとうささら	CeVIO Creative Studio（製品版・ソング）（こちら）
歌詞付楽譜	ピアノ曲	Tenshi Minamoto　様のご投稿動画　（こちら）
伴奏曲	カラオケ用	恋するフォーチュンクッキー（カラオケ）－Key in F# （こちら）　 Sweet Surrender Music 様販売品
カバー曲	振り付け	恋するフォーチュンクッキー Dancing with China （こちら） yphong520 様のご投稿動画　（iClone5 でモーショントレース）

Tool 名称	出力内容出力形式	FBXへの変換Tool ファイル形式	情報元	コメント
PMD Editor＋ DAEプラグイン使用（PMX非対応）	表情 DAE→FBX	FBX Converter （最新版2013．3を利用可）個別	there00009 様	3DX5日本語表記可 DAE→FBX化しないMMDモデルも有り？
PMD Editor	表情 PMX→FBX	LiveAnimation(Free) （FBX 2012版での変換）個別	WantanKaijin 様	3DX5日本語表記せず
Blender2.63以降＋ mmd_script_268使用	MMDからPMXで表情読込み FBX	不用
Face And Lips	表情とリップシンクマルチトラック編集 VMD	不明連続（アニメーション）
3dxmax + pmf_import_export

１

PMD Editor での表情データ作成と出力

1-1

PMDEditor を起動し、テストで使わせて頂く MMD ユーザモデル（Meiko_Sakine.pmd)　をインポートします。

1-2

PMDView上にボーンの入ったモデルが現れます。

1-3

PMDViewの表示/表示設定と選択し、表示設定の設定１/追加表示で「ボーン」のチェックを外しておきます。

1-4

表情モーフの操作を行えるように、PMDView上で「表示（V）」/「モデルの変形確認」、または、「F9」ボタンを押します。

1-5

新たに「変形操作パネル」と「TransformView」画面が現れます。
「変形操作パネル」は「TransformView」画面上で「操」ボタン、あるいは、「F4」キーを押しても表示できます。

1-6

変形操作パネル上には、ボーン欄とモーフ欄があるので、モーフ欄内から表情項目を選択します。（表情モーフの種類はモデル毎に異なります）

1-7

変化量のスライダを右に動かすと、表情の変化状態がTransformView上だけに表示されます.

（注）PMDView には表情変化は表示されません。

1-8

各表情調整は独立しており、別の表情を選択後、変化量のスライダを動かすとその表情も混合されて新しい表情が作れます。

（例）変化量スライダ調整　「あ」→1.00 + 「にやり」→1.00 →混合して新しい表情(FBX1)にする。

表情モーフテスト用のデータ内容

モーフ番号	モーフ名称	テスト用修正内容	PMX 番号	Expression Editor 側の対応	モーフ番号	モーフ名称	テスト用修正内容	PMX 番号	Expression Editor 側の対応
０	真面目				９	ウインクL
１	困る				１０	あ	◎混合使用	a	Viseme: Ah
２	にこり	混合使用		Custom1 Downward	１１	い	◎	i	Viseme: Ih
３	怒り				１２	う	◎	u	Viseme:W.OO
４	上	混合使用			１３	え	◎	e	Viseme:EE
５	下	混合使用			１４	お	◎	o	Viseme: Oh
６	まばたき	◎	E_close	Viseme:N,NG	１５	にやり	混合使用
７	笑い	◎混合使用		Custom1 Upward	１６	べー
８	ウインク	◎	wink	Custom1 Rightward

1-9

表情設定後、TransformView 側で、ファイル(F)→「現在の形状を保存（S）」を選択し、表情をPMX形式で保存します。

1-10

このPMXファイルをPMX編集画面の「ファイル」→「開く」で読込み、DAE形式で保存します。

TransformView と同じ表情がPMDView上に現れます。
DAEReady

表情モーフの外部出力（DAE）

2-1

PMD編集画面の「情報（I)」をクリックし、プルダウンでPMX編集へ切り替え（X）を選択します。

2-2

PMX編集画面の「ファイル」→「エクスポート」の'ファイルの種類（T)'でCOLLADA（*.dae）を選択します。

2-3

次の画面で出力するモデルのサイズと座標についての追加設定を行い、パネルを閉じるとdaeデータが保存されます。

8倍にするとiClone側で丁度良い身長になります。

Y軸を選択して閉じます。
SelectY

2-4

FBX Converter2013.3 を使い、daeファイルを Source File 欄にドラッグしてConvert ボタンを押し、FBX形式に変換します。

2-5

3DX5を起動し、File/Open からモデルのFBXファイルを開きます。

FBX　Converter のバージョンは
FBX 2013.1(7.3.0) と表示されます。

このバージョンを使うと、ボーン構造やマテリアルが
日本語表記されます。

2-6

PMDEditor から8倍でエクスポートすると黄色Dummyより少し小さい身長になります。

瞳の中にテクスチャーをドラッグし、Specular値を0に戻します。
Imported

2-7

モデルの顔を拡大し、Modify　パネルをスクロールして Face Setup 部分を出します。

2-8

Modify/Face Setup の Morph List 下部にある「Add」ボタンをクリックし、表情モーフのFBXデータを読み込みます。

ModelMesh の下に現れたpmx_a をクリックするとPMDEditorで作成した表情に入れ替わります。
Face_a

2-9

Morph List への表情データの読み込みは全てキャラクタライズ前に行なう必要があります。

テストの段階で必要なファイル変換リスト

モデル本体	TransformView　保存	PMD Editor　エクスポート	FBX Converter 出力
Meiko.pmd		Meiko_8X.dae	Meiko_8X.fbx
あ	pmx_a.pmx	pmx_a.dae	pmx.a.fbx
い	pmx_i.pmx	pmx_i.dae	pmx_i.fbx
う	pmx_u.pmx	pmx_u.dae	pmx_u.fbx
え	pmx_e.pmx	pmx_e.dae	pmx_e.fbx
お	pmx_o.pmx	pmx_o.dae	pmx_o.fbx
まばたき	E_Close.pmx	E_Close.dae	E_Close.fbx
ウインク	Wink.pmx	Wink.dae	Wink.fbx

2-10

このままでは Expression Editor が使えないので、キャラクタライズ　作業に移ります。

3DX5 での MMDモデルの準備（キャラクタライズ）　（詳細はレポート#4 もご参照下さい）

3-1

表情設定する前のMMDモデルを3DX5にインポートし、基本ボーンにマッピングをします。

3DXchange Mapping Pane

今回のマッピングリスト（主要部分のみ、右省略）

3DXchange側	モデル表記
Head	頭
Neck Page：Neck	首
Spine Page：Left Shoulder	左肩
Spine1	上半身
Spine	下半身
Hips	Armature
LeftUpLeg	左足
LeftUpLegRoll	（使用せず）
LeftLeg	左ひざ
LeftFoot	左足首

3-2

’Face/Extend Mapping’ ボタンをクリックし、拡張ボーン（両眼、髪の毛、スカートの一部）にマッピングします。

拡張ボーン Spring Activation （例）

ボーン名称	Spring Type, Hard Level	ボーン名称	Spring Type, Hard Level
前髪１	Rotate, 5	腰飾り	Translate, 6
前髪３	Rotate, 5	左スカート前	None
左髪	Rotate,1	左スカート後	Translate, 7
右髪	Rotate,1	右スカート前	None
後髪	Rotate,1	右スカート後	Translate, 7

3-3

マッピング完了後、Convert ボタンを押してやると Expression Editor が使えるようになります。

記載内容（下半分）

モーションライブラリに表情のクリップが
入っているのでExpression Editor
の入力データとして使用できます。

Expression　Editor　での確認

4-1

Expression Editor のViseme を開くと ModelMesh の下にモーフデータ　が読み込まれています。

Ah をクリックし、スライダーを中央から右に移動するとモデルの口が開きます。
Viseme

4-2

Morph List 内に読み込んだ表情データを組み合わせてViseme 音素に対応した口型を作ります。

4-3

Custom を使ってマウスを動かして眼の表情を変えられるようにします。

Upward→まばたき、Rightside→ウインク、Eownward→眼と口を開く
（実際のウインクはViseme側で準備しました）
$E\Close$

4-4

Head とEyeについても対応させておきます。

4-5

作業が完了したらExpression Editor を閉じて Edit Spring　ボタンをクリックし、髪の毛とスカートに揺れを設定します。

（注）スカート前部の２本のボーンはSpring設定をしないでおくと iClone側で調整できて便利です。
Spring

4-6

Preview後、Apply ボタンをクリックし、次の画面で Modify/Character(N) の下で 'Apply to iClone' をクリック。

iClone5でのカスタマイズ

5-1

3DX5からMMDモデルが読み込まれます。

Avatar Proportionパネルを使用するとプロポーションをカスタマイズできます。
（例）　上半身：Width→120％、両足：Width&Depth→115％

5-2

Edit Motion Panel を使うと体の基本ボーンの角度や位置を調整できます。

Edit Motion Layer ウインド右上にBone Settings ボタンがあります。

ボーンの色や透明度、サイズが調整できますが、このウインドを閉じないと　
モデル操作用の Rotate や Move ツールがアクティブになりません。

（例）肩を持ち上げておく

5-3

調整後はモデルを保存しておきます。

MMDモデルに iClone5 で歌いながら踊ってもらうための準備

1) MMDモデルに歌ってもらうため、CeVIO Creative Studio の歌声機能を使用してみます。
2) 伴奏はカラオケ用の曲データの中からMMDモデルの歌の伴奏に適したものを選択します。
3)振り付けはReport#14 で作った「AKB48 恋するフォーチュンクッキー」のモーションを
一つのMortion Plus データにして適用します。

6-1

BGMには恋するフォーチュンクッキーのカラオケ用演奏曲（こちら）を購入して使わせて頂きます。

6-2

歌の歌詞と音程はこちらのピアノ演奏動画から読み取らせて頂きました。

楽譜の読み取りには Tenshi Minamoto　様のご投稿動画を借用しております。

6-3

音声はCeVIO Creative Studio 付属の声（さとうささら）を使わせて頂き、読み取った音符で楽譜を作ってゆきます。

ペンツールで音符の位置と長さを決め、歌詞はひらがな変換で打ち込みます。
CeVIO

6-4

CeVIO 付属の声質をMMDモデルの声らしくするため、音符全体の音程を少し上げます。音程が合伴奏曲を選択します。

6-5

作業上、曲の区切りで歌の始点と終点にマーカーを入れ、エクスポートの「ミックスダウンをWAV書き出し」から出力します。

6-6

音量や不用部の削除などは音声編集ソフト（Wave Pad）などを使って作業します。

【Wave Pad】音程調整（エフェクト→ピッチ調整例122.30%）、
歌の音量もここで調整します。（エフェクト→増幅（ゲイン例250％）

【Voice Magic】ファイルを読み込み、周波数変更

6-7

振り付けは Report#14 で作った「AKB48 恋するフォーチュンクッキー」のモーションを一つのMortion Plus データにして適用します。

6-8

７

MMDモデルに iClone5 で歌いながら踊ってもらう

伴奏曲入れ、モデルを読み込み、振り付け、歌の統合作業
iClone5 にFacial Animation の Vocal に歌を読み込ませます。
Timeline に Viseme を表示し、リッピ形状の修正をして歌に合わせます。

7-1

伴奏曲を入れます。伴奏曲を入れる場合、２つの方法があります。

1	伴奏曲のファイル名を3DView内にドラッグする。	1) Volcalとは別にMusic Volume で音量調整ができる。 2) 音量調整後などの画面操作後にはファイルの再ドラッグが必要。
2	3DView内にPropを置き、それに伴奏曲をドラッグする。	1) 音量調整はVocal Volumeで行う。 2) Music Volumeでは音量調整できない。 3) 画面操作後に音消えはないため、カラオケ伴奏以外では便利。

１の場合、Set/Props/3D Blocks でBall_001 を3DViewに読み込み、形状を小さくして隅に置き、伴奏曲をドラッグします。

7-2

MMDモデルを読み込み、Modify/Avatar のFoot Contact にチェックを入れます。（Lenz は105mm位に設定）

7-3

Animation/Motion-Plus から振り付けデータをMMDモデル上にドラッグします。

7-4

F3 キーをクリックしてタイムラインを表示させ、伴奏曲と振り付けの位置合わせをします。

7-5

歌の始まりにタイムポインターを合わせ、ボーカルデータを読み込みます。必要に応じてタイミングの微調整を行います。

7-6

Animation/Facial Animation、Modify/Import Voice のVocal Open でボーカルファイルを指定します。

7-7

タイムラインのVisemeを開き、Voice波形をズームインします。

7-8

Lips の記号をダブルクリックすると　Lip Synching ウインドが開きます。

7-9

調整区間を区切りながら、歌詞の発音に合うようにリップシンクの調整をします。

リップ調整度の程度はExpressiveness 側とViseme Strength側でできるようになっています。
Viseme

デモビデオを作ります。

モデルの表情と全体の動きの両方が同時に見られるように、カメラを２台使用してみます。

8-1

Export/Video・Modify・Format(MP-4), Output Size 1280x720, Output Range を設定します。

8-2

「F8」キーを押してMini Viewport を表示し、表示位置を設定します。

8-3

顔部分にズームできるように、MMDモデルをクリックして、Preview Camera をFollow Cam-Actor に変えてみます。

8-4

カラオケ伴奏曲のファイルを3Dビューにドラッグします。フレーム全体の状態を確認します。

（注）Camera の選択で Follow Cam-Actor を使用すると、
振り付け動作が変化してしまう部分が発生しますので、用途に応じて選択します。

8-5

この状態で Export ボタンを押して保存した場合、MiniViewport 画面の映像が表示できませんでした。

8-6

別の画面キャプチャーソフトを利用して2画面表示のビデオ動画を保存します。

3DXchange5 パイプライン　テストシリーズ 15 J : MMD Model KARAOKE in iClone5
2014. 2.3, 5.16_v2 by Hirospot (Personal Site)