3DXchange5 パイプライン テストシリーズ 15 J : MEIKO AKB KARAOKE in iClone5 2014. 2. 3 by Hirospot (Personal Site) |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
MMDモデルの表情モーフとCeVIO音声で、AKB恋チュンをiClone上で歌ってみる |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1
|
PMD Editor での表情データ作成と出力 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-1 |
PMDEditor を起動し、テストで使わせて頂く MMD ユーザモデル(Meiko_Sakine.pmd) をインポートします。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-2 |
PMDView上にボーンの入ったモデルが現れます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-3 |
PMDViewの表示/表示設定と選択し、表示設定の設定1/追加表示で「ボーン」のチェックを外しておきます。 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-4 |
表情モーフの操作を行えるように、PMDView上で「表示(V)」/「モデルの変形確認」、または、「F9」 ボタンを押します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-5 |
新たに「変形操作パネル」 と 「TransformView」 画面が現れます。 「変形操作パネル」は「TransformView」画面上で「操」ボタン、あるいは、「F4」キーを押しても表示できます。 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-6 |
変形操作パネル上には、ボーン欄とモーフ欄があるので、モーフ欄内から表情項目を選択します。(表情モーフの種類はモデル毎に異なります) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-7 |
変化量のスライダを右に動かすと、表情の変化状態がTransformView上だけに表示されます. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
(注)PMDView には表情変化は表示されません。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-8 |
各表情調整は独立しており、別の表情を選択後、変化量のスライダを動かすとその表情も混合されて新しい表情が作れます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
(例) 変化量スライダ調整 「あ」→1.00 + 「にやり」→1.00 →混合して新しい表情(FBX1)にする。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
表情モーフテスト用のデータ内容
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-9 |
表情設定後、TransformView 側で、ファイル(F)→「現在の形状を保存(S)」を選択し、表情をPMX形式で保存します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-10 |
このPMXファイルをPMX編集画面の「ファイル」→「開く」で読込み、DAE形式で保存します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
TransformView と同じ表情がPMDView上に現れます。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 |
表情モーフの外部出力(DAE) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-1 |
PMD編集画面の「情報(I)」をクリックし、プルダウンでPMX編集へ切り替え(X)を選択します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-2 |
PMX編集画面の 「ファイル」→「エクスポート」の'ファイルの種類(T)'でCOLLADA(*.dae)を選択します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-3 |
次の画面で出力するモデルのサイズと座標についての追加設定を行い、パネルを閉じるとdaeデータが保存されます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-4 |
FBX Converter2013.3 を使い、daeファイルを Source File 欄にドラッグしてConvert ボタンを押し、FBX形式に変換します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-5 |
3DX5を起動し、File/Open からモデルのFBXファイルを開きます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-6 |
PMDEditor から8倍でエクスポートすると黄色Dummyより少し小さい身長になります。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
瞳の中にテクスチャーをドラッグし、Specular値を0に戻します。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-7 |
モデルの顔を拡大し、Modify パネルをスクロールして Face Setup 部分を出します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-8 |
Modify/Face Setup の Morph List 下部にある「Add」ボタンをクリックし、表情モーフのFBXデータを読み込みます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ModelMesh の下に現れたpmx_a をクリックするとPMDEditorで作成した表情に入れ替わります。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-9 |
Morph List への表情データの読み込みは全てキャラクタライズ前に行なう必要があります。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
テストの段階で必要なファイル変換リスト
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2-10 |
このままでは Expression Editor が使えないので、キャラクタライズ 作業に移ります。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3
|
3DX5 での MMDモデルの準備(キャラクタライズ) (詳細はレポート#4 もご参照下さい) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3-1 |
表情設定する前のMMDモデルを3DX5にインポートし、基本ボーンにマッピングをします。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3-2 |
’Face/Extend Mapping’ ボタンをクリックし、拡張ボーン(両眼、髪の毛、スカートの一部)にマッピングします。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
拡張ボーン Spring Activation (例)
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3-3 |
マッピング完了後、Convert ボタンを押してやると Expression Editor が使えるようになります。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4 |
Expression Editor での確認 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4-1 |
Expression Editor のViseme を開くと ModelMesh の下に モーフデータ が読み込まれています。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Ah をクリックし、スライダーを中央から右に移動するとモデルの口が開きます。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4-2 |
Morph List 内に読み込んだ表情データを組み合わせてViseme 音素に対応した口型を作ります。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4-3 |
Custom を使ってマウスを動かして眼の表情を変えられるようにします。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Upward→まばたき、Rightside→ウインク、Eownward→眼と口を開く (実際のウインクはViseme側で準備しました) |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4-4 |
Head とEyeについても対応させておきます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4-5 |
作業が完了したらExpression Editor を閉じて Edit Spring ボタンをクリックし、髪の毛とスカートに揺れを設定します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
(注)スカート前部の2本のボーンはSpring設定をしないでおくと iClone側 で調整できて便利です。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4-6 |
Preview後、Apply ボタンをクリックし、次の画面で Modify/Character(N) の下で 'Apply to iClone' をクリック。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5 |
iClone5でのカスタマイズ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5-1 |
3DX5からMMDモデルが読み込まれます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Avatar Proportionパネルを使用するとプロポーションをカスタマイズできます。 (例) 上半身:Width→120%、両足:Width&Depth→115% |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5-2 |
Edit Motion Panel を使うと体の基本ボーンの角度や位置を調整できます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5-3 |
調整後はモデルを保存しておきます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6 |
MMDモデルに iClone5 で歌いながら踊ってもらうための準備 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1) MMDモデルに歌ってもらうため、CeVIO Creative Studio の歌声機能を使用してみます。 2) 伴奏はカラオケ用の曲データの中からMMDモデルの歌の伴奏に適したものを選択します。 3)振り付けはReport#14 で作った「AKB48 恋するフォーチュンクッキー」 のモーションを 一つのMortion Plus データにして適用します。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6-1 |
BGMには恋するフォーチュンクッキーのカラオケ用演奏曲(こちら)を購入して使わせて頂きます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6-2 |
歌の歌詞と音程はこちらのピアノ演奏動画から読み取らせて頂きました。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6-3 |
音声はCeVIO Creative Studio 付属の声(さとうささら)を使わせて頂き、読み取った音符で楽譜を作ってゆきます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ペンツールで音符の位置と長さを決め、歌詞はひらがな変換で打ち込みます。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6-4 |
CeVIO 付属の声質をMMDモデルの声らしくするため、音符全体の音程を少し上げます。音程が合伴奏曲を選択します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6-5 |
作業上、曲の区切りで歌の始点と終点にマーカーを入れ、エクスポートの 「ミックスダウンをWAV書き出し」 から出力します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6-6 |
音量や不用部の削除などは音声編集ソフト(Wave Pad)などを使って作業します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6-7 |
振り付けは Report#14 で作った「AKB48 恋するフォーチュンクッキー」 のモーションを 一つのMortion Plus データにして適用します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6-8 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7 |
MMDモデルに iClone5 で歌いながら踊ってもらう | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
伴奏曲入れ、モデルを読み込み、振り付け、歌の統合作業 iClone5 にFacial Animation の Vocal に歌を読み込ませます。 Timeline に Viseme を表示し、リッピ形状の修正をして歌に合わせます。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-1 |
伴奏曲を入れます。伴奏曲を入れる場合、2つの方法があります。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1の場合、Set/Props/3D Blocks でBall_001 を3DViewに読み込み、形状を小さくして隅に置き、伴奏曲をドラッグします。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-2 |
MMDモデルを読み込み、Modify/Avatar のFoot Contact にチェックを入れます。 (Lenz は105mm位に設定) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-3 |
Animation/Motion-Plus から振り付けデータをMMDモデル上にドラッグします。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-4 |
F3 キーをクリックしてタイムラインを表示させ、伴奏曲と振り付けの位置合わせをします。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-5 |
歌の始まりにタイムポインターを合わせ、 ボーカルデータを読み込みます。必要に応じてタイミングの微調整を行います。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-6 |
Animation/Facial Animation、Modify/Import Voice のVocal Open でボーカルファイルを指定します。 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-7 |
タイムラインのVisemeを開き、Voice波形をズームインします。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-8 |
Lips の記号をダブルクリックすると Lip Synching ウインドが開きます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7-9 |
調整区間を区切りながら、歌詞の発音に合うようにリップシンクの調整をします。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
リップ調整度の程度はExpressiveness 側とViseme Strength側でできるようになっています。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8 |
デモビデオを作ります。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
モデルの表情と全体の動きの両方が同時に見られるように、カメラを2台使用してみます。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8-1 |
Export/Video・Modify・Format(MP-4), Output Size 1280x720, Output Range を設定します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8-2 |
「F8」 キーを押してMini Viewport を表示し、表示位置を設定します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8-3 | 顔部分にズームできるように、MMDモデルをクリックして、Preview Camera をFollow Cam-Actor に変えてみます。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8-4 | カラオケ伴奏曲のファイルを3Dビューにドラッグします。フレーム全体の状態を確認します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8-5 |
この状態で Export ボタンを押して保存した場合、MiniViewport 画面の映像が表示できませんでした。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8-6 |
別の画面キャプチャーソフトを利用して2画面表示のビデオ動画を保存します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3DXchange5 パイプライン テストシリーズ 15 J : MMD Model KARAOKE in iClone5 2014. 2.3, 5.16_v2 by Hirospot (Personal Site) |