同じ声で、エンジンごとに作りました。止め絵と動く絵の2つの条件があります。気に入ったものの「これが良い」を押してください(何個でも)。最後に「結果をコピー」で送れます。
頭が完全に止まった絵に、口だけ動かした条件。声は 0.2〜2.2秒。
| 項目 | Kling リップシンク | MuseTalk 1.5 | LatentSync 1.5 | LatentSync 1.6 | ChatGPT×Higgsfield Sync Lipsync 3 | ChatGPT×Higgsfield Sync Lipsync 3(修正v3) |
|---|---|---|---|---|---|---|
| 口の開き 最大 唇の内側のすき間÷顔の幅。大きいほど大きく開く(閉じた口は 0.004) | 0.047 | 0.043 | 0.044 | 0.005 | 0.041 | 0.042 |
| 口の開き 平均 話している間の平均 | 0.024 | 0.022 | 0.013 | 0.005 | 0.005 | 0.005 |
| 口の動きの幅 話している間の、いちばん開いた時と閉じた時の差 | 0.043 | 0.038 | 0.04 | 0.0 | 0.037 | 0.039 |
| 声との連動 声の大きさと口の開きの相関(1に近いほど合う。0は合っていない) | 0.35 | 0.14 | 0.0 | 0.13 | 0.11 | 0.01 |
| セリフ後の口 声が終わった後の口の開き | 0.004 | 0.005 | 0.004 | 0.005 | 0.004 | 0.004 |
| 顔の崩れ(最小) 元の顔との似かた。1に近いほど同じ顔 | 0.906 | 0.907 | 0.918 | 0.974 | 0.924 | 0.919 |
| 目まわりの変化 口より上の変化。大きいほど変わっていない(dB) | 30.4 | 35.2 | 32.6 | 34.4 | 38.3 | 38.6 |
| 顔が取れないコマ 顔が崩れて検出できないコマ数 | 0 | 0 | 0 | 0 | 0 | 0 |
Kling 公式サイト(5秒で5クレジット)。134コマ(5.6秒)
口元の拡大 ↑ / 全体 ↓
口元だけを1コマずつ描き直す方式(DAIV・CPU 約9分)
口元の拡大 ↑ / 全体 ↓
口元を拡散モデルで描き直す方式・256画素(メインPC・CPU 約25分)
口元の拡大 ↑ / 全体 ↓
同じ方式の高精細版・512画素(メインPC・CPU 約2時間11分)
口元の拡大 ↑ / 全体 ↓
ChatGPTのHiggsfieldプラグインで作成(約20クレジット)。初回の仕上げ版
口元の拡大 ↑ / 全体 ↓
同じ生成を、口元だけ局所調整した版(ChatGPT側の作業)
口元の拡大 ↑ / 全体 ↓