同じ声で、エンジンごとに作りました。止め絵と動く絵の2つの条件があります。気に入ったものの「これが良い」を押してください(何個でも)。最後に「結果をコピー」で送れます。
頭が完全に止まった絵に、口だけ動かした条件。声は 0.2〜2.2秒。
| 項目 | InfiniteTalk いまの案 | InfiniteTalk 別案b | InfiniteTalk 別案c | MuseTalk 1.5 | LatentSync 1.5 | LatentSync 1.6 | Kling リップシンク | ChatGPT×Higgsfield Sync Lipsync 3 | ChatGPT×Higgsfield Sync Lipsync 3(修正v3) |
|---|---|---|---|---|---|---|---|---|---|
| 口の開き 最大 唇の内側のすき間÷顔の幅。大きいほど大きく開く(閉じた口は 0.004) | 0.067 | 0.068 | 0.072 | 0.043 | 0.044 | 0.005 | 0.047 | 0.041 | 0.042 |
| 口の開き 平均 話している間の平均 | 0.023 | 0.02 | 0.021 | 0.021 | 0.013 | 0.005 | 0.024 | 0.005 | 0.005 |
| 口の動きの幅 話している間の、いちばん開いた時と閉じた時の差 | 0.067 | 0.068 | 0.072 | 0.038 | 0.04 | 0.0 | 0.043 | 0.037 | 0.039 |
| 声との連動 声の大きさと口の開きの相関(1に近いほど合う。0は合っていない) | 0.41 | 0.53 | 0.48 | 0.15 | 0.0 | 0.18 | 0.35 | 0.11 | 0.01 |
| セリフ後の口 声が終わった後の口の開き | 0.004 | 0.004 | 0.004 | 0.004 | 0.004 | 0.004 | 0.004 | 0.004 | 0.004 |
| 顔の崩れ(最小) 元の顔との似かた。1に近いほど同じ顔 | 0.575 | 0.592 | 0.595 | 0.907 | 0.918 | 0.975 | 0.906 | 0.924 | 0.919 |
| 目まわりの変化 口より上の変化。大きいほど変わっていない(dB) | 25.5 | 26.1 | 25.9 | 35.2 | 32.6 | 34.3 | 30.4 | 38.3 | 38.6 |
| 顔が取れないコマ 顔が崩れて検出できないコマ数 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
Wan2GP InfiniteTalk の口を止め絵に貼ったもの(メインPC・GPU)
口元の拡大 ↑ / 全体 ↓
InfiniteTalk の別設定(元のセッションの作業)
口元の拡大 ↑ / 全体 ↓
InfiniteTalk の別設定(元のセッションの作業)
口元の拡大 ↑ / 全体 ↓
口元だけを1コマずつ描き直す方式(DAIV・CPU 約9分)
口元の拡大 ↑ / 全体 ↓
口元を拡散モデルで描き直す方式・256画素(DAIV・CPU 約31分)
口元の拡大 ↑ / 全体 ↓
同じ方式の高精細版・512画素(DAIV・CPU 約2時間13分)
口元の拡大 ↑ / 全体 ↓
Kling 公式サイト(5秒で5クレジット)
口元の拡大 ↑ / 全体 ↓
ChatGPTのHiggsfieldプラグインで作成(約20クレジット・別の作業者が追加)。初回の仕上げ版
口元の拡大 ↑ / 全体 ↓
同じ生成を、口元だけ局所調整した版(別の作業者が追加)
口元の拡大 ↑ / 全体 ↓
久遠が身を乗り出しながら話す、動きのある絵。元々ずっと口を開けて話している絵なので、加工なしの元の動画も並べています。
| 項目 | 元の動く絵(口パク加工なし) | MuseTalk 1.5 | LatentSync 1.5 | LatentSync 1.6 | Kling リップシンク |
|---|---|---|---|---|---|
| 口の開き 最大 唇の内側のすき間÷顔の幅。大きいほど大きく開く(閉じた口は 0.004) | 0.055 | 0.047 | 0.055 | 0.05 | 0.061 |
| 口の開き 平均 話している間の平均 | 0.045 | 0.045 | 0.046 | 0.046 | 0.046 |
| 口の動きの幅 話している間の、いちばん開いた時と閉じた時の差 | 0.016 | 0.007 | 0.05 | 0.045 | 0.056 |
| 声との連動 声の大きさと口の開きの相関(1に近いほど合う。0は合っていない) | 0.18 | 0.61 | 0.0 | 0.0 | 0.0 |
| セリフ後の口 声が終わった後の口の開き | 0.043 | 0.042 | 0.046 | 0.043 | 0.045 |
| 顔の崩れ(最小) 元の顔との似かた。1に近いほど同じ顔 | 0.98 | 0.876 | 0.893 | 0.929 | 0.94 |
| 目まわりの変化 口より上の変化。大きいほど変わっていない(dB) | 41.6 | 35.7 | 25.6 | 25.6 | 24.3 |
| 顔が取れないコマ 顔が崩れて検出できないコマ数 | 0 | 0 | 0 | 0 | 0 |
比べる基準。第1話 c138 の絵に同じ声を付けただけ。元々ずっと話している口
口元の拡大 ↑ / 全体 ↓
口元だけを1コマずつ描き直す方式(DAIV・CPU 約9分)
口元の拡大 ↑ / 全体 ↓
口元を拡散モデルで描き直す方式・256画素(DAIV・CPU 約31分)
口元の拡大 ↑ / 全体 ↓
同じ方式の高精細版・512画素(DAIV・CPU 約2時間13分)
口元の拡大 ↑ / 全体 ↓
Kling 公式サイト(5秒で5クレジット)
口元の拡大 ↑ / 全体 ↓