c069「ここにいるお前は、何だ?」口パクエンジン比較

同じ声で、エンジンごとに作りました。止め絵と動く絵の2つの条件があります。気に入ったものの「これが良い」を押してください(何個でも)。最後に「結果をコピー」で送れます。

まだ選んでいません

1. 止め絵(第2話 c069・口を閉じた絵)

頭が完全に止まった絵に、口だけ動かした条件。声は 0.2〜2.2秒。

項目InfiniteTalk いまの案InfiniteTalk 別案bInfiniteTalk 別案cMuseTalk 1.5LatentSync 1.5LatentSync 1.6Kling リップシンクChatGPT×Higgsfield Sync Lipsync 3ChatGPT×Higgsfield Sync Lipsync 3(修正v3)
口の開き 最大
唇の内側のすき間÷顔の幅。大きいほど大きく開く(閉じた口は 0.004)
0.0670.0680.0720.0430.0440.0050.0470.0410.042
口の開き 平均
話している間の平均
0.0230.020.0210.0210.0130.0050.0240.0050.005
口の動きの幅
話している間の、いちばん開いた時と閉じた時の差
0.0670.0680.0720.0380.040.00.0430.0370.039
声との連動
声の大きさと口の開きの相関(1に近いほど合う。0は合っていない)
0.410.530.480.150.00.180.350.110.01
セリフ後の口
声が終わった後の口の開き
0.0040.0040.0040.0040.0040.0040.0040.0040.004
顔の崩れ(最小)
元の顔との似かた。1に近いほど同じ顔
0.5750.5920.5950.9070.9180.9750.9060.9240.919
目まわりの変化
口より上の変化。大きいほど変わっていない(dB)
25.526.125.935.232.634.330.438.338.6
顔が取れないコマ
顔が崩れて検出できないコマ数
000000000

InfiniteTalk いまの案

Wan2GP InfiniteTalk の口を止め絵に貼ったもの(メインPC・GPU)

口元の拡大 ↑ / 全体 ↓

InfiniteTalk 別案b

InfiniteTalk の別設定(元のセッションの作業)

口元の拡大 ↑ / 全体 ↓

InfiniteTalk 別案c

InfiniteTalk の別設定(元のセッションの作業)

口元の拡大 ↑ / 全体 ↓

MuseTalk 1.5

口元だけを1コマずつ描き直す方式(DAIV・CPU 約9分)

口元の拡大 ↑ / 全体 ↓

LatentSync 1.5

口元を拡散モデルで描き直す方式・256画素(DAIV・CPU 約31分)

口元の拡大 ↑ / 全体 ↓

LatentSync 1.6

同じ方式の高精細版・512画素(DAIV・CPU 約2時間13分)

口元の拡大 ↑ / 全体 ↓

Kling リップシンク

Kling 公式サイト(5秒で5クレジット)

口元の拡大 ↑ / 全体 ↓

ChatGPT×Higgsfield Sync Lipsync 3

ChatGPTのHiggsfieldプラグインで作成(約20クレジット・別の作業者が追加)。初回の仕上げ版

口元の拡大 ↑ / 全体 ↓

ChatGPT×Higgsfield Sync Lipsync 3(修正v3)

同じ生成を、口元だけ局所調整した版(別の作業者が追加)

口元の拡大 ↑ / 全体 ↓

2. 動く絵(第1話 c138 の動画から字幕を除いて切り出し)

久遠が身を乗り出しながら話す、動きのある絵。元々ずっと口を開けて話している絵なので、加工なしの元の動画も並べています。

項目元の動く絵(口パク加工なし)MuseTalk 1.5LatentSync 1.5LatentSync 1.6Kling リップシンク
口の開き 最大
唇の内側のすき間÷顔の幅。大きいほど大きく開く(閉じた口は 0.004)
0.0550.0470.0550.050.061
口の開き 平均
話している間の平均
0.0450.0450.0460.0460.046
口の動きの幅
話している間の、いちばん開いた時と閉じた時の差
0.0160.0070.050.0450.056
声との連動
声の大きさと口の開きの相関(1に近いほど合う。0は合っていない)
0.180.610.00.00.0
セリフ後の口
声が終わった後の口の開き
0.0430.0420.0460.0430.045
顔の崩れ(最小)
元の顔との似かた。1に近いほど同じ顔
0.980.8760.8930.9290.94
目まわりの変化
口より上の変化。大きいほど変わっていない(dB)
41.635.725.625.624.3
顔が取れないコマ
顔が崩れて検出できないコマ数
00000

元の動く絵(口パク加工なし)

比べる基準。第1話 c138 の絵に同じ声を付けただけ。元々ずっと話している口

口元の拡大 ↑ / 全体 ↓

MuseTalk 1.5

口元だけを1コマずつ描き直す方式(DAIV・CPU 約9分)

口元の拡大 ↑ / 全体 ↓

LatentSync 1.5

口元を拡散モデルで描き直す方式・256画素(DAIV・CPU 約31分)

口元の拡大 ↑ / 全体 ↓

LatentSync 1.6

同じ方式の高精細版・512画素(DAIV・CPU 約2時間13分)

口元の拡大 ↑ / 全体 ↓

Kling リップシンク

Kling 公式サイト(5秒で5クレジット)

口元の拡大 ↑ / 全体 ↓