Stable DiffusionのClip skipってなに？

Clip skip とは

Clip skip とは

おおざっぱに説明すると「Clip skip」というのは、プロンプトの画像への影響度を変更するパラメータのようです。

NoveiAI が 2 を使っているとのことで、最近では2 を使ってみてしっくりこなかったら1に変更してみるといった感じの使い方でいいみたいです。

12とかにすると、Loraのデータをほとんど読んでないのかなって感じがしますね。

Githubに詳しい説明があるので、読んでみるといいかもしれません。

プロンプトを画像に反映するため、テキストの特徴量への変換を行うのがCLIP（Text Encoder）です。Stable DiffusionではCLIPの最後の層の出力を用いていますが、それを最後から二番目の層の出力を用いるよう変更できます。NovelAIによると、これによりより正確にプロンプトが反映されるようになるとのことです。

引用元：https://github.com/kohya-ss/sd-scripts/blob/main/fine\_tune\_README\_ja.md

clip skip 1の場合

clip skip 12の場合

Clip skip を設定できるようにする方法

初期状態の WebUI には Clip skip の設定項目がないので設定できません。
設定項目を表示するには以下の手順で設定を変更します。(WebUI にAUTOMATIC1111導入ずみの場合)

「Settings」 → 「User Interface」とクリック
「Quicksettings list」欄に以下のパラメータをいれます

sd_model_checkpoint,sd_vae,CLIP_stop_at_last_layers

「Apply settings」をクリックして設定を保存
「Reload UI」をクリックしてWebUIを再起動します。