ControlNetはControlNetの欄に下のような元画像を用意して、
- Promptをいれて
- プリプロセッサを入れ、
- モデルを指定して
- 生成する
ことで、ポーズを指定した画像が生成できる。
このようにほぼ同じポーズのイラストが生成されます。
プリプロセッサとモデルは、よくわからないならcannyでOK(?
PCで自前生成した画像は保存する必要ないです
※生成した画像はStableDiffusionのoutputフォルダに保存されてるので、自分で保存する必要はなし
むしろ、生成失敗したのは定期的に消さないとSSDがやばい。
Stable-Diffusion Controle Netの使い方のおぼえがき
絵柄については、安定拡散チェックポイントで指定したモデル?で、決まる模様。
どんな絵が出力されるかは、PromptとBad Promptの内容もかなり影響する。
背景指定は、simple_Backgroundが無難っぽい?
White_Background とか、Green_Background など、色を指定すると白髪になったり、服が緑になるなどもよくある💦
Controle-netの使い方
Controle-netの使い方で、よく使われそうな機能は次の3つ
- 棒人間でポーズを指定して画像を生成 (open pose / editor)
- 画像からポーズを割り出して画像を生成
- 線画抽出して着彩した画像を生成 (canny)
Open Pose Editorについて
ControlNetを使うと生成するキャラのポーズを厳密に指定することができるが、
無料の拡張機能「Openpose Editor」をつかえば、絵を用意しなくてもポーズが指定できる
導入については、
くろくまそふとさんを参照
当方の環境だと、
- txt2imgに送る
- img2imgに送る
を押しても機能しないので、pngを保存してコントロールネットの画像指定枠に放り込めば使えるようになる。
使ったところの様子はこんな感じ
- Openpose Editorでモデルにポーズをとらせる
- pngを保存
- コントロールネットの画像枠にpngをドラッグドロップ
- Prompt、バッドプロンプトを指定
- プリプロセッサを 「なし(none)」
- モデルを「Open pose16・・」などの、OpenPoseを使えるモデルに変更
- 生成する
という手順になる
画像からポーズを割り出して画像を生成
- コントロールネットの画像枠にベースとなる画像をドラッグドロップ
- Prompt、バッドプロンプトを指定
- プリプロセッサを 「open pose」
- モデルを「Open pose16・・」などの、OpenPoseを使えるモデルに変更
- 生成する
画像からポーズを判定して、画像を生成してくれる。
canny (線画抽出して画像を生成して着彩)
- コントロールネットの画像枠にpngをドラッグドロップ
- Prompt、バッドプロンプトを指定
- プリプロセッサを 「canny」
- モデルを「canny」モデルに変更
- 生成する
線画を抽出して着彩してくれる
自分の描いた画像をベースに色を塗った画像を生成してもらう
用紙色:白に黒の線で描いたイラストをベースに色を塗ってもらいます。
着彩できるのは、原則として一人だけです。
また、線画は選択したモデルをベースに再生成されるので、描いた線画に忠実に色を塗ってくれるわけではないようです。
- コントロールネットの画像枠にpngをドラッグドロップ
- Prompt、バッドプロンプトを指定
- プリプロセッサを 「none」
- モデルを「canny」モデルに変更
- scribble mode(invert color)にチェックを入れる (用紙色=黒に白で絵を描けば不要)
- 生成する
線画からポーズを抽出して画像を生成して着彩してくれます。
コメント