Stable-Diffusion Controle Netの使い方のおぼえがき

スポンサーリンク

ControlNetはControlNetの欄に下のような元画像を用意して、

  • Promptをいれて
  • プリプロセッサを入れ、
  • モデルを指定して
  • 生成する

ことで、ポーズを指定した画像が生成できる。

このようにほぼ同じポーズのイラストが生成されます。

プリプロセッサとモデルは、よくわからないならcannyでOK(?

PCで自前生成した画像は保存する必要ないです

※生成した画像はStableDiffusionのoutputフォルダに保存されてるので、自分で保存する必要はなし

むしろ、生成失敗したのは定期的に消さないとSSDがやばい。

Stable-Diffusion Controle Netの使い方のおぼえがき

絵柄については、安定拡散チェックポイントで指定したモデル?で、決まる模様。

 

 

どんな絵が出力されるかは、PromptとBad Promptの内容もかなり影響する。

背景指定は、simple_Backgroundが無難っぽい?

White_Background とか、Green_Background など、色を指定すると白髪になったり、服が緑になるなどもよくある💦

Controle-netの使い方

Controle-netの使い方で、よく使われそうな機能は次の3つ

  • 棒人間でポーズを指定して画像を生成 (open pose / editor)
  • 画像からポーズを割り出して画像を生成
  • 線画抽出して着彩した画像を生成 (canny)

 

 

Open Pose Editorについて

ControlNetを使うと生成するキャラのポーズを厳密に指定することができるが、

無料の拡張機能「Openpose Editor」をつかえば、絵を用意しなくてもポーズが指定できる

導入については、

くろくまそふとさんを参照

当方の環境だと、

  • txt2imgに送る
  • img2imgに送る

を押しても機能しないので、pngを保存してコントロールネットの画像指定枠に放り込めば使えるようになる。

使ったところの様子はこんな感じ

  1. Openpose Editorでモデルにポーズをとらせる
  2. pngを保存
  3. コントロールネットの画像枠にpngをドラッグドロップ
  4. Prompt、バッドプロンプトを指定
  5. プリプロセッサを 「なし(none)」
  6. モデルを「Open pose16・・」などの、OpenPoseを使えるモデルに変更
  7. 生成する

という手順になる

View post on imgur.com

 

画像からポーズを割り出して画像を生成

  1. コントロールネットの画像枠にベースとなる画像をドラッグドロップ
  2. Prompt、バッドプロンプトを指定
  3. プリプロセッサを 「open pose」
  4. モデルを「Open pose16・・」などの、OpenPoseを使えるモデルに変更
  5. 生成する

画像からポーズを判定して、画像を生成してくれる。

View post on imgur.com

 

 

canny (線画抽出して画像を生成して着彩)

  1. コントロールネットの画像枠にpngをドラッグドロップ
  2. Prompt、バッドプロンプトを指定
  3. プリプロセッサを 「canny」
  4. モデルを「canny」モデルに変更
  5. 生成する

線画を抽出して着彩してくれる

View post on imgur.com

 

自分の描いた画像をベースに色を塗った画像を生成してもらう

用紙色:白に黒の線で描いたイラストをベースに色を塗ってもらいます。

着彩できるのは、原則として一人だけです。

また、線画は選択したモデルをベースに再生成されるので、描いた線画に忠実に色を塗ってくれるわけではないようです。

  1. コントロールネットの画像枠にpngをドラッグドロップ
  2. Prompt、バッドプロンプトを指定
  3. プリプロセッサを 「none」
  4. モデルを「canny」モデルに変更
  5. scribble mode(invert color)にチェックを入れる (用紙色=黒に白で絵を描けば不要)
  6. 生成する

線画からポーズを抽出して画像を生成して着彩してくれます。

 

View post on imgur.com

 

 

 

コメント

タイトルとURLをコピーしました