Stable DiffusionでLoraを使ってイラストを生成する手順

PCのOS・アプリ
スポンサーリンク

 

Loraを使ってみる

参考:てるろび さん

CivitAIにLoraの学習データがたくさんアップロードされてるので見ていて楽しいです。

CivitAiのLoraデータを利用する手順

体験してみたいLoraデータがあったらDLしておきます。あわせて生成された画像もいっしょにあうとわかりやすいかもしれません。

Loraの求められているSDのモデルもない場合は用意してください。(他のモデルでもつくれないことはないですが、やはり違和感がでますね)

Loraデータの保存先の例は C:\stable-diffusion-webui\models\Lora

stable-diffusionのモデルの保存先: C:\stable-diffusion-webui\models\Stable-diffusion

 

  1. 注意書きをよく確認しておく(使うモデルやパラメータ設定なども)
  2. Loraのデータ(と必要なモデル)をダウンロードして、stable-diffusionの指定フォルダに移動
  3. stable-diffusionフォルダのwebui-user.batでSDを起動
  4. WebUIを開く  (http://127.0.0.1:7860/)
  5. モデルを指定のものに変更
  6. プロンプトやパラメータ(Loraデータのページ参照)を入力してパラメータを設定
  7. (花札のようなアイコンをクリックしてLoraを指定)
  8. 希望のデータが生成されるまでガチャ

※ちなみにSD1.5というのはAnything系のモデルでOK(?)

(wd-1-5-beta2-fp32.safetensorsやAnything3.0~4.5ならとりあえず生成できるかと思います)

Clip skipが必要な場合は以下をみてください。

Stable DiffusionのClip skipってなに?

おすすめのCheckpoint

Flat-2D Animerge

Flat-2D Animerge

View post on imgur.com

Loraを探していたら、よさそうなのをみつけたので。

CFDを11、サンプリングメソッドをDPM2M++ Karrassで使うとよさそうです。

 

おすすめのLora

 

Sono Bisque Doll wa Koi wo Suru / My Dress Up Darling Anime Style LoRA

Sono Bisque Doll wa Koi wo Suru / My Dress Up Darling Anime Style LoRA

BetterRamenEating

BetterRamenEating

ラーメンを手づかみではなく箸で正しく食べるようになりますとのことですが、使い方がよくわからないですね。。

 

Tifa_meenow

Tifa_meenow

View post on imgur.com

Arknights-Texas the Omertosa

View post on imgur.com

Anime Tarot Card Art Style LoRA

View post on imgur.com

Girls’ Frontline-OTs-14″lightning”

View post on imgur.com

Makoto Shinkai (+substyles) Style LoRA

View post on imgur.com

 

プロンプトのメモ

Loraで学習データを使うにしても、プロンプトは重要な要素になってきます。

思い通りの絵を生成するにはプロンプトの出来次第になってくるので、詳しくは以下のページなどを参考にしてみてください。

カメラとアングルの指示、構図・レイアウト・ポーズ・カメラアングル・カメラポジション

  • Full body shot
    全身を映したポーズ。
  • head shot(face shot)
    顔にフォーカスしたポーズ。
  • half body shot
    お腹あたりまで映ったポーズ。

close-up shot of [ A ]
Aにフォーカスしたポーズ。

例:close-up shot of hip(お尻のアップ)
close-up shot of [ A ] to [ B ]
AからBにフォーカスしたポーズ。例:close-up shot of Waist to thigh(腿からお尻までのアップ)

  • medium shot
    中間距離のカメラ視点。効果が出にくい
  • low angle shot
    下から見上げるようなポーズ
  • bird’s eye view
    ふかん視点、距離遠め。
  • selfie
    ふかん視点、距離近め。
  • overhead shot
    真上から真下をうつすアングルになりやすい。料理の物撮り画像などに
  • low angle full shot
    下から見上げるポーズ+全身図。
  • shot from behind
    対象物の後ろからのショット。
  • isometric
    アイソメトリック図
  • symmetry
    左右対称のポーズになりやすい。
  • front view
    被写体を正面からとらえた絵
  • back shot
    被写体を後ろからとらえた画。
  • collage
    コラージュ。うまくハマらないとグリッド表示になってしまう
  • double exposure of [A] and [B]
    二重写し。2つの写真を重ねたような絵になる。心霊写真なんかにもおすすめ。(例:double exposure of tokyo city and cat face)
  • product shot
    商品の宣材写真みたいに無地背景で明暗の少ないポーズになりやすい。
  • 3×3 grid view
    細かいマス目で分割されたビューになります。3×3と指定してもマスの数は無視されがちです。
    [ 対象物 ] in distance
    対象物を遠くに小さく写す。例:cat in distanceで遠くに猫が小さく描かれる。対象物の指示ワードを入れすぎると距離が近くなりやすいです。
    fullpage of [ 対象物 ]
    画面いっぱいに対象物を配置する。
  • split screen
    分割画面で異なるシーンが描写される。
  • eye-level view
    人の視線の高さから見た画になります。
  • cross-section(cross-section view)・cutaway-view
    断面図
  • dynamic angle
AIイラストに使用するプロンプト(prompt)についてのおぼえがき
プロンプトとは? プロンプト(prompt)とは、AIに描いてほしい絵の内容を伝えるために書く文章です。 基本的には英文で絵の内容を指示するのですが、単語の羅列でもまったく同じ絵を描くこともできるので、指示の良しあしが絵の完成度に直結する重...

参考:BLOG CAKEさん https://blogcake.net/ai-angle/

【AIイラスト】構図の調整に使えるカメラアングルなどのワードまとめ

【初心者向け】おすすめのネガティブプロンプトまとめ!!!!!

ちびキャラを作る

参考:くろくまそふとさん

【プロンプト】
a very cute and beautiful chibi anime girl, simple flat background, full body view, standing, highly detailed face and eyes, clearly outlined, single character

【ネガティブプロンプト】
flat color, flat shading, shadow, nsfw, retro style, bad face, bad fingers, bad anatomy, missing fingers, low res, blurry, cropped head, signature, watermark, username, artist name, text

安定拡散チェックポイントは、

  • animeLineartStyle
  • any-v3-fp32・・・
  • なんでも-v4.0.ckpt
  • any-v4.5-pruned

あたりがよさそうです。

  • プリプロセッサ・・なし
  • モデル・・・・・・なし

でいいかと。

 

それ以外を指定してると、奇形というか進撃の巨人風になることが多いかなと感じました。

ControleNetは激重になるのでいらないと思います。

サンプリング方法

オイラー aでいいかなと思います。候補としては、

  • オイラー a
  • DPM2
  • DPM2a
  • DPM++2sa
  • DPM++2M
  • DPM++2Mカラス
  • DPM++SDEカラス

が、けっこういい絵を生成してくれると感じます。

生成時に注意したいこと

Stable-Diffusionのモデルを変更したときは、生成枚数を1枚にしておく

モデルを変更したあとの最初の生成は、変更と生成にかなり時間がかかることがまれにあるようです。

初回は少ない枚数で試した方がよさそうです。

画像のサイズを大きくすると負荷が増大する

画像の縦サイズを伸ばすと、全身が見切れることが減るのでいいんですが、生成時間は大幅に延びがちです。

PCの性能がものをいうかも

i3-12100と3060TiのPCだと、6枚生成したらCPUとグラボの負荷が100%のままで10分以上処理していたりします。

夏場は地獄かも💦

 

男の子(コ)を出したい場合

girlをboyにしただけだと、男装した女の子って感じの絵になるようです。

以下のプロンプトだとそれっぽい絵が出てくるかと。

 

a very cute and beautiful chibi anime boy, simple flat background, full body view, standing, highly detailed face and eyes, clearly outlined, single character ,solo 1boy,wearing pants,guy,man,male,

 

 

 

 

 

 

 

 

 

 

 

 

 

コメント

タイトルとURLをコピーしました