- Stable Diffusionで画像を生成していても思ったようなイラストが生成できない。。
- Stable Diffusionで生成したイラストってなんだか構図が変なんだけど。。
- ControlNetのインストール方法と使い方が知りたい！
Stable Diffusionで画像を生成する場合、プロンプトで色々と指示を出しますが、生成される画像はランダム、いわゆるガチャを引く感じです。
そこで、ある程度狙った構図のイラストを出すようにするのが「ControlNet」です。
今回は、ControlNetのインストール方法と使い方について紹介します。
ControlNetを導入することで、左の参照画像に対して、右のような同じポーズのイラストが生成できるようになりますよ。
Stable Diffusionを始めたばかりの初心者の方はこちらの初心者ガイドも参考にしてください。
ContorolNetのインストール方法
ControlNetのインストール方法を紹介します。
Stable Diffusion web UIを導入していない方は、下記、ローカルPCのセットアップもしくはクラウドサービスでのセットアップ方法を参考にしてください。
Stable Diffusion web UIのローカルPCへのセットアップ方法
まずは、Stable Diffusion web UIを起動。
起動したら、「拡張機能タブ」にある「拡張機能リスト」をクリックし、読込ボタンを押します。
下の方にある、「sd-webui-controlnet操作」のインストールボタンを押します。
インストールが完了したら、インストール済のタブをクリックし、「sd-webui-controlnet」があるか確認します。
アップデートが「不明」となっている場合は、①アップデートを確認し、②適用してUIを再起動します。
txt2imgタブとimg2imgタブに「ControlNet」の設定が追加されればインストール成功です。
◀ボタンを押すと、下記のように展開されます。
以上でControlNetのインストールは完了です！
ControlNetモデルのダウンロード
次に、ControlNetモデルをダウンロードします。
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
全部で14のモデルがあります。
control_v11p_sd15_canny
control_v11p_sd15_mlsd
control_v11f1p_sd15_depth
control_v11p_sd15_normalbae
control_v11p_sd15_seg
control_v11p_sd15_inpaint
control_v11p_sd15_lineart
control_v11p_sd15s2_lineart_anime
control_v11p_sd15_openpose
control_v11p_sd15_scribble
control_v11p_sd15_softedge
control_v11e_sd15_shuffle
control_v11e_sd15_ip2p
control_v11f1e_sd15_tileダウンロードしたら、「C:\StableDiffusion\stable-diffusion-webui\models\ControlNet」へ格納します。
ためしに、canny、openpose、scribble、lineart_animeを格納しました。
拡張子は、「.pth」ファイルです。
それぞれ1.4GBほどあるので、軽量版をDLしてもOKです。
https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
拡張子は「.safetensors」ファイルで700MBほどです。
ControlNetの使い方
次に、かんたんにControlNETの使い方について紹介します。
- 参照したい画像をドロップ
- 有効化にチェック
- プリプロセッサとモデルを選択
同じポーズで画像を生成する
今回は、かんたんに、プリプロセッサを「canny」とし、モデルを「control_v11p_sd15_canny」としました。
モデルが読み込まれていない場合は、モデルの横の更新ボタンを押してくださいね。
プロントは下記。
masterpiece, best quality, highly detailed beautiful face and eyes, cute golden hamster
ネガティブプロンプトが下記です。
nsfw, flat color, flat shading, retro style, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, cropped, signature, watermark, username, artist name, text
Counterfeit-V3で実際に出力された結果がこちら。
同じポーズの画像が生成されている様子がわかります。
参照画像
生成イラスト
yayoiMixでの生成がこちら。
参照画像
生成フォト
こちらも同じようなポーズで生成できました！
同じポーズで背景を変更する
同じポーズで背景を変えたい場合は、プロンプトに入れたい背景を追記してあげます。
参照画像を生成されたイラストにして、プロンプトを下記に変更すると、
masterpiece, best quality, highly detailed beautiful face and eyes, a cute golden hamster, at street
背景が変わりました！
さあ、ControlNetで好みの構図でイラストを生成してみよう！
ControlNetのインストール方法とかんたんな使い方について紹介しました。
ControlNet1.1のモデルは14種類もあるので、お好みのモデルを試してみてください。
よき画像生成ライフを楽しみましょう^^
高解像度なイラストを生成したい方は下記記事も参考にしてくださいね。
