Amaozn SageMaker Notebook快速搭建Stable Diffusion AI作畫可視化環境

本文主要介紹如何使用Amazon SageMaker Notebook 機器學習服務輕鬆託管Stable Diffusion WebUI,一鍵部署開箱即用的AIGC 圖片方向輕量級應用。通過Amazon CloudFormation 基礎設施即代碼的服務,實現底層環境、AI 模型和前端Stable Diffusion WebUI 的快速部署,幫助用戶在15~20分鐘部署一套文生圖、圖生圖的AI 應用。此方案適合企業級客戶對AIGC 圖片方向做前期調研和快速驗證、小型團隊快速搭建輕量級AI 應用的業務場景。想要快速體驗動手實驗,可在文末掃描二維碼,註冊亞馬遜雲科技賬號,免費領取200美元雲上資源,暢快探索AI 作畫的無限魅力。

亞馬遜雲科技官網:https://www.amazonaws.cn

亞馬遜雲海外官網:https://aws.amazon.com/cn/

此方案目前提供基於Stable Diffusion 1.5的圖片生成,基於DreamBooth 的圖片訓練和推理;暫不提供腳本(script)和插件(extension)的技術支持,讀者可持續關注後續方案的功能迭代。

No.1
方案架構
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-1
No.2
方案優勢
● 本方案使用CloudFormation 一鍵部署,僅需點擊幾個步驟,即可快速在您的Amazon 賬戶中成功部署一套AIGC 圖片方向的web 應用環境,交互界面簡潔友好,幫助用戶快速體驗文本生成圖片、圖片生成圖片等AI 服務。 ● 底層使用Amazon SageMaker Notebook Instance 託管的Jupyter 筆記本實例,您無需關心基礎環境(如存儲、網絡等)的構建及底層基礎設施運維。

● 方案採用全託管的Stable Diffusion AI 模型服務(1.5輕量版本,包含Stable Diffusion WebUI 與InvokeAI 兩個界面),具備良好的開源項目使用體驗,並支持根據您的需要安裝插件以擴展使用場景(如ControlNet)。

● 用戶可使用自帶的圖片數據微調模型,產出的模型可基於自動化流水線工具快速部署上線至推理節點,方便規模化的圖片推理調用。

● 本方案完全開源,用戶可以在SageMaker Notebook 中對模型和擴展(extension)定制開發,滿足自身業務需求。

No.3
方案組件
3.1 Amazon SageMaker Notebook
Amazon SageMaker 筆記本實例是運行Jupyter Notebook 應用程序的機器學習(ML)計算實例。 SageMaker 管理實例和相關資源的創建。在您的筆記本實例中使用Jupyter 筆記本來準備和處理數據、編寫代碼來訓練模型、將模型部署到SageMaker 託管,以及測試或驗證您的模型。
3.2 Stable Diffusion 模型
Stable Diffusion 是由CompVis、Stability AI 和LAION 共同開發的一個文本轉圖像模型,它通過LAION-5B 子集大量的512×512圖文模型進行訓練,用戶只要簡單的輸入一段文本,Stable Diffusion 就可以迅速將其轉換為圖像。同樣,用戶也可以置入圖片或視頻,配合文本對其進行處理。
3.3 用戶交互界面
3.3.1 Stable Diffusion WebUI+使用示例
Stable Diffusion WebUI 是Stable Diffusion 的一個瀏覽器交互界面,它提供了多種功能,如txt2img、img2img 等,還包含了許多模型融合改進、圖片質量修復等附加升級。通過調節不同參數可以生成不同效果,用戶可以根據自己的需要和喜好進行創作。它不僅支持生成圖片,使用各種各樣的模型來達到你想要的效果,還能訓練你自己的專屬模型。 Stable Diffusion WebUI:

https://github.com/AUTOMATIC1111/stable-diffusion-webui

以文字生成圖片為例,用戶可在“txt2img”界面,使用提示詞生成期望圖片,步驟如下:

● 點擊“txt2img”進入文生圖界面

● 在提示詞輸入框內輸入提示詞

● 點擊“Generate”按鈕即可生成圖片

Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-2
1、生成一對90年代中國情侶,尺寸512×512,一次生成4張圖:提示詞(Prompt):A pair of young Chinese lovers, wearing jackets and jeans, sitting on the roof, the background is Beijing in the 1990s, and the opposite building can be seen
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-3
2、生成背景為雛菊的羅馬士兵半身像,尺寸512×512,一次生成4張圖:提示詞(Prompt):A roman soldier with daisies in the background, bust figure
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-4
3.3.2 InvokeAI+使用示例參考
InvokeAI 是Stable Diffusion 的一個實現,它從開源文本到圖像以及從圖像到圖像生成器。它提供了一個具有各種新功能和選項的簡化流程,以幫助圖像生成過程。 InvokeAI:

https://github.com/invoke-ai/InvokeAI

提示詞(Prompt):temple in ruines, forest, stairs, columns

Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-5
提示詞(Prompt):A pair of young Chinese lovers, wearing jackets and jeans, sitting on the roof, the background is Beijing in the 1990s, and the opposite building can be seen
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-6
3.4 方案部署
3.4.1 方案部署操作步驟

1、登錄控制台,在控制台頁面右上角切換區域至us-east-1。

Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-7
2、在Service 搜索框中輸入Cloudformation,點擊進入。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-8
3、創建堆棧-使用新資源(標準)- 上傳模板文件,模板在以下鏈接下載:https://xiekl.s3.cn-northwest-1.amazonaws.com.cn/sd-webui.yml
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-9
4、填入堆棧名稱,Instance Type 建議選擇g5.2xlarge,磁盤Volume 大小默認為100G,選擇WebUI Type,默認是auto 代表Stable Diffusion WebUI,WebUI Version 選擇0316,點擊“下一步” 。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-10
5、設置保持默認,點擊“下一步”。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-11
6、確認配置(維持默認即可),勾選“我確認…”,點擊“提交” ,等待15-20分鐘部署完成。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-12
3.4.2 使用Stable Diffusion WebUI 進行文生 
1、創建堆棧後等待資源陸續啟動(約20分鐘),待堆棧狀態顯示為“CREATE_COMPLETE”後,點擊“輸出”。點擊“鍵”為“WebUI URL”相應的“值”位置的URL。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-13
2、進入WebUI 界面,輸入Prompt,點擊generate 即可生成圖片。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-14
3.4.3 使用Stable Diffusion WebUI進行訓練(微調) 

下面介紹如何使用Stable Diffusion WebUI 訓練您自己的圖片。

1、首先要創建一個模型,導航到DreamBooth ⻚面。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-15
2、創建成功後,如下圖所示。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-16
3、設置訓練參數,導航到Select ⻚面,如圖所示。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-17
4、在input ⻚面,設置Setting,Basic 的參數保持默認即可,點擊右側箭。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-18
5、點擊Advance 右側箭頭,展開選項卡。在Mixed Precision 選擇fp16,Memory Attention 選擇xformers,其他選項保持默認即可,如下圖所示。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-19
6、點擊Concepts 選項卡,在Dataset Directory 輸入實例圖片所在的目錄。我們事先準備了示例圖片在/data/images 中,讀者也可以把自己的圖像文件放在該目錄中。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-20
7、向下拉動滾動條,在Instance Prompt 中輸入”a photo of a zxw dog”,在Class Prompt 中輸入”a photo of dog”,其他保持默認。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-21
8、點擊⻚面上方的“Train”按鈕。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-22
9、觀察右側Output 選項卡的訓練進度,等待訓練完成。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-23
10、訓練完成後,點擊刷新按鈕,模型列表中將出現剛訓練好的模型,選擇新訓練的模型。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-24
11、點擊txt2img,跳轉到文生圖⻚面。輸入Prompt,注意要帶上zwx 前綴,查看結果。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-25
12、下面介紹如何用自己的圖片進行訓練。在Cloudfomation 的輸出中,點擊NotebookURL 鏈接。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-26
13、如下圖所示,點擊sd-webui 進入到data/images/ 文件夾。在文件上依次點擊右鍵,刪除文件。
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-27

14、點擊Upload files 按鈕,上傳您自己的圖片作為訓練集。上傳完成後,重複上述步驟完成訓練過程。

Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-28
No.4
總結
本文簡單介紹瞭如何使用託管的筆記本服務SageMaker Notebook 來一鍵部署Stable Diffusion WebUI,輕鬆構建AI 生成圖片的界面化、快速驗證環境。方案只需點擊幾次即可實現自動化部署,基於託管服務的特性讓您無需憂心底層基礎設施的搭建與運維,同時擁有良好的開源項目體驗。您還可以使用自己的圖片對模型進行微調,為定制特色的AIGC 應用做好準備。
No.5
參考資料
  •  https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html
  •  https://jupyter-contrib-nbextensions.readthedocs.io/en/latest/
  •  https://github.com/AbdBarho/stable-diffusion-webui-docker
  •  https://github.com/AUTOMATIC1111/stable-diffusion-webui
  •  https://github.com/invoke-ai/InvokeAI
想要快速體驗動手實驗,即刻掃描下方二維碼,註冊亞馬遜雲科技賬號,免費領取200美元雲上資源,暢快探索AI 作畫的無限魅力:
Amaozn SageMaker Notebook快速搭建Stable Diffusion–AI作畫可視化環境-1
 

這篇文章有多大用處?

點擊一顆星給它打分!

平均評分 5 / 5. 票數: 1

暫無投票!成為第一個評價這篇文章的人。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Google reCAPTCHA 保護機制,這項服務遵循 Google 隱私權政策服務條款