本文主要介紹如何使用Amazon SageMaker Notebook 機器學習服務輕鬆託管Stable Diffusion WebUI,一鍵部署開箱即用的AIGC 圖片方向輕量級應用。通過Amazon CloudFormation 基礎設施即代碼的服務,實現底層環境、AI 模型和前端Stable Diffusion WebUI 的快速部署,幫助用戶在15~20分鐘部署一套文生圖、圖生圖的AI 應用。此方案適合企業級客戶對AIGC 圖片方向做前期調研和快速驗證、小型團隊快速搭建輕量級AI 應用的業務場景。想要快速體驗動手實驗,可在文末掃描二維碼,註冊亞馬遜雲科技賬號,免費領取200美元雲上資源,暢快探索AI 作畫的無限魅力。
亞馬遜雲科技官網:https://www.amazonaws.cn
亞馬遜雲海外官網:https://aws.amazon.com/cn/
此方案目前提供基於Stable Diffusion 1.5的圖片生成,基於DreamBooth 的圖片訓練和推理;暫不提供腳本(script)和插件(extension)的技術支持,讀者可持續關注後續方案的功能迭代。
● 本方案使用CloudFormation 一鍵部署,僅需點擊幾個步驟,即可快速在您的Amazon 賬戶中成功部署一套AIGC 圖片方向的web 應用環境,交互界面簡潔友好,幫助用戶快速體驗文本生成圖片、圖片生成圖片等AI 服務。 ● 底層使用Amazon SageMaker Notebook Instance 託管的Jupyter 筆記本實例,您無需關心基礎環境(如存儲、網絡等)的構建及底層基礎設施運維。
● 方案採用全託管的Stable Diffusion AI 模型服務(1.5輕量版本,包含Stable Diffusion WebUI 與InvokeAI 兩個界面),具備良好的開源項目使用體驗,並支持根據您的需要安裝插件以擴展使用場景(如ControlNet)。
● 用戶可使用自帶的圖片數據微調模型,產出的模型可基於自動化流水線工具快速部署上線至推理節點,方便規模化的圖片推理調用。
● 本方案完全開源,用戶可以在SageMaker Notebook 中對模型和擴展(extension)定制開發,滿足自身業務需求。
3.1 Amazon SageMaker Notebook
Amazon SageMaker 筆記本實例是運行Jupyter Notebook 應用程序的機器學習(ML)計算實例。 SageMaker 管理實例和相關資源的創建。在您的筆記本實例中使用Jupyter 筆記本來準備和處理數據、編寫代碼來訓練模型、將模型部署到SageMaker 託管,以及測試或驗證您的模型。
Stable Diffusion 是由CompVis、Stability AI 和LAION 共同開發的一個文本轉圖像模型,它通過LAION-5B 子集大量的512×512圖文模型進行訓練,用戶只要簡單的輸入一段文本,Stable Diffusion 就可以迅速將其轉換為圖像。同樣,用戶也可以置入圖片或視頻,配合文本對其進行處理。
3.3.1 Stable Diffusion WebUI+使用示例參考
Stable Diffusion WebUI 是Stable Diffusion 的一個瀏覽器交互界面,它提供了多種功能,如txt2img、img2img 等,還包含了許多模型融合改進、圖片質量修復等附加升級。通過調節不同參數可以生成不同效果,用戶可以根據自己的需要和喜好進行創作。它不僅支持生成圖片,使用各種各樣的模型來達到你想要的效果,還能訓練你自己的專屬模型。 Stable Diffusion WebUI:
https://github.com/AUTOMATIC1111/stable-diffusion-webui
以文字生成圖片為例,用戶可在“txt2img”界面,使用提示詞生成期望圖片,步驟如下:
● 點擊“txt2img”進入文生圖界面
● 在提示詞輸入框內輸入提示詞
● 點擊“Generate”按鈕即可生成圖片
1、生成一對90年代中國情侶,尺寸512×512,一次生成4張圖:提示詞(Prompt):A pair of young Chinese lovers, wearing jackets and jeans, sitting on the roof, the background is Beijing in the 1990s, and the opposite building can be seen
2、生成背景為雛菊的羅馬士兵半身像,尺寸512×512,一次生成4張圖:提示詞(Prompt):A roman soldier with daisies in the background, bust figure
InvokeAI 是Stable Diffusion 的一個實現,它從開源文本到圖像以及從圖像到圖像生成器。它提供了一個具有各種新功能和選項的簡化流程,以幫助圖像生成過程。 InvokeAI:
https://github.com/invoke-ai/InvokeAI
提示詞(Prompt):temple in ruines, forest, stairs, columns
提示詞(Prompt):A pair of young Chinese lovers, wearing jackets and jeans, sitting on the roof, the background is Beijing in the 1990s, and the opposite building can be seen
1、登錄控制台,在控制台頁面右上角切換區域至us-east-1。
2、在Service 搜索框中輸入Cloudformation,點擊進入。
3、創建堆棧-使用新資源(標準)- 上傳模板文件,模板在以下鏈接下載:https://xiekl.s3.cn-northwest-1.amazonaws.com.cn/sd-webui.yml
4、填入堆棧名稱,Instance Type 建議選擇g5.2xlarge,磁盤Volume 大小默認為100G,選擇WebUI Type,默認是auto 代表Stable Diffusion WebUI,WebUI Version 選擇0316,點擊“下一步” 。
6、確認配置(維持默認即可),勾選“我確認…”,點擊“提交” ,等待15-20分鐘部署完成。
3.4.2 使用Stable Diffusion WebUI 進行文生圖
1、創建堆棧後等待資源陸續啟動(約20分鐘),待堆棧狀態顯示為“CREATE_COMPLETE”後,點擊“輸出”。點擊“鍵”為“WebUI URL”相應的“值”位置的URL。
2、進入WebUI 界面,輸入Prompt,點擊generate 即可生成圖片。
3.4.3 使用Stable Diffusion WebUI進行訓練(微調)
下面介紹如何使用Stable Diffusion WebUI 訓練您自己的圖片。
1、首先要創建一個模型,導航到DreamBooth ⻚面。
3、設置訓練參數,導航到Select ⻚面,如圖所示。
4、在input ⻚面,設置Setting,Basic 的參數保持默認即可,點擊右側箭。
5、點擊Advance 右側箭頭,展開選項卡。在Mixed Precision 選擇fp16,Memory Attention 選擇xformers,其他選項保持默認即可,如下圖所示。
6、點擊Concepts 選項卡,在Dataset Directory 輸入實例圖片所在的目錄。我們事先準備了示例圖片在/data/images 中,讀者也可以把自己的圖像文件放在該目錄中。
7、向下拉動滾動條,在Instance Prompt 中輸入”a photo of a zxw dog”,在Class Prompt 中輸入”a photo of dog”,其他保持默認。
9、觀察右側Output 選項卡的訓練進度,等待訓練完成。
10、訓練完成後,點擊刷新按鈕,模型列表中將出現剛訓練好的模型,選擇新訓練的模型。
11、點擊txt2img,跳轉到文生圖⻚面。輸入Prompt,注意要帶上zwx 前綴,查看結果。
12、下面介紹如何用自己的圖片進行訓練。在Cloudfomation 的輸出中,點擊NotebookURL 鏈接。
13、如下圖所示,點擊sd-webui 進入到data/images/ 文件夾。在文件上依次點擊右鍵,刪除文件。
14、點擊Upload files 按鈕,上傳您自己的圖片作為訓練集。上傳完成後,重複上述步驟完成訓練過程。
本文簡單介紹瞭如何使用託管的筆記本服務SageMaker Notebook 來一鍵部署Stable Diffusion WebUI,輕鬆構建AI 生成圖片的界面化、快速驗證環境。方案只需點擊幾次即可實現自動化部署,基於託管服務的特性讓您無需憂心底層基礎設施的搭建與運維,同時擁有良好的開源項目體驗。您還可以使用自己的圖片對模型進行微調,為定制特色的AIGC 應用做好準備。
- https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html
- https://jupyter-contrib-nbextensions.readthedocs.io/en/latest/
- https://github.com/AbdBarho/stable-diffusion-webui-docker
- https://github.com/AUTOMATIC1111/stable-diffusion-webui
- https://github.com/invoke-ai/InvokeAI
想要快速體驗動手實驗,即刻掃描下方二維碼,註冊亞馬遜雲科技賬號,免費領取200美元雲上資源,暢快探索AI 作畫的無限魅力: