Google 研究團隊發表了一個名為StyleDrop的技術,該技術能夠生成忠實遵循特定風格的圖像。這項技術由一種名為Muse的文本到圖像生成的視覺變換器提供核心。StyleDrop具有極高的通用性,能夠捕捉用戶提供的風格的細微差異和細節,例如色彩方案、陰影、設計模式以及局部和全局效果。
StyleDrop 的工作方式是通過微調非常少參數有效地學習新風格,並通過與人類或自動反饋的迭代訓練來提高品質。
令人驚訝的是,即使用戶只提供一張指定所需風格的單張圖像,StyleDrop也能夠提供令人印象深刻的結果。
StyleDrop可以生成由單一參考圖像描述的任何風格的高質量圖像。在訓練和生成時,都會在內容描述符後附加自然語言的風格描述符(例如,“融化的金色3d渲染風格”)。
StyleDrop生成具有由單一參考圖像描述的一致風格的字母圖像。在訓練和生成時,都會在內容描述符後附加自然語言的風格描述符(例如,“抽象的彩虹色的流動煙霧波浪設計”)。
以下為優缺點分析,
優點
風格通用性:StyleDrop能夠捕捉用戶提供的風格的細微差異和細節,例如色彩方案、陰影、設計模式以及局部和全局效果。這對於生成與特定風格或品牌相符的圖像非常有用。
高效學習新風格:StyleDrop的工作方式是通過微調非常少的可訓練參數(總模型參數的1%以下)有效地學習新風格。這意味著可以以更少的時間和資源來調整和定製模型。
單張風格圖像轉換:即使用戶只提供一張指定所需風格的單張圖像,StyleDrop也能夠提供令人印象深刻的結果。
缺點
需要專業知識:StyleDrop需要使用者有一定的機器學習和圖像處理知識,才能理解和有效利用其功能。
對資源的需求:雖然StyleDrop只需微調少量參數就能學習新風格,但對於大型圖像或複雜的風格,仍可能需要大量的計算資源和時間。
風格轉換的限制:雖然StyleDrop可以從單張圖片學習風格,但如果風格特別複雜或難以定義,其結果可能不會完全符合期望。(2023/06 發表日的此時是如此)
後續
到底 StyleDrop 會不會帶來另外一個生成式影像的衝擊,還是又是一個雷聲大雨點小的 Another google project,在此時此刻( 2023/06/04)非常令人玩味!特別是這個敏感的日子,就讓我們持續看下去!
留言
張貼留言