跳到主要內容

淺談 AI 落地到底有多難 - 以 OpenAI ChatGPT 為例

目前待領的團隊,小弟有幸參與到 AI 落地的過程,之前也參與過幾次 AI 服務導入的和製作出 AI 產品應用的經驗,這邊就提出些簡單分享,跟大家說說,為何 AI 落地有這麼難

ChatGPT 幾乎成為這幾天大家刷版面的資訊,官方網站其實有提到 Chat-GPT 的參考模式是怎麼進行的,也有提供相關的論文參考,

https://openai.com/blog/chatgpt/

ChatGPT 幾乎成為現象級的影響

如果你還沒試用過,我建議你真的玩玩看,

https://chat.openai.com/chat

在 AI 落地的階段,有許多工程的過程,還有許多現實需要面對,而這煉成的過程都很容易導致 AI 落地失敗,

更不用說像是 ChatGPT 這種十年磨一劍的應用服務,為什麼驚艷,

  1. 中英文,簡中繁中等均能 80% 的機率識別問題及主題對話
  2. 回應內容,英文的部分不意外的通順,簡中繁中的部分有些詞語是有做過調整的,這實屬難得。
  3. 對於資料上下文關聯度,以及變化形式在主題式的發展下均能有效地回應且呈現。
  4. 呈現格式可以以『摘要、表格、條列』等方式進行規劃,同時也可以對文字內容進行一定程度的擴張和收斂。

而要做到這些事情,除了大家所熟知的需要不斷的生成模型,訓練模型,不同的模型疊加上去之外。

同時最難也是最複雜的部分,『資料工程的處理』

AI 工程的開始

在我們使用任何一套 AI 框架 Tensorflow / pytorch 之後,無一例外地就會以特定問題解決方案,開始採用不同的現成 Model 進行驗證,在一開始對於初始的 example data / init data 都會有不錯的反應。

接下來問題開始...

當我們天馬行空的,不斷將例外,將特定領域情境涵蓋進去的時候,你就會發現這 model 的準確率下降,接下來就是一連串調整參數的開始,

或者是開始進行特例發想的部分,哪些資料是需要踢除的,哪些項目是需要先排開的,哪些資料是對於訓練本身是有影響的,在這個過程中就已經進入 data engineering 的環節中。

source from 資料科學家的工作日常

資料工程的處理

大家所想像的,在建立模型的時候似乎就是不斷地調參數,不斷的運作程式,但在這之前,有『好多好多好多好多』資料前處理,資料搜集,資料配對的過程要先進行,這些都是屬於 ETL (抽取、轉換、載入)的過程。

而通常這些資料轉換的過程,也不會是那種數千筆數萬筆的資而已,而是可能一大包資料,不斷的都需要被清理,或者資料是透過不斷的一直運送進來,要透過 streaming 的方式進行資料的清洗。

當然 AWS / GCP / Azure 都有提供些雲端工具可以進行這類問題的處理,但工具就僅止於工具,重點還是要靠工程師進行邏輯編排,而過程中要如何調整和 debug,和發現 error exception 就是一段艱辛的過程。

而這段工作的範圍,通常都是交由一定開發經驗的資深工程師 / 架構師進行處理。

這些人本身就是一種稀缺,不論在全世界都是。

持續地燒錢和無法預估進度

在做 AI 的過程中,在短時間內很難有直接的收益,也比較難在 2-3 個月中就有一個飛奔式的突破。

從應用,工程,數據, AI 這些人都是成本,且都是不低的成本,而且少了任何一個環節,就無法讓團隊成形。

而在進行資料驗證的過程中,光是儲存本身,資料的維運本身,就已經是一筆不小的開銷,每天都有數 TB 的資料近行 import / export ,同時也有持續不斷的資料傳入,透過 ETL 的方式進行資料清洗,資料儲存,再將特定資料進行快取。

這些都是成本。

最後是 GPU 的選用,自建 GPU 運算,每次運算時總是會需要 GPU 進行運算,而 CPU 和 GPU 運算的效能差異,是 100 倍以上的差距,相信聰明的各位,應該懂要選哪一種。

它的缺點,就是貴!

最後想說的是

這段的過程,也許有人會覺得用現成的服務就可以兜出一系列的應用服務,從某個角度來說沒錯。

但如果你想要達到的是特定領域,或者需要有類似 ChatGPT 這樣的通用型效果,就肯定要面對自建的過程。

更不用說任何的 AI 服務,最後為了要提升服務準確率,最終還是會走到自身資料匯入的過程,只要牽扯到資料匯入,就會開始需要知道整體是怎麼進行運作的機制,才能如預期的導出結果。

這時候就需要大量的『資料,資料,資料,資料』除了有用的資料,和資料清洗的過程之外,此時資料的標註也成了一大問題,這時要如何透過工程進行大量且快速地標註,就是另外一個課題了(有機會我們再來談)。

這一連串,都需要時間的醞釀,也需要工程的緊密配合, 

  • AI 不跟資料溝通,掛
  • AI 不跟後端溝通,掛
  • 後端不跟資料溝通,掛
  • 前端不跟 AI 了解模式,掛
除了足夠的金援之外,要如何將如此同是技術面向,不同職能的人拉攏於其中,且讓某個部門都可以獨立運作,保持大家同樣的目標和志向,在這一開始都還是茫茫然的狀態下引導清晰可見的未來,成為極度重要的課題。

留言

張貼留言

這個網誌中的熱門文章

npm 還可以看影片,沒想到真的有人這麼做

 還真的有人做這件事情, 庆余年2剛上線,有一位小哥竟然利用 npm 包的機制,將整套高清視頻都搬上來了。 https://x.com/fengmk2/status/1791498406923215020 圖片來源, https://x.com/fengmk2/status/1791498406923215020/photo/1 此 Package 出處 https://www.npmjs.com/package/lyq2?activeTab=versions 截圖留念, 機制說明 NPM(Node Package Manager)是一個流行的 JavaScript 軟件包管理器,用於管理和分發 Node.js 應用的依賴。它允許開發者將自己的代碼打包成「包」,並上傳到 NPM 的公共註冊表,供其他開發者下載和使用。這個過程通常包括以下步驟: 創建 NPM 包 :開發者將自己的代碼和相關文件打包成一個 NPM 包。 上傳到註冊表 :將包上傳到 NPM 的公共註冊表。 下載和使用 :其他開發者可以通過 NPM 命令行工具下載並安裝這些包。 這位小哥利用這一機制,可能是通過將整套高清視頻文件打包成 NPM 包並上傳到公共註冊表。其他人只需通過簡單的 NPM 命令即可下載這些視頻文件。 影響 版權問題 :這種行為涉及明顯的版權侵犯。高清視頻通常受到版權保護,未經授權的分發和下載都是非法的。 NPM 註冊表的可靠性 :這類內容的出現可能會損害 NPM 註冊表的可靠性和聲譽。NPM 註冊表是開發者分享和使用代碼的重要平台,如果充斥著這些不合法的內容,會影響其公信力。 潛在的安全風險 :將視頻文件偽裝成 NPM 包可能會帶來潛在的安全風險。下載這些包的用戶可能會無意中下載到惡意軟件或其他有害內容。 技術濫用 :這一行為展示了技術的濫用,原本為了方便開發者分享和使用代碼的機制,被用來分發非法內容,會對整個開發者社區造成負面影響。 歡迎留言給我,讓我們得到更多討論,一起回饋更多可能。 如果對於技術架構或者技術開發有相關需要顧問教育訓練服務或專案開發,聯絡方式如下,或者是與皇漢科技 EXMA-Square 進行聯繫。 FB: https://www.facebook.com/clonncd/ Twitter: https://twitter.com/clonncd 熱血漢誌: htt

Redis 已經不再免費了嗎?Redis is no longer free software ?

  根據Redis Source Available License 2.0 (RSALv2)的條款,這份授權協議提供了一定程度的使用、複製、分發、使其可用、以及創建衍生作品的自由,但這些自由受到特定限制,特別是關於將軟體功能作為服務提供給第三方或分發軟體的方式,這可能限制了軟體的自由共享和再分發。 根據自由軟體基金會(Free Software Foundation, FSF)和開源倡議組織(Open Source Initiative, OSI)定義的自由軟體和開源軟體的標準,一個軟體要被認為是“自由軟體”或“開源軟體”,它需要允許用戶在任何目的下運行軟體、研究和修改軟體、以及自由地重新分發複製品,有時還包括創建和分發衍生作品的自由。 RSALv2設置了一些重要的使用和分發限制,特別是關於禁止將軟體或其修改版本作為服務提供給第三方的限制,這可能不符合FSF和OSI對自由軟體或開源軟體的定義。這些限制主要是為了保護Redis Ltd.的商業利益,同時允許使用者在某些條件下使用和修改軟體。 因此,雖然RSALv2提供了一些使用和修改軟體的自由,但它由於上述限制,可能不會被廣泛認定為符合“自由軟體”或“開源軟體”的嚴格定義。它更像是一種介於傳統封閉源代碼軟體和開放源碼軟體之間的“源可用”授權模式。 主觀想法 怎麼開源的狀態下還是需要商業利益的支持,只有在商業模式下才能走得長久,這段協議會影響到的基本上三大公有雲 Azure / AWS / Google Cloud Platform 絕對首當其衝,但如果以服務提供商的角色,能夠跟這樣的開源坐下來好好談談,也許這樣的 Agreement 可能對於 Redis 後續的生態發展才會是好的方式? 就讓我們持續看下去! Ref: https://lwn.net/Articles/966133/ https://redis.com/blog/redis-adopts-dual-source-available-licensing/ https://redis.com/legal/rsalv2-agreement/

面試者如何挑戰大工程師時代來臨?

面試者如何挑戰大工程師時代來臨? 全世界都在倡導轉職成為工程師,似乎轉職成為工程師就成為職場的救贖,真的是如此嗎?讓老衲來杠給各位聽。 最近有位好久不見的小朋友,是 2000 年出生的小蔡,對於即將面臨到面對職場的挑戰開始關心起技術,他開始尋找比較適合自己的領域,同時也開始在思考到底為了接下來的就職小蔡該如何準備。 詢問我說是不是可以考慮軟體開發工程師這條路線 對於他的詢問,反而引起我的注意, 這讓我開始思考並映射於最近招募的經驗,軟體開發此領域是不是對於每個人都是可以擔任的職啀,這邊分享一些自己的看法希望對各位有所幫助。 全民工程師這件事情 在全球景氣低迷的狀況下,的確特別在這一年大家會很有感覺萬物齊漲,薪水不漲,薪資就是一直停滯不前。 很多時候,在不同的領域中,會發現整個薪資就算是擔任了管理職務主管你也會面臨到薪資的強大屏障在自己面前。 這個時候, 軟體工程師年薪百萬口號 似乎就成了一種救贖。 好像成為了工程師就可以達到年薪百萬,在家輕鬆工作,不用打卡也不用受到風吹雨淋,隨時想工作就可以工作,每個月又有固定薪水入帳,感受到類財富自由,人生的美好。 如果能夠爭取到跨國公司的職位,這份薪水有可能還可以上看每個月十多萬以上,甚至是往上也是極度有可能的事情,人生美好層次又再度提高了起來。 但這件事情是真的每個人都可以達到嗎? 還是這就是另外一種性存者偏差呢? 亦或者這些人其實是金字塔頂端的小眾? 每份履歷都像是同一種履歷 最近在最近幾年在面試工程師的時候特別會看到許多轉職者,一開始履歷裡面看到相關的作品一開始會覺得十分的驚艷, Wow, 現在的新手就可以做到如此精美的畫面,這些畫面是我當初用 Bootstrap 也做不出來的東西,許多的互動體驗好的一個不行,做出來的頁面配色和對齊也是極致。 但是隨著時間推移,多看了幾封履歷之後,就會發現在各大技術養成學院出來的學生履歷成果內容如出一轍,在面試的過程中也會詢問許多關於框架的底層概念,和比較技術觀念的時候,甚至是許多框架的核心概念,就很容易露出馬腳。 很多面試者會 一問三不知 ,透過許多引導,但殘酷的是連關鍵字是什麼都也無法推敲出來,更不用說在小組裡面到底怎麼樣合作,許多不同線上產品的比較,使用者流程,使用者後面的互動邏輯等,幾乎是風吹一片倒,只能