跳到主要內容

淺談 AI 落地到底有多難 - 以 OpenAI ChatGPT 為例

目前待領的團隊,小弟有幸參與到 AI 落地的過程,之前也參與過幾次 AI 服務導入的和製作出 AI 產品應用的經驗,這邊就提出些簡單分享,跟大家說說,為何 AI 落地有這麼難

ChatGPT 幾乎成為這幾天大家刷版面的資訊,官方網站其實有提到 Chat-GPT 的參考模式是怎麼進行的,也有提供相關的論文參考,

https://openai.com/blog/chatgpt/

ChatGPT 幾乎成為現象級的影響

如果你還沒試用過,我建議你真的玩玩看,

https://chat.openai.com/chat

在 AI 落地的階段,有許多工程的過程,還有許多現實需要面對,而這煉成的過程都很容易導致 AI 落地失敗,

更不用說像是 ChatGPT 這種十年磨一劍的應用服務,為什麼驚艷,

  1. 中英文,簡中繁中等均能 80% 的機率識別問題及主題對話
  2. 回應內容,英文的部分不意外的通順,簡中繁中的部分有些詞語是有做過調整的,這實屬難得。
  3. 對於資料上下文關聯度,以及變化形式在主題式的發展下均能有效地回應且呈現。
  4. 呈現格式可以以『摘要、表格、條列』等方式進行規劃,同時也可以對文字內容進行一定程度的擴張和收斂。

而要做到這些事情,除了大家所熟知的需要不斷的生成模型,訓練模型,不同的模型疊加上去之外。

同時最難也是最複雜的部分,『資料工程的處理』

AI 工程的開始

在我們使用任何一套 AI 框架 Tensorflow / pytorch 之後,無一例外地就會以特定問題解決方案,開始採用不同的現成 Model 進行驗證,在一開始對於初始的 example data / init data 都會有不錯的反應。

接下來問題開始...

當我們天馬行空的,不斷將例外,將特定領域情境涵蓋進去的時候,你就會發現這 model 的準確率下降,接下來就是一連串調整參數的開始,

或者是開始進行特例發想的部分,哪些資料是需要踢除的,哪些項目是需要先排開的,哪些資料是對於訓練本身是有影響的,在這個過程中就已經進入 data engineering 的環節中。

source from 資料科學家的工作日常

資料工程的處理

大家所想像的,在建立模型的時候似乎就是不斷地調參數,不斷的運作程式,但在這之前,有『好多好多好多好多』資料前處理,資料搜集,資料配對的過程要先進行,這些都是屬於 ETL (抽取、轉換、載入)的過程。

而通常這些資料轉換的過程,也不會是那種數千筆數萬筆的資而已,而是可能一大包資料,不斷的都需要被清理,或者資料是透過不斷的一直運送進來,要透過 streaming 的方式進行資料的清洗。

當然 AWS / GCP / Azure 都有提供些雲端工具可以進行這類問題的處理,但工具就僅止於工具,重點還是要靠工程師進行邏輯編排,而過程中要如何調整和 debug,和發現 error exception 就是一段艱辛的過程。

而這段工作的範圍,通常都是交由一定開發經驗的資深工程師 / 架構師進行處理。

這些人本身就是一種稀缺,不論在全世界都是。

持續地燒錢和無法預估進度

在做 AI 的過程中,在短時間內很難有直接的收益,也比較難在 2-3 個月中就有一個飛奔式的突破。

從應用,工程,數據, AI 這些人都是成本,且都是不低的成本,而且少了任何一個環節,就無法讓團隊成形。

而在進行資料驗證的過程中,光是儲存本身,資料的維運本身,就已經是一筆不小的開銷,每天都有數 TB 的資料近行 import / export ,同時也有持續不斷的資料傳入,透過 ETL 的方式進行資料清洗,資料儲存,再將特定資料進行快取。

這些都是成本。

最後是 GPU 的選用,自建 GPU 運算,每次運算時總是會需要 GPU 進行運算,而 CPU 和 GPU 運算的效能差異,是 100 倍以上的差距,相信聰明的各位,應該懂要選哪一種。

它的缺點,就是貴!

最後想說的是

這段的過程,也許有人會覺得用現成的服務就可以兜出一系列的應用服務,從某個角度來說沒錯。

但如果你想要達到的是特定領域,或者需要有類似 ChatGPT 這樣的通用型效果,就肯定要面對自建的過程。

更不用說任何的 AI 服務,最後為了要提升服務準確率,最終還是會走到自身資料匯入的過程,只要牽扯到資料匯入,就會開始需要知道整體是怎麼進行運作的機制,才能如預期的導出結果。

這時候就需要大量的『資料,資料,資料,資料』除了有用的資料,和資料清洗的過程之外,此時資料的標註也成了一大問題,這時要如何透過工程進行大量且快速地標註,就是另外一個課題了(有機會我們再來談)。

這一連串,都需要時間的醞釀,也需要工程的緊密配合, 

  • AI 不跟資料溝通,掛
  • AI 不跟後端溝通,掛
  • 後端不跟資料溝通,掛
  • 前端不跟 AI 了解模式,掛
除了足夠的金援之外,要如何將如此同是技術面向,不同職能的人拉攏於其中,且讓某個部門都可以獨立運作,保持大家同樣的目標和志向,在這一開始都還是茫茫然的狀態下引導清晰可見的未來,成為極度重要的課題。

留言

張貼留言

這個網誌中的熱門文章

面試者如何挑戰大工程師時代來臨?

面試者如何挑戰大工程師時代來臨? 全世界都在倡導轉職成為工程師,似乎轉職成為工程師就成為職場的救贖,真的是如此嗎?讓老衲來杠給各位聽。 最近有位好久不見的小朋友,是 2000 年出生的小蔡,對於即將面臨到面對職場的挑戰開始關心起技術,他開始尋找比較適合自己的領域,同時也開始在思考到底為了接下來的就職小蔡該如何準備。 詢問我說是不是可以考慮軟體開發工程師這條路線 對於他的詢問,反而引起我的注意, 這讓我開始思考並映射於最近招募的經驗,軟體開發此領域是不是對於每個人都是可以擔任的職啀,這邊分享一些自己的看法希望對各位有所幫助。 全民工程師這件事情 在全球景氣低迷的狀況下,的確特別在這一年大家會很有感覺萬物齊漲,薪水不漲,薪資就是一直停滯不前。 很多時候,在不同的領域中,會發現整個薪資就算是擔任了管理職務主管你也會面臨到薪資的強大屏障在自己面前。 這個時候, 軟體工程師年薪百萬口號 似乎就成了一種救贖。 好像成為了工程師就可以達到年薪百萬,在家輕鬆工作,不用打卡也不用受到風吹雨淋,隨時想工作就可以工作,每個月又有固定薪水入帳,感受到類財富自由,人生的美好。 如果能夠爭取到跨國公司的職位,這份薪水有可能還可以上看每個月十多萬以上,甚至是往上也是極度有可能的事情,人生美好層次又再度提高了起來。 但這件事情是真的每個人都可以達到嗎? 還是這就是另外一種性存者偏差呢? 亦或者這些人其實是金字塔頂端的小眾? 每份履歷都像是同一種履歷 最近在最近幾年在面試工程師的時候特別會看到許多轉職者,一開始履歷裡面看到相關的作品一開始會覺得十分的驚艷, Wow, 現在的新手就可以做到如此精美的畫面,這些畫面是我當初用 Bootstrap 也做不出來的東西,許多的互動體驗好的一個不行,做出來的頁面配色和對齊也是極致。 但是隨著時間推移,多看了幾封履歷之後,就會發現在各大技術養成學院出來的學生履歷成果內容如出一轍,在面試的過程中也會詢問許多關於框架的底層概念,和比較技術觀念的時候,甚至是許多框架的核心概念,就很容易露出馬腳。 很多面試者會 一問三不知 ,透過許多引導,但殘酷的是連關鍵字是什麼都也無法推敲出來,更不用說在小組裡面到底怎麼樣合作,許多不同線上產品的比較,使用者流程,使用者後面的互動邏輯等,幾乎是風吹一片倒,只能

jQuery, animate function with css exlapenation.

Today, I want to use jQuery making a animation for webpage, First I check animate fuction on ref book. I clearly know how use it, there are two main function for animate. 1. $().animate({ "style1":"value1" , "style2":"value2" }, Time); Time: it can be three type, String => "slow", "fast", "normal". Integer=>10000 2. $().stop(); it can immedaitely stop animation. Let's do some experieces, I bulit a simple page. You can hover UP and DOWN for a article sliding UP or DOWN. Les't do it. HTML CODE: <div id="all"> <div id="up">往上</div> <div id="showTab"> <div id="data"> About This script is intended for forms where the user needs to upload an image to a Web site. The image is displayed on the page for previewing before uploading. The display will be resized if needed so as not to break the page layout. Valid file types are set in the scri

初探 LangChain:語言模型應用程式開發的強大框架

LangChain 是一個強大的框架,致力於幫助開發人員利用語言模型構建端到端的應用程式。它提供了一整套工具、組件和接口,大大簡化了創建由大型語言模型(LLM)和聊天模型支持的應用程式的過程。LangChain 可以輕鬆地管理與語言模型的互動,將多個組件連接在一起,並集成額外的資源,例如 API 和資料庫。 LangChain https://python.langchain.com/en/latest/index.html 不說廢話,直接開始試著安裝, pip install langchain pip install openai export OPENAI_API_KEY="..." 以下是一些 LangChain 的簡單程式碼: import os os.environ["OPENAI_API_KEY"] = "..." from langchain.llms import OpenAI from langchain import OpenAI, ConversationChain from langchain.agents import initialize_agent from langchain.agents import load_tools from langchain.chains import LLMChain from langchain.prompts import PromptTemplate prompt = PromptTemplate( input_variables=["product"], template="What is a good name for a company that makes {product}?", ) print(prompt.format(product="colorful socks")) # What is a good name for a company that makes colorful socks? 在 LangChain 中,開發人員可以使用 LLM、Chat Model、Agents、Chains、Memory