跳到主要內容

從易經八卦到 AI 應用:用 LLM 自動化數據整理的工程探險

從 2023 年開始,在去年 為何技術老人這樣想那樣做? 的那場分享之前,就開始探索管理的更多可能性,以及探索更深層的奧秘,宇宙的二進位,生活中的陰與陽,到透過朋友深入探索 8 進位和 64 進位的玄學領域。

一開始只是想將自己體驗進行工程的還原,先是以為透過 ai 可以很快(偷懶)就可以解決掉資訊整理的問題,這邊有些踩雷的過程,以及對於整體實作的紀錄,分享給大家。


人生,原本以為很輕鬆的事情,最後都會不太容易

原本目標是希望將網路上許多的八卦資訊,以及六十四卦象內容,透過 AI 將資料進行彙整,就資料進行整合以及釐清就花了些時間 (汗)

以下且聽我慢慢道來 ... .

思緒步驟

大概步驟會是這樣,首先進行基礎八卦資訊搜集,大概由乾掛到坤卦,這些都可以在網路上容易取得,(這邊採用的是先天八卦順序)

https://chatgpt.com/share/672083ea-4000-8010-ae50-3e120d845244

接著進入重點, 64 卦目前並沒有太多工程項目可以進行整合資料,因此主要透過 ChatGPT 產生資訊,以及透過 wiki 進行先達到快速效果。

https://chatgpt.com/share/67208416-c210-8010-9d43-a8c7235a1b03

緊接著,就會得到一串很像是 64 掛的內容,

不看不知道,一看嚇一跳,取得資料中會包含錯誤資訊,對應錯誤的上下卦,但畢竟是電腦,有錯很正常,這才是我認識的 ChatGPT (這邊也有試過 Claude 也有相同問題)。

校正回歸

此時經驗就非常重要,透過 AI 協助我們進行資料編寫比對,但不是單純的比對,而是要先想清楚自己的目標是什麼。

  1. 64 卦,兩兩相對。
  2. 64 卦,每個卦象不重複。

基礎於一開始『懶』的狀態, 首先直覺性的,是將比對錯誤的 json 直接丟入,原本預計透過 chain of thought 的方式,讓 llm 進行重複確認,但 ...

測試發現,需要透過 llm 產出原生資料越大時,隱藏的重複錯誤性會隨之提高。

llm 不轉,我轉

因此,這邊的解法朝向糾錯為主。 首先回到目的性,我們需要得到的結果是

  1. 完整的 64 卦象
  2. 取得對應的正確上下卦位置。

當我們有這樣明確的目標時,回到工程面向身為工程魂的各位,學習過各種 XDD (X-driven development) 的各位很快就可以猜到,可透過 AI 進行建立 jest / mocha 進行正向測試,進行測試腳本,

目標如下,

  1. 隨機進行測試,測試兩兩一對,並且卦象都是可以取得正確資訊。(不可為空)
  2. 以 8 卦為基底參數,進行迴圈測試,確認資料並為重複。

透過 1 & 2 且成立的狀態下,很快就可以跑出錯誤,錯誤的造成,可以馬上就知道哪些是重複,或者會讓結果跳出 null 的可能性,接著就可以再將這些輸出直接放回到 chatgpt 讓他進行補完。

很快劈哩啪啦,咖咖澎洽,一下子就可以讓 test 生出來, https://github.com/clonn/yi-insight/tree/main/test

以我這邊的例子,就可以明確的產出錯誤的範圍,有了明確修正範圍,直接透過 prompt 請任何一個 llm 都可以進行產出修正。

console.log
      [ '巽-震', '巽-震', '離-兌', '巽-坎', '坎-兌', '震-艮' ]

看起來有六個重複, 請修正

無情中途工商

RAG/Agent 應用開發從 0 至 1 實戰工作坊 第二場來了!

想掌握最新 AI 技術並將其應用於真實開發中嗎?這堂課程專為具備 Web 開發經驗的開發者設計,從 Prompt Engineering、RAG 系統到智能代理的實作,帶您從理論到實戰,快速上手!

⏩ 立即報名! 詳情請見:https://exma.kktix.cc/events/ai-for-dev-course-rag-2

看成果

結果,透過產生的修正縮小範圍,就可以得到完美的六十四卦的組合, 不用自己透過 wiki 複製貼上,完全透過 free chatgpt ,不用課金,不用任何奇技淫巧,就可以得到整理後的資訊,

https://github.com/clonn/yi-insight/blob/main/src/hexagram/hexagram_64.json

回思

首先, ChatGPT 都至少訓練資料都有更新至 2023年,因此可以大膽地推論,他應該是有讀過易經,八卦爻辭基本定義說明,應該都是有的。

這邊有試過直接將卦象,或者取得的爻詞放入 ChatGPT 進行闡述,但很可惜都只能得到一知半解的回應,甚至是很多意象概念的解釋,是無法融入解釋當中,在進行 LLM 解釋的部分,只能先放一旁。

至少,對於 JSON format 的整理,或者資料的分析上其實是可以有根據的重新歸納,其實是有機會的,且十分快速的。

這邊想要表達的是,除了少數的量體,或者是無關緊要的隨機資訊可以這樣透過 LLM 進行產生,但如果要透過 LLM 產生有嚴謹度的資訊時,其實需要透過搭配大量的驗證,這類的驗證就可以如上述的方式,不一定要透過手動的方式進行檢查,也不需要請美少女小編來進行確認,需要的就是透過『對於結果的認定』『對於可能的邊界』進行數據上的驗證檢查。

如此一來,就很容易透過 AI 打 AI 的方式,產出一個相對可信任的數據基礎。

以上小小經驗作為分享!

無情結尾工商

RAG/Agent 應用開發從 0 至 1 實戰工作坊 第二場來了!

想掌握最新 AI 技術並將其應用於真實開發中嗎?這堂課程專為具備 Web 開發經驗的開發者設計,從 Prompt Engineering、RAG 系統到智能代理的實作,帶您從理論到實戰,快速上手!

⏩ 立即報名! 詳情請見:https://exma.kktix.cc/events/ai-for-dev-course-rag-2

以上分享,各位有任何更好更懶的做法,歡迎分享。

後記的後記

最讓我意想不到的是每個卦象其實都已經有自己的 unicode

參考, https://zh.wikipedia.org/zh-tw/%E6%98%93%E7%B6%93%E5%85%AD%E5%8D%81%E5%9B%9B%E5%8D%A6%E7%AC%A6%E8%99%9F_(Unicode%E5%8D%80%E6%AE%B5)

留言

這個網誌中的熱門文章

npm 還可以看影片,沒想到真的有人這麼做

 還真的有人做這件事情, 庆余年2剛上線,有一位小哥竟然利用 npm 包的機制,將整套高清視頻都搬上來了。 https://x.com/fengmk2/status/1791498406923215020 圖片來源, https://x.com/fengmk2/status/1791498406923215020/photo/1 此 Package 出處 https://www.npmjs.com/package/lyq2?activeTab=versions 截圖留念, 機制說明 NPM(Node Package Manager)是一個流行的 JavaScript 軟件包管理器,用於管理和分發 Node.js 應用的依賴。它允許開發者將自己的代碼打包成「包」,並上傳到 NPM 的公共註冊表,供其他開發者下載和使用。這個過程通常包括以下步驟: 創建 NPM 包 :開發者將自己的代碼和相關文件打包成一個 NPM 包。 上傳到註冊表 :將包上傳到 NPM 的公共註冊表。 下載和使用 :其他開發者可以通過 NPM 命令行工具下載並安裝這些包。 這位小哥利用這一機制,可能是通過將整套高清視頻文件打包成 NPM 包並上傳到公共註冊表。其他人只需通過簡單的 NPM 命令即可下載這些視頻文件。 影響 版權問題 :這種行為涉及明顯的版權侵犯。高清視頻通常受到版權保護,未經授權的分發和下載都是非法的。 NPM 註冊表的可靠性 :這類內容的出現可能會損害 NPM 註冊表的可靠性和聲譽。NPM 註冊表是開發者分享和使用代碼的重要平台,如果充斥著這些不合法的內容,會影響其公信力。 潛在的安全風險 :將視頻文件偽裝成 NPM 包可能會帶來潛在的安全風險。下載這些包的用戶可能會無意中下載到惡意軟件或其他有害內容。 技術濫用 :這一行為展示了技術的濫用,原本為了方便開發者分享和使用代碼的機制,被用來分發非法內容,會對整個開發者社區造成負面影響。 歡迎留言給我,讓我們得到更多討論,一起回饋更多可能。 如果對於技術架構或者技術開發有相關需要顧問教育訓練服務或專案開發,聯絡方式如下,或者是與皇漢科技 EXMA-Square 進行聯繫。 FB: https://www.facebook.com/clonncd/ Twitter: https://twitter.com/clonncd 熱血漢誌: htt

Redis 已經不再免費了嗎?Redis is no longer free software ?

  根據Redis Source Available License 2.0 (RSALv2)的條款,這份授權協議提供了一定程度的使用、複製、分發、使其可用、以及創建衍生作品的自由,但這些自由受到特定限制,特別是關於將軟體功能作為服務提供給第三方或分發軟體的方式,這可能限制了軟體的自由共享和再分發。 根據自由軟體基金會(Free Software Foundation, FSF)和開源倡議組織(Open Source Initiative, OSI)定義的自由軟體和開源軟體的標準,一個軟體要被認為是“自由軟體”或“開源軟體”,它需要允許用戶在任何目的下運行軟體、研究和修改軟體、以及自由地重新分發複製品,有時還包括創建和分發衍生作品的自由。 RSALv2設置了一些重要的使用和分發限制,特別是關於禁止將軟體或其修改版本作為服務提供給第三方的限制,這可能不符合FSF和OSI對自由軟體或開源軟體的定義。這些限制主要是為了保護Redis Ltd.的商業利益,同時允許使用者在某些條件下使用和修改軟體。 因此,雖然RSALv2提供了一些使用和修改軟體的自由,但它由於上述限制,可能不會被廣泛認定為符合“自由軟體”或“開源軟體”的嚴格定義。它更像是一種介於傳統封閉源代碼軟體和開放源碼軟體之間的“源可用”授權模式。 主觀想法 怎麼開源的狀態下還是需要商業利益的支持,只有在商業模式下才能走得長久,這段協議會影響到的基本上三大公有雲 Azure / AWS / Google Cloud Platform 絕對首當其衝,但如果以服務提供商的角色,能夠跟這樣的開源坐下來好好談談,也許這樣的 Agreement 可能對於 Redis 後續的生態發展才會是好的方式? 就讓我們持續看下去! Ref: https://lwn.net/Articles/966133/ https://redis.com/blog/redis-adopts-dual-source-available-licensing/ https://redis.com/legal/rsalv2-agreement/