館長的網站技術瓶頸,小弟弟來解答 - notorious-2019.com
昨天看到館長的網站倒了,也看到館長說一個月花費大概一百萬左右的月費在支持這個架設的電商網站,也對外發布出來訊息,希望求救,
直接講結論
建議解法,
1. 首先要做的事情是讓整個網站可以橫向擴展 (Load Balancer + n 台伺服器),對,相信我,IIS 也是可以做 Scale out, 這是對於 Application layer 服務的解法。
2. 資料的部分 SQL 吞吐量,建議改成 GCP Cloud SQL, 或者就直接轉到 Azure SQL Server 環境上會相對容易解決 SQL 的問題。
上述 2 個步驟都處理完,其實 100 萬的費用,應該 20000 concurrent user 是沒有問題的,但前提是要設定『對』!
額外需要花較長期時間要處理的,建議就是在 Queue 的處理,購物車的狀態都可以進入到 Queue 再來處理 SQL insert 的問題,減少不斷的 insert / update 的狀態,後文會提到 ...
底下詳細的會再說明如何後後續還有哪些處理的細節。
這兩天剛好有個小空擋,就來分析一下狀況,
可以從外部讀取得到的服務大致上如下,
- ASP.Net: 4.0
- IIS 10 + Windows (廢話)
- SQL Server (推測)
- OP Service: PleskWin
- Host: Google Cloud
- DNS: Cloudflare
前端服務內容架構
Server-side render, jQuery base, 推測有可能採用現成購物車來進行,看起來不太像是用 wooCommerce 比較像是 Cart Functionality 這類的項目直接搭建而成(當然這純屬猜測)
- 功能拆解
因為網站是透過 Server site render 所有頁面都需要重新透過伺服器進行載入,這樣的狀況,如果在頻繁忙碌的 eCommerce 網站架構下會是一個致命傷,
簡單來說,數量的查詢,特惠價,優惠碼等等資訊的處理,使用者每做一步都需要重新跳轉頁面,或者整頁面重新讀取,只是為了部分的資料更新,這些都可以抽取出來成為 API ,透過 AJAX 的方式進行讀取。
- 讀寫分離
在不了解目前資料庫複雜狀態下,首先要讓所有人都可以讀取到資料,頁面可以跑出來,建議至少將讀取資料庫,和寫入資料庫的部分進行拆分。
這個設定可能自己 host 的時候會比較多麻煩事情,但如果透過 Azure SQL Server 的設置會方便許多,這也是為什麼會推薦可以直接用 Azure SQL Server.
- SPA 架構建置
針對第一部分的優勢,會建議如果工程能量許可,建議將程式改成 SPA 的方式來進行,這樣可以大量單純資料邏輯,還有讓後端做單純的計算,而不用負擔大量的重新頁面輸出資訊,多餘的 HTML Tag 等。
- 頁面快取
很多熱門商品其實會是大部分使用者進來搶購的項目,會建議在活動頁面,廣告頁面盡量設置 page cache 的方式來進行(目前看起來都是設置成 no cache)或者類似用 varnish 的方式,來進行快取的處理。
但是目前沒有辦法碰到伺服器就不深入去探討實作複雜度的問題。
- 透過 Queue 進行搶購
因為有太多邏輯和商務資訊都在 SQL 端,為了減少大量的 SQL 處理,建議在購買商品的部分,可以採用 Queue 的方式來進行,而不是大量的依賴 SQL CRUD 。
一來可以避免 SQL lock 的問題,二來可以讓 Queue 進行控管 Racing 的問題,實作細節上不多做說明,總之 Event Queue / Queue 都是初期解決 SQL 瓶頸的好朋友。
碎碎念
很多人聽到一個月付費用 100 萬很多,或者很不值得什麼之類的,甚至是覺得被『共潘辣』,實際上狀況到底如何大家不用在那邊瞎猜,因為 Cloud 費用要直接上 100 萬,其實並不難,特別是在 Windows 這種有 license 的服務上,要直上到每個月 100 萬,是真的有可能的。
推測,接案方可能是很少處理類似有流量進來的問題,導致於使用比較傳統的架構,比較傳統的方式來解決使用者流量問題,無法訪問的問題。
畢竟提升機器等級,提升環境是解決方法的一個方式,但在實務上,更多都是要回去看一下 index 設定了沒, SQL 下的方式有沒有辦法進行優化,減少不必要的 join 等等。
是說啦, .net 建議可以換一下成為 .net core ,這樣彈性和架構就可以更多元, k8s 可能會是一個更容易解決問題的方案,但這前提就真的是要從 .net -> .net core
最後,不要動不動就叫人家重寫程式,打掉重練,重練的代價,永遠都隱含著你所不知道的成本,網站能夠穩定,網站能夠順利進行,裡面藏了多少次的 debug ,你永遠不會知道,這不是讓你耍花槍的時候,而是真正上戰場,如何用最少的子彈達到正確目標的實際考驗。
以上!
丟出議題包磚引玉,如果或任何討論,
就傳個粉絲頁跟小弟互動一下吧!(啾咪)
https://www.facebook.com/caesarfromtaiwan
留言
張貼留言