跳到主要內容

館長的網站技術瓶頸,小弟弟來解答 - notorious-2019.com

館長的網站技術瓶頸,小弟弟來解答 - notorious-2019.com

昨天看到館長的網站倒了,也看到館長說一個月花費大概一百萬左右的月費在支持這個架設的電商網站,也對外發布出來訊息,希望求救,

直接講結論

建議解法,

1. 首先要做的事情是讓整個網站可以橫向擴展 (Load Balancer + n 台伺服器),對,相信我,IIS 也是可以做 Scale out, 這是對於 Application layer 服務的解法。

2. 資料的部分 SQL 吞吐量,建議改成 GCP Cloud SQL, 或者就直接轉到 Azure SQL Server 環境上會相對容易解決 SQL 的問題。

上述 2 個步驟都處理完,其實 100 萬的費用,應該 20000 concurrent user 是沒有問題的,但前提是要設定『對』!

額外需要花較長期時間要處理的,建議就是在 Queue 的處理,購物車的狀態都可以進入到 Queue 再來處理 SQL insert 的問題,減少不斷的 insert / update 的狀態,後文會提到 ...

底下詳細的會再說明如何後後續還有哪些處理的細節。


這兩天剛好有個小空擋,就來分析一下狀況,

可以從外部讀取得到的服務大致上如下,

  • ASP.Net: 4.0
  • IIS 10 + Windows (廢話)
  • SQL Server (推測)
  • OP Service: PleskWin
  • Host: Google Cloud
  • DNS: Cloudflare

前端服務內容架構

Server-side render, jQuery base, 推測有可能採用現成購物車來進行,看起來不太像是用 wooCommerce 比較像是 Cart Functionality 這類的項目直接搭建而成(當然這純屬猜測)

  1. 功能拆解

因為網站是透過 Server site render 所有頁面都需要重新透過伺服器進行載入,這樣的狀況,如果在頻繁忙碌的 eCommerce 網站架構下會是一個致命傷,

簡單來說,數量的查詢,特惠價,優惠碼等等資訊的處理,使用者每做一步都需要重新跳轉頁面,或者整頁面重新讀取,只是為了部分的資料更新,這些都可以抽取出來成為 API ,透過 AJAX 的方式進行讀取。

  1. 讀寫分離

在不了解目前資料庫複雜狀態下,首先要讓所有人都可以讀取到資料,頁面可以跑出來,建議至少將讀取資料庫,和寫入資料庫的部分進行拆分。

這個設定可能自己 host 的時候會比較多麻煩事情,但如果透過 Azure SQL Server 的設置會方便許多,這也是為什麼會推薦可以直接用 Azure SQL Server.

  1. SPA 架構建置

針對第一部分的優勢,會建議如果工程能量許可,建議將程式改成 SPA 的方式來進行,這樣可以大量單純資料邏輯,還有讓後端做單純的計算,而不用負擔大量的重新頁面輸出資訊,多餘的 HTML Tag 等。

  1. 頁面快取

很多熱門商品其實會是大部分使用者進來搶購的項目,會建議在活動頁面,廣告頁面盡量設置 page cache 的方式來進行(目前看起來都是設置成 no cache)或者類似用 varnish 的方式,來進行快取的處理。

但是目前沒有辦法碰到伺服器就不深入去探討實作複雜度的問題。

  1. 透過 Queue 進行搶購

因為有太多邏輯和商務資訊都在 SQL 端,為了減少大量的 SQL 處理,建議在購買商品的部分,可以採用 Queue 的方式來進行,而不是大量的依賴 SQL CRUD 。

一來可以避免 SQL lock 的問題,二來可以讓 Queue 進行控管 Racing 的問題,實作細節上不多做說明,總之 Event Queue / Queue 都是初期解決 SQL 瓶頸的好朋友。

碎碎念

很多人聽到一個月付費用 100 萬很多,或者很不值得什麼之類的,甚至是覺得被『共潘辣』,實際上狀況到底如何大家不用在那邊瞎猜,因為 Cloud 費用要直接上 100 萬,其實並不難,特別是在 Windows 這種有 license 的服務上,要直上到每個月 100 萬,是真的有可能的。

推測,接案方可能是很少處理類似有流量進來的問題,導致於使用比較傳統的架構,比較傳統的方式來解決使用者流量問題,無法訪問的問題。

畢竟提升機器等級,提升環境是解決方法的一個方式,但在實務上,更多都是要回去看一下 index 設定了沒, SQL 下的方式有沒有辦法進行優化,減少不必要的 join 等等。

是說啦, .net 建議可以換一下成為 .net core ,這樣彈性和架構就可以更多元, k8s 可能會是一個更容易解決問題的方案,但這前提就真的是要從 .net -> .net core

最後,不要動不動就叫人家重寫程式,打掉重練,重練的代價,永遠都隱含著你所不知道的成本,網站能夠穩定,網站能夠順利進行,裡面藏了多少次的 debug ,你永遠不會知道,這不是讓你耍花槍的時候,而是真正上戰場,如何用最少的子彈達到正確目標的實際考驗。

以上!

丟出議題包磚引玉,如果或任何討論,

就傳個粉絲頁跟小弟互動一下吧!(啾咪)

https://www.facebook.com/caesarfromtaiwan


留言

這個網誌中的熱門文章

npm 還可以看影片,沒想到真的有人這麼做

 還真的有人做這件事情, 庆余年2剛上線,有一位小哥竟然利用 npm 包的機制,將整套高清視頻都搬上來了。 https://x.com/fengmk2/status/1791498406923215020 圖片來源, https://x.com/fengmk2/status/1791498406923215020/photo/1 此 Package 出處 https://www.npmjs.com/package/lyq2?activeTab=versions 截圖留念, 機制說明 NPM(Node Package Manager)是一個流行的 JavaScript 軟件包管理器,用於管理和分發 Node.js 應用的依賴。它允許開發者將自己的代碼打包成「包」,並上傳到 NPM 的公共註冊表,供其他開發者下載和使用。這個過程通常包括以下步驟: 創建 NPM 包 :開發者將自己的代碼和相關文件打包成一個 NPM 包。 上傳到註冊表 :將包上傳到 NPM 的公共註冊表。 下載和使用 :其他開發者可以通過 NPM 命令行工具下載並安裝這些包。 這位小哥利用這一機制,可能是通過將整套高清視頻文件打包成 NPM 包並上傳到公共註冊表。其他人只需通過簡單的 NPM 命令即可下載這些視頻文件。 影響 版權問題 :這種行為涉及明顯的版權侵犯。高清視頻通常受到版權保護,未經授權的分發和下載都是非法的。 NPM 註冊表的可靠性 :這類內容的出現可能會損害 NPM 註冊表的可靠性和聲譽。NPM 註冊表是開發者分享和使用代碼的重要平台,如果充斥著這些不合法的內容,會影響其公信力。 潛在的安全風險 :將視頻文件偽裝成 NPM 包可能會帶來潛在的安全風險。下載這些包的用戶可能會無意中下載到惡意軟件或其他有害內容。 技術濫用 :這一行為展示了技術的濫用,原本為了方便開發者分享和使用代碼的機制,被用來分發非法內容,會對整個開發者社區造成負面影響。 歡迎留言給我,讓我們得到更多討論,一起回饋更多可能。 如果對於技術架構或者技術開發有相關需要顧問教育訓練服務或專案開發,聯絡方式如下,或者是與皇漢科技 EXMA-Square 進行聯繫。 FB: https://www.facebook.com/clonncd/ Twitter: https://twitter.com/clonncd 熱血漢誌: htt

面試者如何挑戰大工程師時代來臨?

面試者如何挑戰大工程師時代來臨? 全世界都在倡導轉職成為工程師,似乎轉職成為工程師就成為職場的救贖,真的是如此嗎?讓老衲來杠給各位聽。 最近有位好久不見的小朋友,是 2000 年出生的小蔡,對於即將面臨到面對職場的挑戰開始關心起技術,他開始尋找比較適合自己的領域,同時也開始在思考到底為了接下來的就職小蔡該如何準備。 詢問我說是不是可以考慮軟體開發工程師這條路線 對於他的詢問,反而引起我的注意, 這讓我開始思考並映射於最近招募的經驗,軟體開發此領域是不是對於每個人都是可以擔任的職啀,這邊分享一些自己的看法希望對各位有所幫助。 全民工程師這件事情 在全球景氣低迷的狀況下,的確特別在這一年大家會很有感覺萬物齊漲,薪水不漲,薪資就是一直停滯不前。 很多時候,在不同的領域中,會發現整個薪資就算是擔任了管理職務主管你也會面臨到薪資的強大屏障在自己面前。 這個時候, 軟體工程師年薪百萬口號 似乎就成了一種救贖。 好像成為了工程師就可以達到年薪百萬,在家輕鬆工作,不用打卡也不用受到風吹雨淋,隨時想工作就可以工作,每個月又有固定薪水入帳,感受到類財富自由,人生的美好。 如果能夠爭取到跨國公司的職位,這份薪水有可能還可以上看每個月十多萬以上,甚至是往上也是極度有可能的事情,人生美好層次又再度提高了起來。 但這件事情是真的每個人都可以達到嗎? 還是這就是另外一種性存者偏差呢? 亦或者這些人其實是金字塔頂端的小眾? 每份履歷都像是同一種履歷 最近在最近幾年在面試工程師的時候特別會看到許多轉職者,一開始履歷裡面看到相關的作品一開始會覺得十分的驚艷, Wow, 現在的新手就可以做到如此精美的畫面,這些畫面是我當初用 Bootstrap 也做不出來的東西,許多的互動體驗好的一個不行,做出來的頁面配色和對齊也是極致。 但是隨著時間推移,多看了幾封履歷之後,就會發現在各大技術養成學院出來的學生履歷成果內容如出一轍,在面試的過程中也會詢問許多關於框架的底層概念,和比較技術觀念的時候,甚至是許多框架的核心概念,就很容易露出馬腳。 很多面試者會 一問三不知 ,透過許多引導,但殘酷的是連關鍵字是什麼都也無法推敲出來,更不用說在小組裡面到底怎麼樣合作,許多不同線上產品的比較,使用者流程,使用者後面的互動邏輯等,幾乎是風吹一片倒,只能

jQuery, animate function with css exlapenation.

Today, I want to use jQuery making a animation for webpage, First I check animate fuction on ref book. I clearly know how use it, there are two main function for animate. 1. $().animate({ "style1":"value1" , "style2":"value2" }, Time); Time: it can be three type, String => "slow", "fast", "normal". Integer=>10000 2. $().stop(); it can immedaitely stop animation. Let's do some experieces, I bulit a simple page. You can hover UP and DOWN for a article sliding UP or DOWN. Les't do it. HTML CODE: <div id="all"> <div id="up">往上</div> <div id="showTab"> <div id="data"> About This script is intended for forms where the user needs to upload an image to a Web site. The image is displayed on the page for previewing before uploading. The display will be resized if needed so as not to break the page layout. Valid file types are set in the scri