ChatGPT每月用的電已經夠一個小城鎮生活
分類: 最新資訊
潛能詞典
編輯 : 潛能
發布 : 04-07
閱讀 :195
在 GPT-4 驚艷亮相并激發各類生成式 AI 極快迭代的同時，ChatGPT 自身也遇到了不少阻力。馬斯克跟科學家們關于暫停大型 AI 實驗的公開信已經征集到近 1.3 萬人簽字，英國、意大利等國也相繼發布了限制政策。不過反對的聲音沒能壓住用戶需求，后者已經先讓 OpenAI 有些扛不住了。繼上周大面積封號后，OpenAI 昨天又主動暫停了 ChatGPT Plus 會員的售賣（截至4 月 6 日上午已經恢復）。官方稱暫停升級的原因是需求量過大。根據流量監測網站 Similarweb 最新統計數據，今年 3 月 ChatGPT 吸引了全球近 16 億次用戶訪問，較 2 月增長近六成，是 1 月時訪問量（5.9 億次）的近 3 倍。訪問量激增同時帶來算力需求和能耗成倍數增長。假設每個用戶平均每次訪問提 5 個問題（微軟 New Bing 平均提問輪數約為 3 次，而 ChatGPT 不限制回合數），則 ChatGPT 上個月總咨詢次數接近 80 億次，對應日咨詢量約為 2.7 億次。這還沒算上其他應用通過 API 訪問 ChatGPT 所產生的消耗。但已經極其消耗資源。已知 1 張 A100 GPU 推理 1 個單詞大約需要 0.35 秒。假設每個提問長度約 30 個字 / 單詞，則 ChatGPT 每天需要處理 80 億字咨詢量，用一張 A100 GPU 來跑需要約 78 萬小時，對應每天需要約 3.24 萬張 A100 GPU。以上只是平均數值，考慮到訪問流量存在峰值，OpenAI 如果想完全響應用戶請求，需要儲備的 GPU 數量還要高出好幾倍。緊張的不光是算力。前述 3.24 萬張 A100 GPU 大約等同于 4000 臺英偉達 DGX A100 服務器（搭載 8 張 A100 GPU），后者售價 19.9 萬美元 / 臺，最大功率為 6.5 kW。以此推算 ChatGPT 硬件成本至少為 8 億美元，其 3 月耗電量約為 1872 萬 kWh。每處理一次用戶請求的耗電量，相當于 60 瓦的燈泡亮 140 秒。這樣一來，項目光是電費就得交近 200 萬美元。2021 年中國居民人均生活用電約 68 kWh/ 月，ChatGPT 單月耗電量差不多跟 27.5 萬中國人相當。（邱豪）
