計(jì)算人工智能的碳成本

　　如果您正在尋找有趣的話題，那么人工智能(AI)不會(huì)讓您失望。人工智能包含一組強(qiáng)大的令人費(fèi)解的統(tǒng)計(jì)算法，可以下棋、破譯潦草的筆跡、理解語(yǔ)音、分類(lèi)衛(wèi)星圖像等等。用于訓(xùn)練機(jī)器學(xué)習(xí)模型的巨型數(shù)據(jù)集的可用性一直是人工智能成功的關(guān)鍵因素之一。但所有這些計(jì)算工作都不是免費(fèi)的。一些人工智能專(zhuān)家越來(lái)越關(guān)注與構(gòu)建新算法相關(guān)的環(huán)境影響，這場(chǎng)辯論引發(fā)了關(guān)于如何讓機(jī)器更有效地學(xué)習(xí)以減少人工智能碳足跡的新想法。

　　回到地球

　　要深入了解細(xì)節(jié)，我們首先需要考慮數(shù)以千計(jì)的數(shù)據(jù)中心（遍布世界各地），它們24小時(shí)全天候處理我們的計(jì)算請(qǐng)求。對(duì)于人工智能研究人員來(lái)說(shuō)，這些任務(wù)包括訓(xùn)練具有數(shù)十億數(shù)據(jù)元素（或標(biāo)記——在英語(yǔ)中相當(dāng)于四個(gè)字符或大約3/4個(gè)單詞的單詞位）的多層算法。所涉及的計(jì)算工作令人驚訝。人工智能基礎(chǔ)設(shè)施公司Lambda提供了一些關(guān)于GPT-3（OpenAI用于生成類(lèi)人文本的強(qiáng)大自然語(yǔ)言模型）的有趣事實(shí)。根據(jù)Lambda的分析，如果您希望在單個(gè)NVIDIARTX8000上訓(xùn)練GPT-3的1750億參數(shù)模型，則需要665年，這在顯卡方面毫不遜色。

　　簡(jiǎn)單來(lái)說(shuō)，模型越大，性能就越好，Lambda的團(tuán)隊(duì)指出，state-of-the-art語(yǔ)言模型的規(guī)模每年以10倍的速度增長(zhǎng)，這讓我們回到了對(duì)AI增長(zhǎng)的擔(dān)憂碳足跡?；氐綌?shù)據(jù)中心，有可能在討論中添加更多數(shù)字，至少在高層次上是這樣。根據(jù)國(guó)際能源署(IEA)的估計(jì)，全球數(shù)據(jù)中心的總用電量在200到250TWh之間。為了使這個(gè)數(shù)字更容易可視化，假設(shè)機(jī)車(chē)和機(jī)車(chē)車(chē)輛平均每公里行駛消耗2.5千瓦時(shí)，225太瓦時(shí)足以讓高速電動(dòng)火車(chē)行駛900萬(wàn)公里。雖然只有一部分（在數(shù)據(jù)中心）將用于訓(xùn)練和運(yùn)行AI模型，但消息來(lái)源表明，機(jī)器學(xué)習(xí)和訓(xùn)練的計(jì)算需求正在超過(guò)數(shù)據(jù)中心活動(dòng)的平均增長(zhǎng)速度。

　　在這一點(diǎn)上，公平地承認(rèn)數(shù)據(jù)中心在管理其能源需求方面做得很好——環(huán)境問(wèn)題是一個(gè)動(dòng)力，但值得一提的是，電力是一項(xiàng)重大的運(yùn)營(yíng)費(fèi)用，對(duì)每個(gè)設(shè)施來(lái)說(shuō)都是“關(guān)鍵任務(wù)”.盡管全球互聯(lián)網(wǎng)流量激增，僅在2020年就增長(zhǎng)了40%，但數(shù)據(jù)中心的能源使用在過(guò)去十年中保持相對(duì)穩(wěn)定?！皵?shù)據(jù)中心服務(wù)需求的強(qiáng)勁增長(zhǎng)繼續(xù)被服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心基礎(chǔ)設(shè)施的持續(xù)效率提升以及高效云和超大規(guī)模數(shù)據(jù)所滿足的服務(wù)份額不斷增長(zhǎng)所抵消。中心，”IEA寫(xiě)道。

　　光子等等

　　此外，垂直整合的數(shù)據(jù)中心運(yùn)營(yíng)商，如亞馬遜、谷歌、Facebook等，將很快補(bǔ)充說(shuō)他們的設(shè)施由可再生能源供電。自然地，這減輕了數(shù)據(jù)處理對(duì)環(huán)境造成的負(fù)擔(dān)，因?yàn)闉橛?jì)算硬件機(jī)架和必要的輔助服務(wù)（如加熱、冷卻和照明）供電的電力可以來(lái)自太陽(yáng)和風(fēng)。然而，正如英國(guó)《金融時(shí)報(bào)》未選擇的那樣，即使數(shù)據(jù)中心能源協(xié)議可能通過(guò)可再生能源抵消其100%的電力消耗，但在風(fēng)能和太陽(yáng)能不可用時(shí)，設(shè)施可能仍會(huì)消耗化石燃料。還需要考慮計(jì)算設(shè)備本身的嵌入式碳排放，這是因?yàn)橹圃旆椒ê土悴考牧喜少?gòu)活動(dòng)也會(huì)產(chǎn)生碳排放——微軟承認(rèn)這一點(diǎn)。

　　今年早些時(shí)候，微軟在最近的一篇博文中討論了高效模型訓(xùn)練的話題。開(kāi)發(fā)人員正忙于探索縮小人工智能碳足跡的方法——或者至少是抑制其增長(zhǎng)。這里的步驟包括尋找在模型微調(diào)期間減少計(jì)算和內(nèi)存需求的方法，建議建議在該過(guò)程的這個(gè)階段將GPU使用量減少三倍。模型壓縮也顯示出了希望，其中AI數(shù)據(jù)的子層被修剪成更稀疏但仍具有代表性的先前組合條件的版本。在這里，研究表明，壓縮模型可能需要減少約40%的訓(xùn)練時(shí)間，同時(shí)實(shí)現(xiàn)類(lèi)似的算法效果。

　　開(kāi)發(fā)人員還可以從監(jiān)控工具中受益，這些工具將查明通過(guò)優(yōu)化代碼或數(shù)據(jù)托管安排所獲得的收益?！癈odeCarbon是一個(gè)輕量級(jí)的軟件包，可以無(wú)縫集成到你的Python代碼庫(kù)中，”免費(fèi)提供他們的工具的發(fā)明者寫(xiě)道?！八烙?jì)了用于執(zhí)行代碼的云或個(gè)人計(jì)算資源產(chǎn)生的二氧化碳(CO2)量?！?/p>

　　完整的循環(huán)

　　循環(huán)往復(fù)，未來(lái)可能會(huì)部署更節(jié)能的人工智能，以幫助指導(dǎo)更高效的數(shù)據(jù)中心運(yùn)營(yíng)，以降低——你猜對(duì)了——人工智能的碳足跡。如今，CirrusNexus提供了可用的軟件，數(shù)據(jù)中心運(yùn)營(yíng)商可以使用該軟件來(lái)為碳分配成本，并通過(guò)人工智能算法進(jìn)行傳播。結(jié)果不僅顯示了二氧化碳計(jì)算，還提供了對(duì)用戶可以配置其設(shè)施以最大化可用環(huán)境收益的方式的洞察。

　　使支持當(dāng)今技術(shù)的算法的碳足跡可見(jiàn)，這在多個(gè)方面都有幫助。它正在就培訓(xùn)未來(lái)人工智能的最有效方式展開(kāi)討論，讓IT部門(mén)及其客戶對(duì)計(jì)算的環(huán)境成本承擔(dān)更多責(zé)任。最后，它可能對(duì)企業(yè)有利。引人注目的是，亞馬遜今年早些時(shí)候發(fā)布了客戶碳足跡工具，谷歌等其他大公司也允許客戶導(dǎo)出云碳排放信息——這項(xiàng)服務(wù)目前處于預(yù)覽階段。

　　作者：JamesTyrrell

來(lái)源：千家網(wǎng)