引言

在新冠疫情期間，Folding@home 取得了一個重大里程碑。該研究項目獲得了 2.4 exaFLOPS 的運算能力，由全球 200 萬台志願者設備提供。這代表了當時世界上最大超級電腦的十五倍處理能力，使科學家能夠大規模模擬 COVID 蛋白質動態。他們的工作推動了我們對病毒及其病理機制的理解，尤其是在疫情初期。

Folding@home 基於志願計算的悠久歷史，項目通過眾包計算資源來解決大規模問題。這個想法在 1990 年代的 SETI@home中得到了廣泛關注，該項目彙集了超過 500 萬台志願者電腦以尋找外星生命。此後，這一理念已被應用於多個產業，包括天文物理學、分子生物學、數學、密碼學和遊戲。在每種情況下，集體力量增強了單個項目的能力，遠遠超出了他們單獨能夠實現的範圍。這推動了進步，使研究能夠以更開放和合作的方式進行。

許多人想知道我們是否可以將這一眾包模型應用於深度學習。換句話說，我們能否在大眾中訓練一個大型神經網路？前沿模型訓練是人類歷史上計算最密集的任務之一。與許多 @home 項目一樣，目前的成本超出了只有最大參與者才能承擔的範圍。這可能會阻礙未來的進展，因為我們依賴於越來越少的公司來尋找新的突破。這也將我們的 AI 系統的控制權集中在少數人手中。無論你對這項技術的看法如何，這都是一個值得關注的未來。

大多數批評者駁斥了去中心化訓練的想法，認為與目前的訓練技術不兼容。然而，這種觀點已經越來越過時。新的技術已經出現，能夠減少節點間的通訊需求，從而允許在網路連接不佳的設備上高效訓練。這些技術包括 DiLoCo、SWARM Parallelism、lo-fi 和異質環境中基礎模型的分散訓練等多個技術。其中許多具有容錯性，並支持異構計算。還有一些新架構專為去中心化網路設計，包括 DiPaCo 和去中心化混合專家模型。

我們還看到各種加密原語開始成熟，使得網路能夠在全球範圍內協調資源。這些技術支援數位貨幣、跨境支付和預測市場等應用場景。與早期的志願項目不同，這些網路能夠彙聚驚人的計算能力，通常比目前設想的最大雲端訓練集群大幾個數量級。

這些要素共同構成了新的模型訓練範式。這種範式充分利用全球的計算資源，包括如果連接在一起可以使用的大量邊緣設備。這將通過引入新的競爭機制來降低大多數訓練工作負載的成本。它還可以解鎖新的訓練形式，使得模型開發變得協作和模組化，而不是孤立和單一的方式。模型可以從大眾中獲取計算和數據，即時學習。個人可以擁有他們所創建模型的一部分。研究人員也可以重新公開分享新穎的研究成果，無需通過貨幣化他們的發現來彌補高昂的計算預算。

本報告考察了大型模型訓練的現狀及相關成本。它回顧了以往的分散式計算努力——從 SETI 到 Folding 再到 BOINC——以此為靈感探索替代路徑。報告討論了去中心化訓練的歷史挑戰，並轉向可能有助於克服這些挑戰的最新突破。最後，它總結了未來的機遇與挑戰。

前沿模型訓練的現狀

前沿模型訓練的成本對非大型參與者而言已經不可承受。這個趨勢並不新鮮，但根據實際情況，情況正在變得更加嚴重，因為前沿實驗室不斷挑戰擴充功能假設。據報導，OpenAI 今年在訓練方面花費超過 30 億美元。Anthropic預測到 2025 年，我們將開始進行 100 億美元的訓練，而 1,000 億美元的模型也不會太遠。

這一趨勢導致產業的集中化，因為只有少數幾家公司能夠承擔參與的費用。這引發了未來的核心政策問題——我們是否能接受所有領先的 AI 系統由一兩家公司控制的局面？這也限制了進展速度，這一點在研究社群中顯而易見，因為較小的實驗室無法承擔擴充功能實驗所需的計算資源。產業領導者們也多次提到這一點：

Meta 的 Joe Spisak：要真正理解 [模型] 架構的能力，你必須在規模上進行探索，我認為這正是目前生態系中所缺失的。如果你看看學術界——學術界有很多傑出的人才，但他們缺乏計算資源的訪問，這就成了一個問題，因為他們有這些偉大的想法，卻沒有真正以所需水準實現這些想法的途徑。

Together 的 Max Ryabinin：對昂貴硬體設備的需求給研究社群帶來了很大壓力。大多數研究人員無法參與大型神經網路開發，因為進行必要的實驗對他們而言成本過高。如果我們繼續通過擴大模型規模來增加其大小，最終能夠進行競

Google 的 Francois Chollet：我們知道大語言模型 (LLMs) 尚未實現通用人工智慧 (AGI)。與此同時，朝 AGI 發展的進展已經停滯。我們在大語言模型上所面臨的局限性與五年前面臨的局限性完全相同。我們需要新的想法和突破。我認為下一個突破很可能來自外部團隊，而所有大型實驗室則忙於訓練更大的大語言模型。一些人對這些擔憂持懷疑態度，認為硬體設備改進和雲端計算資本支出將解決這個問題。但這似乎不太現實。一方面，到本十年末，新一代 Nvidia 晶片的 FLOP 數量將大幅增加，可能達到今天 H100 的 10 倍。這將使每 FLOP 的價格下降 80-90%。同樣，預計到本十年末，總 FLOP 供應將增加約 20 倍，同時改善網路和相關基礎設施。所有這些都將提高每美元的訓練效率。

與此同時，總 FLOP 需求也將大幅上升，因為實驗室希望進一步擴大規模。如果持續十年的訓練計算趨勢保持不變，到 2030 年前沿訓練的 FLOPs 預計將達到約 2e29。進行這種規模的訓練大約需要 2000 萬個 H100 等效 GPU，依據目前的訓練運行時間和利用率。假設這一產業仍有多個前沿實驗室，總所需的 FLOPS 數量將會是這個數位的幾倍，因為整體供應將在它們之間分配。EpochAI 預測到那時我們需要大約 1 億個 H100 等效 GPU，約為 2024 年出貨量的 50 倍。SemiAnalysis 也做出了類似的預測，認為前沿訓練需求和 GPU 供應在此期間大緻同步成長。

產能狀況可能會因多種原因變得更加緊張。例如，如果製造瓶頸延遲了預計的出貨週期，這種情況是常有的事。或者如果我們未能生產足夠的能源來為數據中心供電。又或者如果我們在將這些能源來源連接到電網方面遇到困難。或者如果對資本支出的日益審查最終導致產業縮減規模，等等因素。在最好的情況下，我們目前的方法只能讓少數公司繼續推動研究的進展，而這可能還不夠。

顯然，我們需要一種新的方法。這種方法不需要不斷擴充功能數據中心、資本支出和能源消耗來尋找下一個突破，而是高效利用我們現有的基礎設施，能夠隨著需求的波動靈活擴充功能。這將讓研究中有更多實驗的可能，因為訓練運行不再需要確保億萬美元計算預算的投資報酬率。一旦擺脫這一限制，我們可以超越目前的大語言模型 (LLM) 模式，正如許多人所認為的，實現通用人工智慧 (AGI) 是必要的。為了理解這種替代方案可能呈現的樣子，我們可以從過去的分散式計算實踐中汲取靈感。

群體計算：簡史

SETI@home 在 1999 年普及了這一概念，允許數百萬參與者分析無線電信號，尋找外星智慧。SETI 從 Arecibo 望遠鏡收集電磁數據，將其分成若幹批次，並通過網路發送給使用者。使用者在日常活動中分析數據，並將結果發送回。使用者之間無需溝通，批次可以獨立審核，從而實現高度的並行處理。在其巔峰時刻，SETI@home 擁有超過 500 萬名參與者，處理能力超過當時最大的超級電腦。它最終於 2020 年 3 月關閉，但它的成功激勵了隨後的志願計算運動。

Folding@home 在 2000 年延續了這一理念，利用邊緣計算模擬阿爾茨海默病、癌症和帕金森病等疾病中的蛋白質折疊。志願者在個人電腦的空閒時間進行蛋白質模擬，幫助研究人員研究蛋白質如何錯誤折疊並導致疾病。在其歷史的不同時間段，其計算能力超過了當時最大的超級電腦，包括在 2000 年代後期和 COVID 期間，當時它成為第一個超過一 exaFLOPS 的分散式計算項目。自成立以來，Folding 的研究人員已發表超過 200 篇同行評審論文，每一篇都依賴於志願者的計算能力。

伯克利開放網路計算基礎設施 (BOINC) 在 2002 年普及了這一理念，提供了一個眾包計算平台，用於各種研究項目。它支持 SETI@home 和 Folding@home 等多個項目，以及在天體物理學、分子生物學、數學和密碼學等產業的新項目。到 2024 年，BOINC 列出了 30 個正在進行的項目，以及近 1,000 篇發表的科學論文，均利用其計算網路產生。

在科研產業之外，志願計算被用於訓練圍棋（LeelaZero、KataGo）和國際象棋（Stockfish、LeelaChessZero）等遊戲引擎。LeelaZero 通過志願計算從 2017 年到 2021 年進行訓練，使其能夠與自己下棋超過一千萬局，創造了今天最強的圍棋引擎之一。類似地，Stockfish 自 2013 年以來一直在志願網路上持續訓練，使其成為最受歡迎和最強大的國際象棋引擎之一。

關於深度學習的挑戰

但是我們能否將這一模型應用於深度學習？我們是否可以將世界各地的邊緣設備聯網，創建一個低成本的公共訓練集群？消費者硬體設備——從蘋果筆記本到 Nvidia 遊戲顯卡——在深度學習方面的性能越來越出色。在許多情況下，這些設備的性能甚至超過了數據中心顯卡的每美元性能。

然而，要有效利用這些資源在分散式環境中，我們需要克服各種挑戰。

首先，目前的分散式訓練技術假設節點之間存在頻繁的通訊。

目前最先進的模型已經變得如此龐大，以至於訓練必須被拆分到數千個 GPU 之間。這是通過多種並行化技術來實現的，通常是在可用的 GPU 之間拆分模型、數據集或同時拆分兩者。這通常需要高帶寬和低延遲的網路，否則節點將閒置，等待數據到來。

例如，分散式數據並行技術 (DDP) 將數據集分配到各個 GPU 上，每個 GPU 在其特定的數據片段上訓練完整的模型，然後共享其梯度更新，以生成各個步驟的新模型權重。這需要相對有限的通訊開銷，因為節點僅在每次反向傳播後共享梯度更新，並且集體通訊操作可以部分與計算重疊。然而，這種方法僅適用於較小的模型，因為它要求每個 GPU 在內存中儲存整個模型的權重、啟動值和優化器狀態。例如，GPT-4 在訓練時需要超過 10TB 的內存，而單個 H100 僅有 80GB。

為瞭解決這一問題，我們還使用各種技術對模型進行拆分，以便在 GPU 之間進行分配。例如，張量並行技術 (tensor parallelism)在單個層內拆分各個權重，使得每個 GPU 執行必要的操作並將輸出傳遞給其它的 GPU。這降低了每個 GPU 的內存需求，但需要它們之間進行持續的通訊往來，因此需要高帶寬、低延遲的連接以提高效率。

流水線並行技術 (pipeline parallelism) 將模型的層分配到各個 GPU 上，每個 GPU 執行其工作並與流水線中的下一個 GPU 共享更新。儘管這所需的通訊量比張量並行更少，但可能會出現「氣泡」（例如，空閒時間），在這種情況下，位於流水線後面的 GPU 會等待來自前面 GPU 的資訊，以便開始其工作。

為瞭解決這些挑戰，發展出各種技術。例如，ZeRO（零冗餘優化器）是一種內存優化技術，它通過增加通訊開銷來減少內存使用，從而使更大的模型能夠在特定設備上進行訓練。ZeRO 通過在 GPU 之間分割模型參數、梯度和優化器狀態來降低內存需求，但依賴於大量的通訊，以便設備能夠獲取分割的數據。它是流行技術如完全分片資料並行 (FSDP) 和 DeepSpeed 的基礎方法。

這些技術通常在大模型訓練中結合使用，以最大化資源的利用效率，這被稱為3D並行。在這種配置中，張量並行技術 (tensor parallelism) 通常用於在單個伺服器內將權重分配到各個 GPU 上，因為在每個被分割的層之間需要大量通訊。然後，流水線並行技術 (pipeline parallelism) 被用來在不同伺服器之間（但在數據中心的同一島嶼內）分配層，因為它所需的通訊量較少。接著，數據並行技術 (data parallelism) 或完全分片數據並行技術 (FSDP) 被用來在不同伺服器島嶼之間拆分數據集，因為它可以通過異步共享更新和/或壓縮梯度來適應更長的網路延遲。Meta 使用這種組合方法來訓練 Llama 3.1，如下面的圖示所示。

這些方法給去中心化訓練網路帶來了核心挑戰，這些網路依賴於通過（速度更慢且波動更大的）消費級網路連接的設備。在這種環境中，通訊成本很快就會超過邊緣計算帶來的收益，因為設備通常是空閒的，等待數據到達。以一個簡單的例子說明，分散式數據並行訓練一個具有 10 億參數的半精度模型，每個 GPU 在每個優化步驟中需要共享 2GB 的數據。以典型的網路帶寬（例如 1 千兆位每秒）為例，假設計算與通訊不重疊，傳輸梯度更新至少需要 16 秒，導致顯著的空閒。像張量並行技術 (tensor parallelism) 這樣的技術（需要更多的通訊）當然會表現得更糟。

其次，目前的訓練技術缺乏容錯能力。像任何分散式系統一樣，隨著規模的增加，訓練集群變得更容易發生故障。然而，這一問題在訓練中更加嚴重，因為我們目前的技術主要是同步的，這意味著 GPU 必須協同工作以完成模型訓練。成千上萬的 GPU 中單個 GPU 的故障會導致整個訓練過程停止，迫使其它 GPU 從頭開始訓練。在某些情況下，GPU 並不會完全故障，而是由於各種原因變得遲緩，進而減慢集群中成千上萬其它 GPU 的速度。考慮到當今集群的規模，這可能意味著數千萬到數億美元的額外成本。

Meta 在他們的 Llama 訓練過程中詳細闡述了這些問題，他們經歷了超過 400 次意外中斷，平均每天約 8 次中斷。這些中斷主要歸因於硬體設備問題，例如 GPU 或主機硬體設備故障。這導致他們的 GPU 利用率僅為 38-43%。OpenAI 在 GPT-4 的訓練過程中表現更差，僅為 32-36%，這也是由於訓練過程中故障頻繁。

換句話說，前沿實驗室們在完全優化的環境中（包括同質的、最先進的硬體設備、網路、電源和冷卻系統）進行訓練時，仍然難以達到 40% 的利用率。這主要歸因於硬體設備故障和網路問題，而在邊緣訓練環境中，這些問題會更加嚴重，因為設備在處理能力、帶寬、延遲和可靠性方面存在不均衡。更不用說，去中心化網路易受惡意行為者的侵害，他們可能出於各種原因試圖破壞整體項目或在特定工作負載上作弊。即使是純志願者網路 SETI@home，也曾出現過不同參與者的作弊現象。

第三，前沿模型訓練需要大規模的計算能力。雖然像 SETI 和 Folding 這樣的項目達到了令人印象深刻的規模，但與當今前沿訓練所需的計算能力相比，它們相形見絀。GPT-4 在一個由 20,000 個 A100 組成的集群上訓練，其峰值吞吐量為半精度的 6.28 ExaFLOPS。這比 Folding@home 在其峰值時的計算能力多出三倍。Llama 405b 使用 16,000 個 H100 進行訓練，峰值吞吐量為 15.8 ExaFLOPS，是 Folding 峰值的 7 倍。隨著多個實驗室計劃構建超過 100,000 個 H100 的集群，這一差距只會進一步擴大，每個集群的計算能力高達驚人的 99 ExaFLOPS。

這很有道理，因為 @home 項目是志願者驅動的。貢獻者捐贈了他們的內存和處理器週期，並承擔了相關成本。這自然限制了它們相對於商業項目的規模。

最近的進展

雖然這些問題在歷史上一直困擾著去中心化訓練工作，但它們似乎不再不可逾越。新的訓練技術已經出現，能夠減少節點間的通訊需求，從而在網路連接的設備上進行高效訓練。這些技術很多源自大型實驗室，它們希望為模型訓練增加更大的規模，因此需要跨數據中心的高效通訊技術。我們還看到了容錯訓練方法和加密激勵系統的進展，這些方法可以支持更大規模的訓練在邊緣環境中進行。

高效通訊技術

DiLoCo 是 Google 近期的研究，它通過在設備間傳遞更新的模型狀態之前進行本地優化，從而減少了通訊開銷。他們的方法（基於早期的聯邦學習研究）顯示出與傳統同步訓練相當的效果，同時節點之間的通訊量降低了 500 倍。此後，該方法已被其他研究者複製，並擴充功能至訓練更大模型（超過 10 億個參數）。它還擴充功能到非同步訓練，這意味著節點可以在不同時間共享梯度更新，而不是一次性共享所有更新。這更好地適應了處理能力和網路速度各異的邊緣硬體設備。

其它數據並行方法，如 lo-fi 和 DisTrO，旨在進一步減少通訊成本。Lo-fi 提出了完全本地微調的方法，這意味著節點獨立訓練，只在最後傳遞權重。這種方法在微調超過 10 億參數的語言模型時，性能與基準相當，同時完全消除了通訊開銷。在一份初步報告中，DisTrO 聲稱採用了一種新型的分散式優化器，他們認為可以將通訊需求降低四到五個數量級，儘管該方法尚待確認。

新的模型並行方法也已經出現，這使得實現更大的規模成為可能。DiPaCo（同樣來自 Google）將模型劃分為多個模塊，每個模塊包含不同的專家模塊，以便於特定任務的訓練。然後，訓練數據通過「路徑」進行分片，這些路徑是每個數據樣本對應的專家序列。給定一個分片，每個工作者幾乎可以獨立訓練特定的路徑，除了共享模塊所需的通訊，這部分由 DiLoCo 處理。這種架構將十億參數模型的訓練時間減少了超過一半。

SWARM 平行性和異質環境中基礎模型的去中心化訓練(DTFMHE) 也提出了模型並行的方法，以在異構環境中實現大模型訓練。SWARM 發現，隨著模型規模的增加，管道並行性通訊約束減小，這使得在較低的網路帶寬和更高的延遲下有效訓練更大模型成為可能。為了在異構環境中應用這一理念，他們在節點之間使用臨時「管道連接」，這些管道可以在每次疊代中即時更新。這允許節點將其輸出發送到任何下一個管道階段的對等節點。這意味著，如果某個對等節點比其它節點更快，或者任何參與者斷開連接，輸出可以動態重新路由，以保證訓練的持續進行，只要每個階段至少有一個活躍參與者。他們使用這種方法在低成本的異構 GPU 上訓練一個超過 10 億參數的模型，並且互連速度較慢（如下圖所示）。

DTFMHE 同樣提出了一種新穎的調度演算法，以及管道並行和數據並行，以在 3 個大洲的設備上訓練大型模型。儘管他們的網路速度比標準 Deepspeed 慢 100 倍，但他們的方法速度僅比在數據中心使用標準 Deepspeed 慢 1.7-3.5 倍。與 SWARM 類似，DTFMHE 顯示出隨著模型規模增大，通訊成本可以有效隱藏，即使在地理分布的網路中也同樣適用。這使得我們能夠通過各種技術克服節點之間較弱的連接，包括增加隱藏層的大小和每個管道階段增加更多層。

故障容錯

上述許多數據並行方法默認具有容錯能力，因為每個節點都在內存中儲存整個模型。這種冗餘通常意味著，即使其它節點出現故障，節點仍然可以獨立工作。這對於去中心化訓練非常重要，因為節點通常是不可靠的、異構的，甚至可能存在惡意行為。然而，如前所述，純數據並行方法僅適用於較小的模型，因此模型大小受到網路中最小節點內存容量的制約。

為瞭解決上述問題，一些人提出了適用於模型並行（或混合併行）訓練的容錯技術。SWARM 通過優先選擇延遲較低的穩定對等節點來應對對等節點故障，並在發生故障時重新路由管道階段的任務。其它方法，如 Oobleck，採用類似的方法，通過創建多個「管道模闆」來提供冗餘，以應對部分節點故障。儘管在數據中心進行了測試，Oobleck 的方法提供了強大的可靠性保證，這些保證同樣適用於去中心化環境。

我們還看到了一些新的模型架構（如去中心化混合專家模型( Decentralized Mixture of Experts, DMoE)），用於支援去中心化環境中的容錯訓練。與傳統的專家混合模型類似，DMoE 由多個獨立的「專家」網路組成，這些網路分布在一組工作者節點上。DMoE 使用分散式哈希表以去中心化方式追蹤和整合異步更新。該機制（在 SWARM 中也使用）對節點故障具有良好的抵抗力，因為如果某些節點失敗或未能及時響應，它可以將某些專家排除在平均計算之外。

規模化

最後，像比特幣和以太坊所採用的加密激勵系統可以幫助實現所需的規模。這兩個網路通過向貢獻者支付一種可以隨著採用成長而增值的本地資產來眾包計算。這個設計通過給予早期貢獻者豐厚獎勵來激勵他們，當網路達到最小可行規模後，這些獎勵可以逐步減少。

確實，這種機制存在各種陷阱，需要避免。其中最主要的陷阱是，過度激勵供給而未能帶來相應的需求。此外，如果基礎網路不夠去中心化，這可能引發監管問題。然而，當設計得當時，去中心化激勵系統可以在較長時間內實現可觀的規模。

例如，比特幣年電力消耗約為 150 太瓦時 (TWh)，這比目前構思中的最大AI 訓練集群的電力消耗高出兩個數量級之多（100,000 個 H100 全負荷運行一年）。作為參考，OpenAI 的 GPT-4 在 20,000 個A100 上進行了訓練，Meta 的旗艦 Llama 405B 模型在16,000 個H100 上進行了訓練。同樣，在其高峰期，以太坊的電力消耗大約為 70 TWh，分散在數百萬個 GPU 之間。即使考慮到未來幾年 AI 數據中心的快速成長，像這些激勵計算網路仍將多次超越其規模。

當然，並非所有計算都是可替換的，訓練相對於挖礦有獨特的需求，需要考慮。儘管如此，這些網路展示了通過這些機制可以實現的規模。

未來的道路

將這些部分聯系在一起，我們可以看到前進的新道路的開端。

很快，新的訓練技術將使我們能夠超出數據中心的限制，因為設備不再需要共同放置才能發揮作用。這將需要時間，因為我們目前的去中心化訓練方法仍處於較小規模，主要在 10 億到 20 億個參數的範圍內，比像 GPT-4 這樣的模型小得多。我們需要進一步的突破，以在不犧牲關鍵屬性（如通訊效率和容錯能力）的情況下提升這些方法的規模。或者，我們需要新的模型架構，這些架構與今天的大型單體模型有所不同——可能更小、更模塊化，在邊緣設備上運行，而非在雲端端

無論如何，可以合理地預期在這個方向上會有進一步的進展。我們目前方法的成本是不可持續的，這為創新提供了強烈的市場動力。我們已經看到這一趨勢，像 Apple 這樣的製造商正在構建更強大的邊緣設備，以便在本地運行更多的工作負載，而不是依賴雲端端。我們還看到對開源解決方案的支持不斷增加——甚至在像 Meta 這樣的公司內部，以促進更去中心化的研究與開發。這些趨勢隨著時間的推移只會加速。

與此同時，我們還需要新的網路基礎設施來連接邊緣設備，以便能夠這樣使用它們。這些設備包括筆記本電腦、遊戲台式機，最終甚至可能是擁有高性能顯卡和大內存的手機。這將使我們能夠構建一個「全球集群」，低成本、始終線上的計算能力，可以並行處理訓練任務。這也是一個具有挑戰性的問題，需要在多個產業取得進展。

我們需要更好的調度技術來在異構環境中進行訓練。目前沒有任何方法可以自動並行化模型以達到優化，特別是在設備可以隨時斷開或連接的情況下。這是優化訓練的關鍵下一步，同時保留基於邊緣網路的規模優勢。

我們還必須應對去中心化網路的一般複雜性。為了最大化規模，網路應該構建為開放協議——一套標準和指令，規定參與者之間的互動，就像 TCP/IP 而是用於機器學習計算。這將使任何遵循特定規範的設備能夠連接到網路，無論擁有者和位置。它還確保網路保持中立，允許使用者訓練他們喜歡的模型。

雖然這實現了規模最大化，但它也需要一個機制來驗證所有訓練任務的正確性，而不依賴於單一實體。這一點至關重要，因為存在固有的作弊誘因——例如，聲稱自己完成了某個訓練任務以獲得報酬，但實際上並沒有做到。考慮到不同設備通常以不同方式執行機器學習操作，這使得使用標準複製技術變得難以驗證正確性，因此這尤其具有挑戰性。正確解決這個問題需要在密碼學和其它學科上進行深入研究。

幸運的是，我們在所有這些方面都繼續看到進展。與過去幾年相比，這些挑戰似乎不再不可逾越。與機會相比，它們也顯得相當微小。Google 在他們的 DiPaCo 論文中對此進行了最佳總結，指出去中心化訓練有潛力打破的負回饋機制：

分散式訓練機器學習模型的進展可能促進基礎設施的簡化建設，最終導致計算資源的更廣泛可用。目前，基礎設施是圍繞訓練大型單體模型的標準方法而設計的，同時機器學習模型的架構也旨在利用目前的基礎設施和訓練方法。這種回饋循環可能使社群陷入一個誤導性的局部最小值，即計算資源的限制超過了實際需要。

也許最令人興奮的是，研究界對解決這些問題的熱情日益高漲。我們在 Gensyn 的團隊正在構建上述網路基礎設施。像 Hivemind 和 BigScience 這樣的團隊在實踐中應用了許多這些技術。像 Petals、sahajBERT 和 Bloom 這樣的項目展示了這些技術的能力，以及對基於社群的機器學習日益成長的興趣。還有許多其它人也在推動研究進展，目標是建立一個更開放、更協作的模型訓練生態系。如果您對這項工作感興趣，請與我們聯繫以參與其中。

【免責聲明】市場有風險，投資需謹慎。本文不構成投資建議，使用者應考慮本文的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

本文經授權轉載自：《深潮 TechFlow》
原文作者：Jeff Amico

深度研究！想靠加密獎勵眾籌一個AI模型，真的可行嗎？