電子科技 ServiceNow、Hugging Face 和 NVIDIA 共同推出全新開放式大型語言模型

soothepain

full loading
已加入
9/17/03
訊息
20,703
互動分數
1,913
點數
113
網站
www.coolaler.com
協助開發人員利用生成式AI構建企業應用

由BigCode社群創建並在600多種程式語言上進行訓練的StarCoder2,
推動了程式碼生成、透明度、治理和創新

ServiceNow(NYSE: NOW)、Hugging Face和NVIDIA今天宣布推出StarCoder2,這是一系列開放存取的大型語言模型,用於程式碼生成,為效能、透明度和成本效益方面設立了新標準。

nvidia02291.jpg


StarCoder2是與BigCode社群合作開發,該社群由ServiceNowHugging Face管理,ServiceNow是領先的數位工作流程公司,致力於讓全球工作變得更加順暢,而Hugging Face則是最常用的開源平台,機器學習社群在該平台上共同協作開發模型、資料集和應用。

StarCoder2經過619種程式語言的訓練,可以進一步在企業應用中進行訓練和嵌入,執行特定任務,例如應用原始程式碼生成、工作流程生成、文章摘要等等。開發人員可以利用其程式碼自動完成、先進程式碼摘要、程式碼片段擷取等功能,加速創新並提高生產力。

StarCoder2提供三種模型大小:由ServiceNow訓練的30億參數模型;Hugging Face訓練的70億參數模型;以及由NVIDIA使用NVIDIA NeMo構建並在NVIDIA加速基礎設施上進行訓練的150億參數模型。較小的變體在提供強大效能的同時,也節省了運算成本,因為較少的參數在推論過程中需要更少的運算。事實上,新的30億參數模型與原始StarCoder 的150億參數模型的效能相當。

ServiceNow的StarCoder2開發團隊負責人暨BigCode聯合負責人Harm de Vries強調:「StarCoder2證明了開放科學協作和負責任的人工智慧(AI)實踐與道德資料供應鏈的綜合力量。最先進的開放存取模型改善了先前的生成式AI效能,以提高開發人員的生產力,並為開發人員提供平等的機會享受程式碼生成AI的好處,這也進一步使任何規模的組織能更輕鬆地達成其完整的業務潛力。」

Hugging Face機器學習工程師暨BigCode 聯合負責人Leandro von Werra 表示:「在Hugging Face、ServiceNow和NVIDIA的共同努力下,我們得以推出強大的基礎模型,使社群能夠在資料和訓練的完全透明化的情況下,更有效率地建立各種應用。隨著我們努力實現負責任的AI民主化,StarCoder2證明了開源和開放科學的潛力。」

NVIDIA應用研究副總裁Jonathan Cohen表示:「由於每個軟體生態系統都有專有的程式語言,因此程式碼大型語言模型可以推動各產業在效率和創新的突破。NVIDIA與ServiceNow和Hugging Face的合作導入了安全、負責任的開發模型,並支持更廣泛取得負責任的生成式AI,我們相信這將使全球社群受益。」


StarCoder2 模型增強客製化應用開發

StarCoder2模型採用最先進的架構,並使用來自BigCode精心整合的資料源,優先考慮透明度和開放治理,以實現大規模負責任的創新。

StarCoder2提升了未來AI驅動的程式碼應用潛力,包括從文字轉程式碼和文字轉工作流程等功能。透過更廣泛、更深入的程式設計訓練,它為儲存庫提供上下文,從而實現準確且由情境感知的預測行為。這些先進功能也適用於經驗豐富的軟體工程師和公民開發者,加速商業價值和數位轉型。

StarCoder2的基礎是一個名為 Stack v2的新程式碼資料集,它比Stack v1大7倍以上。除了先進資料集之外,新的訓練技術還可以幫助模型理解低資源程式語言(例如 COBOL)、數學和程式原始碼討論。


利用特定業務資料微調進階功能

使用者可以使用NVIDIA NeMo或Hugging Face TRL等開源工具,根據產業或組織特定的資料對開放式的StarCoder2模型進行微調。他們可以創建先進聊天機器人來處理更複雜的摘要或分類任務,開發個人化的程式設計助手來快速輕鬆地完成程式設計任務,檢索相關程式碼片段,並啟用文字轉工作流程的功能。

組織已經開始微調StarCoder基礎模型,為其業務創建專門的任務特定功能。

ServiceNow的文字轉程式碼Now LLM建置在具有150億參數的StarCoder大型語言模型的專門版本上,並針對其工作流程模式、用例和流程進行微調和訓練。Hugging Face也使用該模型創建StarChat助手。


BigCode促進AI領域的開放科學合作

BigCode代表了由Hugging Face和ServiceNow領導的開放式科學合作,致力於負責任地開發用於程式碼的大型語言模型。

BigCode社群透過工作小組和任務小組積極參與StarCoder2計畫的技術工作,利用ServiceNow的 Fast LLM框架訓練30億參數模型、Hugging Face的nanotron框架訓練70億參數模型,以及NVIDIA NeMo雲原生框架和NVIDIA TensorRT-LLM 軟體來訓練和最佳化150億參數模型。

促進負責任的創新是BigCode的核心宗旨,BigCode開放治理、透明供應鏈、開源軟體的使用,以及開發人員具備從訓練中排除特定資料的能力都體現了這一點。StarCoder2是在Inria託管的Software Heritage數位共享授權下使用來源可靠的資料進行建構。

Software Heritage總監Roberto Di Cosmo表示:「StarCoder2是第一個使用Software Heritage 原始碼存檔開發的程式碼生成AI模型,其建立符合我們負責任地開發用於程式碼模型的政策。ServiceNow、Hugging Face 和 NVIDIA 的合作體現了對道德 AI 開發的共同承諾,推動技術進步以造福社會更多的人。」

StarCoder2與其前身都在BigCode Open RAIL-M許可下提供,允許免版稅存取和使用。為了進一步促進透明度和協作,該模型的支援程式碼將繼續存放在BigCode專案的GitHub頁面上。

所有StarCoder2模型也可從Hugging Face下載,且StarCoder2的150億參數模型可在NVIDIA AI Foundation 模型上獲得,供開發人員直接從瀏覽器或透過API端點進行實驗。

欲了解更多有關 StarCoder2 的相關訊息,請參考:bigcode (BigCode)
 
▌延伸閱讀