首頁 Biz.IT 企業應用 AWS 生成式 AI 追加基礎模型 Bedrock 增圍欄訓練負責任 AI

AWS 生成式 AI 追加基礎模型 Bedrock 增圍欄訓練負責任 AI

aws_reinvent_2023_03_02

AWS 在生成式 AI 模型託管服務 Bedrock 和機械學習管理服務 SageMaker 加設多項新功能,包括擴充基礎模型 Titan 的生成文字和圖像、 RAG 自訂模型、微調模型,以至 Guardrials 圍欄功能保護生成內容等,讓企業按業務需求自訂或調整模型,生成合適的內容幫助日常營運。

AWS 數據和機械學習全球副總裁 Swami Sivasubramanian 稱,生成式 AI 發展迅速, AWS 提供平台讓企業選擇合適的方法引入技術,從訓練模型的基建、基礎模型、調整模型的方式,甚至預備數據訓練等,協助企業用屬於自己的數據簡易地建立生成式 AI 工具。

Swami Sivasubramanian 表示, Bedrock 提基礎模型讓企業選擇,再建立適合其用途的生成式 AI 應用程式。

Bedrock 引入多個基礎模型供企業直接使用或微調至合適可用:

  • Titan Multimodal Embeddings:將圖像和短文本轉換為 embedding 數字形式表示,使模型能夠理解語義和資料之間的關係,用戶可以使用圖像和文本提示搜尋查詢。
  • Titan Image Generator:使用自然語言提示生成圖像,圖像會嵌入隱形浮水印,識別為 AI 生成檔案。
  • Anthropic Claude 2.1:支援解讀 20 萬字詞,開放式對話的錯誤陳述減少 50% ,錯誤陳述率減少一半。
  • Meta Llama 2 70B:Llama 2 的 700 億參數模型,較同系 130 億參數模型大兩倍以上,可經指令資料集和超過 100 萬條人工注釋作微調,設定合適的對話環境。

AWS 生成式 AI 副總裁 Vasi Philomin 補充,單一基礎模型不足以應付企業各類型的需求,因此與業界合作在 Bedrock 上提供不同種類的模型,加上 Amazon Titan 模型,企業可按其情況選用合適的工具。而建立生成式 AI 應用程式的關鍵,在於企業應運用自己的數據訓練自訂模型。

AWS 提供十多個基礎模型,讓企業建立自訂模型。除了自建的 Titan 系列,還有其他合作夥伴。

Bedrock 還設有自訂模型功能,包括微調模型和 RAG(retrieval augmented generation),讓企業使用內部數據結合基礎模型生成具公司風格、更相關的內容。微調模型使用標記資料集調整模型參數,使符合業務需求,將已掌握的知識擴展到企業使用的詞彙庫。先在 Bedrock 上複製模型,結合 S3 的標記示例,成為微調模型。

微調模型將基礎模型結合 S3 標記示例。

RAG 以專用資料補充現有模型可獲得更準確的回應。 RAG 從文件儲存庫、數據庫和 API 等來源獲取資料。為加快提取文本數據, AWS 將為旗下數據庫服務加入向量引擎,包括 OpenSearch 、 Pinecone 和 Redis Enterprise Cloud ,稍後支援 Aurora 和 MongoDB 。

RAG 用企業內部數據與基礎模型,配合特定提示詞生成內容。

AWS 關聯數據庫副總裁 Jeff Carter 稱,長遠目標為所有數據庫服務支援向量功能,任何數據都能以語意搜尋內容,為生成式 AI 提供自訂基礎。

SageMaker 則加入多個訓練模型功能,配合 Bedrock 的微調模型和 RAG :

  • SageMaker HyperPod:透過大規模分散式訓練提供基礎設施,將訓練基礎模型的時間縮短最多 40%。
  • SageMaker Inference:使用優化加速器將基礎模型部署成本平均降低 50%,時延平均降低 20%。
  • SageMaker Clarify:根據負責任 AI 的參數快速評估和選擇基礎模型。
  • SageMaker Canvas:使用自然語言指令加速準備資料,點擊幾下可使用基礎模型。

負責任 AI 是企業引入 AI 技術時最關心的問題。AWS AI 倫理高級實務經理 Diya Wynn​​ 指出,從近年的機械學習到現時的生成式 AI ,對負責任 AI 的要求已大有不同,前者講求私隱,後者在此之上還加上避免數據外洩、知識產權等。 AWS 所發表的負責任 AI 政策涵蓋這些範圍,尤其 Bedrock 其中之一的承諾,不會利用企業客戶的數據訓練 AI 模型。他強調:「負責任 AI 的基礎正是信任,企業方可放心地運用技術。」

Bedrock 又新增 Guardrails 圍欄功能預覽版,給企業為生成式 AI 應用程式實施保護措施。設定圍欄時,用自然語言描述定義、不應出現的話題,以及可以配置仇恨言論、侮辱、性語言和暴力的門檻值,過濾有害內容至企業可接受的水平。 Guardrails 圍欄功能明年將會升級,客戶於 2024 年初可以編輯模型回應中的個人身分資訊( PII )、設置髒話篩檢程式,並提供自訂單字清單來阻止用戶和模型之間的互動。Guardrails 還可自動評估用戶查詢和模型回應,防止出現屬於受限類別的內容。

AWS 在 re:Invent 展覽區示範多個生成式 AI 項目,包括 PartyRock 和飛行器檢驗環境。PartyRock 為生成式 AI 的試玩工具,用生成技術建立程式。用戶輸入程式用途,如建議晚餐食譜,系統便會自動生成介面,可以輸入食材、菜式、烹調時間的關鍵字隨即產生食譜。這項目讓一般用戶都能試用生成式 AI 的能力。

PartyRock 讓用戶試用生成式 AI 建立應用程式。

飛行器檢驗環境為現時大行其道的方案,不過需要專門技能控制飛行器。 AWS 利用生成式 AI 和邊緣運算技術,讓不懂控制飛行器的檢驗人員通過文字指令,著飛行器飛到指定位置。配合傳統機械學習的電腦視覺模型檢驗。

用生成式 AI 建立的對話機械人控制飛行器,毋須學習都能操作。
用文字輸入指令指示飛行器移動。

最新影片

Exit mobile version