AWS 在生成式 AI 模型託管服務 Bedrock 和機械學習管理服務 SageMaker 加設多項新功能，包括擴充基礎模型 Titan 的生成文字和圖像、 RAG 自訂模型、微調模型，以至 Guardrials 圍欄功能保護生成內容等，讓企業按業務需求自訂或調整模型，生成合適的內容幫助日常營運。

AWS 數據和機械學習全球副總裁 Swami Sivasubramanian 稱，生成式 AI 發展迅速， AWS 提供平台讓企業選擇合適的方法引入技術，從訓練模型的基建、基礎模型、調整模型的方式，甚至預備數據訓練等，協助企業用屬於自己的數據簡易地建立生成式 AI 工具。

Bedrock 引入多個基礎模型供企業直接使用或微調至合適可用：

• Titan Multimodal Embeddings：將圖像和短文本轉換為 embedding 數字形式表示，使模型能夠理解語義和資料之間的關係，用戶可以使用圖像和文本提示搜尋查詢。
• Titan Image Generator：使用自然語言提示生成圖像，圖像會嵌入隱形浮水印，識別為 AI 生成檔案。
• Anthropic Claude 2.1：支援解讀 20 萬字詞，開放式對話的錯誤陳述減少 50% ，錯誤陳述率減少一半。
• Meta Llama 2 70B：Llama 2 的 700 億參數模型，較同系 130 億參數模型大兩倍以上，可經指令資料集和超過 100 萬條人工注釋作微調，設定合適的對話環境。

AWS 生成式 AI 副總裁 Vasi Philomin 補充，單一基礎模型不足以應付企業各類型的需求，因此與業界合作在 Bedrock 上提供不同種類的模型，加上 Amazon Titan 模型，企業可按其情況選用合適的工具。而建立生成式 AI 應用程式的關鍵，在於企業應運用自己的數據訓練自訂模型。

Bedrock 還設有自訂模型功能，包括微調模型和 RAG（retrieval augmented generation），讓企業使用內部數據結合基礎模型生成具公司風格、更相關的內容。微調模型使用標記資料集調整模型參數，使符合業務需求，將已掌握的知識擴展到企業使用的詞彙庫。先在 Bedrock 上複製模型，結合 S3 的標記示例，成為微調模型。

RAG 以專用資料補充現有模型可獲得更準確的回應。 RAG 從文件儲存庫、數據庫和 API 等來源獲取資料。為加快提取文本數據， AWS 將為旗下數據庫服務加入向量引擎，包括 OpenSearch 、 Pinecone 和 Redis Enterprise Cloud ，稍後支援 Aurora 和 MongoDB 。

AWS 關聯數據庫副總裁 Jeff Carter 稱，長遠目標為所有數據庫服務支援向量功能，任何數據都能以語意搜尋內容，為生成式 AI 提供自訂基礎。

SageMaker 則加入多個訓練模型功能，配合 Bedrock 的微調模型和 RAG ：

• SageMaker HyperPod：透過大規模分散式訓練提供基礎設施，將訓練基礎模型的時間縮短最多 40%。
• SageMaker Inference：使用優化加速器將基礎模型部署成本平均降低 50%，時延平均降低 20%。
• SageMaker Clarify：根據負責任 AI 的參數快速評估和選擇基礎模型。
• SageMaker Canvas：使用自然語言指令加速準備資料，點擊幾下可使用基礎模型。

負責任 AI 是企業引入 AI 技術時最關心的問題。AWS AI 倫理高級實務經理 Diya Wynn​​ 指出，從近年的機械學習到現時的生成式 AI ，對負責任 AI 的要求已大有不同，前者講求私隱，後者在此之上還加上避免數據外洩、知識產權等。 AWS 所發表的負責任 AI 政策涵蓋這些範圍，尤其 Bedrock 其中之一的承諾，不會利用企業客戶的數據訓練 AI 模型。他強調：「負責任 AI 的基礎正是信任，企業方可放心地運用技術。」

Bedrock 又新增 Guardrails 圍欄功能預覽版，給企業為生成式 AI 應用程式實施保護措施。設定圍欄時，用自然語言描述定義、不應出現的話題，以及可以配置仇恨言論、侮辱、性語言和暴力的門檻值，過濾有害內容至企業可接受的水平。 Guardrails 圍欄功能明年將會升級，客戶於 2024 年初可以編輯模型回應中的個人身分資訊（ PII ）、設置髒話篩檢程式，並提供自訂單字清單來阻止用戶和模型之間的互動。Guardrails 還可自動評估用戶查詢和模型回應，防止出現屬於受限類別的內容。

AWS 在 re:Invent 展覽區示範多個生成式 AI 項目，包括 PartyRock 和飛行器檢驗環境。PartyRock 為生成式 AI 的試玩工具，用生成技術建立程式。用戶輸入程式用途，如建議晚餐食譜，系統便會自動生成介面，可以輸入食材、菜式、烹調時間的關鍵字隨即產生食譜。這項目讓一般用戶都能試用生成式 AI 的能力。

飛行器檢驗環境為現時大行其道的方案，不過需要專門技能控制飛行器。 AWS 利用生成式 AI 和邊緣運算技術，讓不懂控制飛行器的檢驗人員通過文字指令，著飛行器飛到指定位置。配合傳統機械學習的電腦視覺模型檢驗。

最新影片