科技企業陸續發表生成式 AI 工具，繼微軟、 Google 之後，公共雲平台龍頭 AWS 終於回應。 AWS 新發表語言模型 Titan 、自訂語言模型工具 Bedrock ，以及新增訓練模型的執行個體 Trn1n 和生成式程式碼工具 CodeWhisperer 。
AWS 的語言模型 Titan 為基礎模型，現時包括兩個大型語言模型。第一個模型針對總結、生成文本、分類、開放式問答和資訊擷取等任務。第二個是嵌入文本（embeddings）大型語言模型，能夠將輸入的文本翻譯成包含語義的嵌入編碼。
AWS 未有提供這些預先訓練的語言模型資料，如參數、訓練數據量等。實際上，這正是 Amazon.com 產品搜尋所用的同類技術，幫助客戶尋找所需的商品。AWS 亦強調其生成式 AI 對個性化推薦和搜尋等程式有重要作用，編碼幫助模型產生更相關、更符合情境的結果。
而 Bedrock 是從基礎模型建立生成式 AI 的服務，主要讓企業容易自訂模型，又保障私隱和數據安全。 Bedrock 可透過 API 存取多個大型語言模型，開發生成 AI：
- AI21 Labs 的 Jurassic-2：用自然語言指令生成文本內容，目前支援西班牙語、法語、德語、葡萄牙語、義大利語和荷蘭語。
- Anthropic 的 Claude：為 Google 投資的 AI 創業公司，以誠實和負責任的 AI 系統執行多種對話和文本處理任務。
- Stability AI 的 Stable Diffusion：為目前較熱門的文字生成圖像模型。
Bedrock 以無伺服器服務方式，企業自訂適合業務需要的模型，通過 Amazon S3 標註好的資料範例，甚至可少至 20 個範例，建立針對特定任務微調模型。例如內容營銷經理以過去的營銷廣告案例，加上新產品描述，透過 Bedrock 就能自動生成有效的社交平台內容、產品網頁等。整個過程在虛擬私有雲內處理，確保料資安全和保護私隱。 Bedrock 目前提供有限預覽，只向部分客戶開放，數月內將進一步擴充可用範圍。
新執行個體 Trn1n 、 Inf2 正式可用
AWS 亦新增執行個體 Trn1n 用於訓練模型。這執行個體專為大型網絡密集型模型設計，採用該公司自行開發的訓練晶片 Trainium ，較 Trn1 的 800Gbps 頻寬多 1 倍至 1,600Gpbs ，效能比 Trn1 高 20% 。
同時將去年 re:Invent 發表的推論執行個體 Inf2 正式可用。 Inf2 採用 AWS 研發的推論晶片 Inferentia2 ，為數千億參數級別的模型作優化，較上一代執行個體提高傳送量 4 倍，降低 10 倍時延，推論的成本效益提升 40%。
CodeWhisperer 內建掃描程式碼安全
生成程式碼是大型語言模型支援的重要功能，AWS 在 Amazon re:MARS 2022 已發表類似的 AI 助理 CodeWhisperer，一直只在預覽階段，如今正式開放給所有用戶。 CodeWhisperer 內嵌基礎模型，支援 10 種開發語言，如 Python、Java、PHP、SQL 等 10 種語言，在 VS Code、IntelliJ IDEA、AWS Cloud9 等開發平台通過 AWS Toolkit IDE 外掛程式使用。
AWS 在預覽期間作生產力測試，使用 CodeWhisperer 的開發人員完成任務的速度平均快 57%，成功率高 27%。CodeWhisperer 較其他生成程式碼助理的不同之處，在於內建安全掃描功能，自動尋找難以檢查的漏洞，提出修改建議。例如十大開放式 Web 應用程式安全專案（OWASP）中的漏洞，以及不符合加密庫最佳實踐的漏洞等。CodeWhisperer 會過濾可能被認為有偏見或不公平的程式碼建議。
該服務已開放給個人用戶免費使用，不設使用次數和時間限制。同時提供 CodeWhisperer 專業版加入高級管理功能，如整合 AWS IAM、更高程度的安全掃描。
