Amazon Bedrock 常見問答集

Amazon Bedrock 代理程式是完全受管的功能，可讓開發人員更輕鬆地建立以生成式 AI 為基礎的應用程式，這些應用程式可針對各種使用案例完成複雜的工作，並根據專有知識來源提供最新答案。您無需進行任何手動編碼，只需執行幾個簡短步驟，Amazon Bedrock 代理程式就會自動分解任務並建立協同運作計畫。該代理程式透過 API 安全地連線至公司資料，自動將資料轉換為機器可讀的格式，並使用相關資訊增強請求以產生準確的回應。然後，代理程式可以自動呼叫 API 來回應使用者的請求。例如，製造公司可能希望開發一種生成式 AI 應用程式，該應用程式可以自動追蹤庫存水平、銷售資料、供應鏈資訊，以及建議最佳的再訂購時間點和數量，從而最大化效率。作為全受管的功能，Amazon Bedrock 代理程式消除了管理系統整合和基礎設施佈建這些無差別的繁重工作，讓開發人員能夠在整個組織中充分利用生成式 AI。

您可以使用 Amazon Bedrock 代理程式，將基礎模型安全地連線至貴公司的資料來源。藉助知識庫，您可以使用代理程式授予 Amazon Bedrock 中基礎模型額外的資料存取權，以協助模型產生更相關、內容特定且準確的回應，而無需持續重新訓練 基礎模型。代理程式會根據使用者輸入識別相應的知識庫，擷取相關資訊，並將資訊新增到輸入提示中，為模型提供更多上下文資訊以產生完整的輸出。

Amazon Bedrock 的代理程式可協助您提高工作效率、改善客戶服務體驗，並自動化工作流程 (例如處理保險理賠)。

藉助代理程式，開發人員無需編寫自訂程式碼亦可無縫支援監控、加密、使用者許可、版本控制和 API 調用管理。Amazon Bedrock 代理程式可以自動化使用者請求任務的提示詞工程和協同運作。開發人員可以使用代理程式建立的提示範本作為基準，進一步精簡，以提升使用者體驗。他們可以更新使用者輸入、協同運作計劃和 FM 回應。透過存取提示範本，開發人員可以更好地控制代理程式協同運作。

藉助全受管的代理程式，您不必操心佈建或管理基礎設施，可以更快地將應用程式投入生產。

由 Amazon Bedrock 處理的任何您的內容都會加密並儲存在您使用 Amazon Bedrock 的 AWS 區域中。

不會。使用者輸入和模型輸出不會與任何模型供應商共用。

Amazon Bedrock 提供多種功能來支援安全和隱私要求。Amazon Bedrock 符合 Fedramp Moderate、服務機構控管 (SOC)、國際標準組織 (ISO)、美國健康保險流通與責任法案 (HIPAA) 等一般合規標準，客戶可以按照一般資料保護規範 (GDPR) 使用 Bedrock。Amazon Bedrock 包含在 SOC 1、2、3 報告的範圍內，讓客戶可以深入了解我們的安全控制。我們透過大規模的 AWS 控制第三方稽核來證明合規性。Amazon Bedrock 是符合 ISO 的 AWS 服務之一，該服務符合 ISO 9001、ISO 27001、ISO 27017、ISO 27018、ISO 27701、ISO 22301 和 ISO 20000 標準。Amazon Bedrock 已通過 CSA 安全信任保障及風險 (STAR) 第 2 級認證，可驗證 AWS 雲端產品對最佳實務的使用及安全狀態。使用 Amazon Bedrock 時，您的內容不會用於改善基本模型，也不會與任何模型供應商共用。您可以使用 AWS PrivateLink 建立從 Amazon VPC 到 Amazon Bedrock 的私有連線，而無需將資料暴露給網際網路流量。

不會。AWS 和第三方模型供應商不會使用 Amazon Bedrock 的任何輸入或輸出來訓練 Amazon Titan 或任何第三方模型。

Amazon Bedrock 支援執行時期服務的軟體開發套件。iOS 和 Android SDK，以及 Java、JS、Python、CLI、.Net、Ruby、PHP、Go 和 C++ 都支援文字和語音輸入。

所有軟體開發套件都支持串流。

請參閱 Amazon Bedrock 定價頁面了解最新的定價資訊。

按照您簽訂的 AWS Support 合約，可根據開發人員支援、商業支援和企業支援計劃支援 Amazon Bedrock。

您可以使用 CloudWatch 指標來追蹤輸入和輸出 Token。

我們針對 Amazon Titan Text Express 和 Amazon Bedrock 上的 Amazon Titan 模型推出持續預先訓練。持續預先訓練可讓您使用大量未標記資料在 Amazon Titan 基礎模型上持續預先訓練。這種類型的訓練將使模型從一般領域語料庫適應更具體的領域語料庫，例如醫學、法律、金融等，同時仍保留 Amazon Titan 基本模型的大部分功能。 

企業可能希望為特定領域中的任務建置模型。可能不會就該特定領域中使用的技術行話訓練基本模型。因此，直接微調基本模型需要大量標記的訓練記錄和較長的訓練時間才能獲得準確的結果。為了減輕這種負擔，客戶可以轉而為持續預先訓練任務提供大量未標記的資料。此任務將使 Amazon Titan 基本模型適應新領域。然後，客戶可以使用標籤明顯更少的訓練記錄且以較短的訓練持續時間將新預先訓練的自訂模型微調到下游任務。 

Amazon Bedrock 持續預先訓練和微調的要求非常相似。因此，我們選擇建立統一的 API，支援持續預先訓練和微調。API 的統一可減少學習曲線，並幫助客戶使用標準功能，例如用於追蹤長期執行之任務的 Amazon EventBridge、用於擷取訓練資料的 Amazon S3 整合、資源標籤和模型加密。 

持續預先訓練可幫助您將 Amazon Titan 模型適應領域特定的資料，同時仍保留 Amazon Titan 模型的基本功能。若要建立持續預先訓練任務，請瀏覽至 Amazon Bedrock 主控台，然後按一下「自訂模型」。 您將導覽至具有兩個索引標籤的自訂模型頁面：模型和訓練任務。兩個索引標籤的右側都提供「自訂模型」下拉式功能表。從下拉式功能表選取「持續預先訓練」以瀏覽至「建立持續預先訓練任務」。 您將提供來源模型、名稱、模型加密、輸入資料、超參數及輸出資料。此外，您可以為該任務提供標籤以及有關 AWS Identity and Access Management (IAM) 角色和資源政策的詳細資訊。

Amazon Titan 系列模型為 Amazon Bedrock 所獨有，融合了 Amazon 在 25 年期間各業務部門的 AI 和機器學習創新經驗。Amazon Titan FM 透過全受管的 API，為客戶提供豐富的高效能影像、多模態和文字模型選擇。Amazon Titan 模型由 AWS 建立並在大型資料集上進行預先訓練，是強大的通用模型，並可支援各種使用案例以及負責任的 AI 使用。按原樣使用它們或使用您自己的資料私下自訂。進一步了解 Amazon Titan。

若要進一步了解開發和訓練 Amazon Titan FM 所處理的資料，請瀏覽 Amazon Titan 模型訓練與隱私權。

支援的資料格式包括 .pdf、.txt、.md、.html、.doc 和 .docx、.csv、.xls 和 .xlsx 檔案。檔案必須上傳至 Amazon S3。指出資料在 Amazon S3 中的位置，Amazon Bedrock 知識庫就會負責將整個擷取工作流程移至向量資料庫。

在 Amazon Bedrock 知識庫將文字轉換為內嵌項目之前，其提供三個將文字分塊的選項。 

1.  預設選項：Amazon Bedrock 知識庫會自動將文件分割成多個區塊，每個區塊包含 200 個權杖，確保不會從中間斷開句子。如果文件中包含的權杖數少於 200 個，則不會進一步分割。兩個連續區塊之間保持 20％ 的權杖重疊。

2.  固定大小區塊化：在該選項中，您可以指定每個區塊的最大權杖數和 Amazon Bedrock 知識庫區塊之間的重疊百分比，讓您的文件自動分割成多個區塊，確保不會從中間斷開句子。 

3.  每個文件建立一個內嵌項目選項：Amazon Bedrock 會為每個文件建立一個內嵌項目。如果已透過將文件分割成單獨的檔案進行預先處理，並且不希望 Amazon Bedrock 將文件進一步分塊，則該選項適用。

目前，Amazon Bedrock 知識庫使用 Amazon Bedrock 中提供的最新版 Amazon Titan 文本嵌入模型。Titan Text Embeddings V2 模型支援 8,000 個權杖和 100 種以上的語言，並能建立 256、512 和 1,024 等多種維度的嵌入。 

Amazon Bedrock 知識庫負責處理整個擷取工作流程：將文件轉換為內嵌項目 (向量)，並將內嵌項目儲存在專門的向量資料庫中。  Amazon Bedrock 知識庫支援向量儲存的熱門資料庫，包括 Amazon OpenSearch Serverless 的向量引擎、Pinecone、Redis Enterprise Cloud、Amazon Aurora (即將推出) 和 MongoDB (即將推出)。如果您尚未擁有現有的向量資料庫，Amazon Bedrock 會為您建立 OpenSearch Serverless 向量存放區。

根據您的使用案例，您可以使用 Amazon EventBridge 在 Amazon S3 與 Amazon Bedrock 知識庫之間建立定期或事件驅動的同步。

使用 Amazon Bedrock 上的模型評估，只要幾個簡短步驟即可評估、比較使用案例並為其選擇最佳 FM。Amazon Bedrock 提供自動評估和人工評估選項。您可以使用具有準確性、穩健性和毒性等預先定義指標的自動評估。您可以使用人為評估工作流程來進行主觀或自訂指標，例如親切、風格，以及與 Brand Voice 的一致性。對於人工評估，您可以使用內部員工或由 AWS 管理的團隊作為檢閱者。Amazon Bedrock 上的模型評估提供內建策劃資料集，您也可以使用自有資料集。

您可以使用自動評估來評估各種預先定義的指標，例如準確性、穩健性和毒性。您還可以使用人工評估工作流程來評估主觀或自訂指標，例如親和性、相關性、風格，以及與 brand voice 的一致性。

您可以透過自動評估根據標準條件 (例如準確性、毒性和穩健性) 快速縮小可用 FM 清單的範圍。人工評估通常用於評估更細微或主觀的條件，這些條件需要人為判斷，並且可能不存在自動評估 (例如品牌語音、創意意圖、親和性)。

您可以利用策劃的內建資料集或者使用自有提示資料集，就準確性、穩健性和毒性等指標快速評估 Amazon Bedrock 模型。將提示資料集傳送至 Amazon Bedrock 模型進行推論之後，會使用每個維度的評估演算法對模型回應進行評分。後端引擎將個別提示回應分數彙總為摘要分數，並透過易於理解的視覺報告顯示。

Amazon Bedrock 可讓您只需幾個簡短步驟即可設定人工審查工作流程並帶入內部員工，或使用 AWS 管理的專家團隊來評估模型。使用者可以使用 Amazon Bedrock 的直覺式介面透過按一下豎起大拇指或大拇指朝下、按 1-5 擴展評分、從多個回應中選擇最佳回應或對提示排名來審查模型回應並提供意見回饋。例如，可以向團隊成員展示兩個模型如何回應相同的提示，然後要求其選取顯示更準確、更相關或更有風格特點之輸出的模型。您可藉由自訂團隊評估 UI 上顯示的說明和按鈕，指定對您重要的評估條件。您也可以提供包含範例的詳細說明以及模型評估的整體目標，以便使用者可以相應地調整其工作。此方法對於評估需要人為判斷或更細緻的領域專業知識且無法使用自動評估輕鬆判斷的主觀條件很有用。

Amazon Bedrock 防護機制可協助您根據使用案例和負責任 AI 政策為生成式 AI 應用程式實施保護措施。防護機制透過篩選不需要和有害的內容來幫助控制使用者和 FM 之間的互動，並且很快就可以編輯個人身分識別資訊 (PII)，從而增強生成式 AI 應用程式中的內容安全和隱私。您可以使用專用於特定使用案例的不同組態建立多個防護機制。此外，您還可以透過防護機制持續監控和分析可能違反客戶定義之政策的使用者輸入和 FM 回應。

您可以使用防護機制定義一組政策，以協助保護生成式 AI 應用程式。您可以在防護機制中設定下列政策。

• 拒絕的主題：協助您定義一組在應用程式內容中不需要的主題。例如，可以將網上銀行助理設計為避免提供投資建議。
• 內容篩選器：協助您設定閾值，以篩選仇恨、辱罵、性和暴力類別的有害內容。
• 字詞篩選器：協助您定義一組要阻止使用者輸入和 FM 所產生回應的單詞。
• PII 編輯：協助您選取一組可在 FM 產生的回應中編輯的 PII。根據使用案例，如果使用者輸入包含 PII，防護機制也可以協助您封鎖。
• 關聯式依據檢查：協助偵測和篩選幻覺，檢查回應在來源資訊中是否沒有依據 (例如實際上不準確或是新資訊)，且與使用者的查詢或指示無關。

防護機制可與 Amazon Bedrock 上所有可用的大型語言模型 (LLM) 一起使用。也可以與經過微調的 FM 以及 Amazon Bedrock 代理程式搭配使用。

對於下列已正式上市的 Amazon 生成式 AI 服務生成式輸出所造成的著作權索賠，AWS 提供無限制的智慧財產權 (IP) 賠償保證：Amazon Titan 模型、Amazon CodeWhisperer 專業版以及服務條款第 50.10 節中列出的其他服務 (以下稱「生成式 AI 服務賠償保證」)。這意味著客戶將受到保護，不會因為「生成式 AI 服務賠償保證」根據客戶提供的輸入或其他資料產生的輸出而遭到第三方指控侵犯著作權。客戶也必須以負責任的態度使用本服務，例如不輸入侵權資料也不停用服務的篩選功能。

此外，我們針對使用服務提供的標準智慧財產權賠償保證可保護客戶不會因為本服務及其用於訓練的資料而遭到第三方指控侵犯智慧財產權 (包括著作權索賠)。

有五種內建的防護機制政策，每種都有不同的現成防護措施

• 內容篩選器：包含 6 個現成類別 (仇恨、侮辱、性、暴力、不當行為 [包括犯罪活動] 和提示攻擊 [越獄和提示注入])。每個類別可進一步自訂篩選的嚴格程度閾值 - 低/中/高。
• 禁止主題：這些是客戶可使用簡單的自然語言描述來定義的自訂主題
• 敏感資訊篩選器：內建 30 多種現成的個人身份資訊 (PII)。可透過新增客戶的敏感專有資訊來進一步自訂。
• 字詞篩選器：內建髒話篩選功能，可透過自訂詞彙進一步自訂。
• 關聯式依據檢查：可協助偵測 RAG、摘要和對話應用程式的幻覺，其中來源資訊可用作參考來驗證模型回應。

基礎模型有原生防護措施，這是與每個模型相關聯的預設保護。這些原生防護措施不屬於 Amazon Bedrock 防護機制。Amazon Bedrock 防護機制是額外的自訂防護層，客戶可根據其應用程式需求和負責任 AI 政策選擇性地套用。

作為 Amazon Bedrock 防護機制的一部分，SSN 和電話號碼偵測是 30 多個現成的 PII 的一部分。完整清單請見此處。

使用 Amazon Bedrock 防護機制需要單獨付費。它可以同時套用於輸入和輸出。定價位於此處頁面的底部。

是的，Amazon Bedrock 防護機制 API 可協助客戶執行自動測試。「測試案例建置器」可能是您在生產環境中部署防護機制之前想要使用的東西。目前還沒有本機測試案例建置器。針對生產流量的持續監控，防護機制協助提供每個輸入和輸出之所有違規行為的詳細日誌，以便客戶能精細地監控其生成式 AI 應用程式的每個輸入和輸出。這些日誌可儲存在 CloudWatch 或 S3 中，並且可以用於根據客戶的需求建立自訂儀表板。