若要成功部署應用程式、執行分析工作流程和實現機器學習創新,資料就是不可或缺的基石。在將資料移轉到雲端時,您需要了解不同使用案例所要移動到的位置、所要移動資料的類型,以及可使用的網路資源等因素。AWS 提供各式各樣的服務與合作夥伴工具來協助您移轉資料集,無論這些資料是檔案、資料庫、機器映像、區塊磁碟區或甚至是磁帶備份,都能順利移轉。
AWS 雲端資料移轉服務
AWS 提供各種資料傳輸服務組合,可為任何資料遷移專案提供適當的解決方案。連線級別是資料遷移的主要因素,AWS 提供的產品可以滿足您的混合雲端儲存、線上資料傳輸和離線資料傳輸需求。
混合雲端儲存
許多客戶都希望能利用雲端儲存的優勢,但其內部部署執行的應用程式都需要以低延遲方式存取資料,或必須快速將資料傳輸到雲端。AWS 混合雲端儲存架構可將內部部署應用程式和系統連接到雲端儲存,協助您降低成本、大幅減輕管理重擔,並利用手邊資料進行創新。
AWS Storage Gateway
AWS Storage Gateway 可簡化內部部署採用 AWS Storage 的過程。Storage Gateway 讓您能夠無縫連接內部部署應用程式,並將其擴展至 AWS Storage。客戶使用 Storage Gateway 將磁帶庫無縫取代為雲端儲存,提供雲端儲存支援的檔案共用,或建立低延遲快取,以存取 AWS 中的內部部署應用程式資料。該服務提供三種不同類型的閘道,也就是檔案閘道、磁帶閘道和磁碟區閘道。
AWS Direct Connect
客戶可選取 Direct Connect 專用實體連線,加快自身資料中心與 AWS 資料中心之間的網路傳輸速度。
您可利用 AWS Direct Connect 在網路與任何一個 AWS Direct Connect 位置之間建立專用網路連線,並使用產業標準的 802.1q VLAN 來將這個專用連線分割成多個虛擬界面。如此一來,您就可以利用同一連線存取公有資源 (例如,存放在使用公有 IP 地址空間之 Amazon S3 的物件) 和私有資源 (例如,在使用私有 IP 空間之 Amazon Virtual Private Cloud (VPC) 中執行的 Amazon EC2 執行個體),同時又可在公有和私有環境間保持網路區隔。您可隨時重新設定虛擬界面,滿足不斷變化的需求。
探索我們的 AWS Direct Connect 合作夥伴服務包,這能協助您將內部部署技術延伸到雲端。
線上資料傳輸
以下服務可讓您透過線上方式,輕而易舉地將資料傳入和傳出 AWS。
AWS DataSync
透過 AWS DataSync 資料傳輸服務,您可以輕鬆地在內部部署儲存系統和 Amazon S3、Amazon Elastic File System (Amazon EFS) 或 Amazon FSx for Windows File Server 之間自動移動資料。DataSync 會自動處理可能拖慢移轉速度或加重 IT 操作負擔的多項資料傳輸相關任務,包括執行您自己的執行個體、加密處理、管理指令碼、最佳化網路及驗證資料完整性。透過 DataSync 傳輸資料的速度,比開放原始碼工具快上 10 倍。您可以使用 DataSync,透過 AWS Direct Connect 或網際網路連結將資料複製到 AWS,以執行一次性的資料移轉作業、重複性的資料處理工作流程,以及資料保護與復原的自動化複製作業。
AWS Transfer 系列
AWS Transfer 系列提供全受管的檔案傳輸支援,可直接將檔案傳入和傳出 Amazon S3。AWS Transfer 系列支援安全檔案傳輸通訊協定 (SFTP)、SSL 檔案傳輸通訊協定 (FTPS) 和檔案傳輸通訊協定 (FTP),可與現有身份驗證系統整合並透過 Amazon Route 53 提供 DNS 路由,協助您將檔案傳輸工作流程無縫移轉到 AWS,因此您的客戶、合作夥伴或其應用程式無須進行任何變更。 將資料放入 Amazon S3 之後,即可用於各種 AWS 服務以進行處理、分析、機器學習和存檔。很容易就能開始使用 AWS Transfer 系列,無須購買和安裝任何基礎設施。
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration 可讓公共網際網路到 Amazon S3 的傳輸過程更快速。無論距離長短或網際網路狀況是否有變化,您都可以最大化可用頻寬,而且不需要特殊用戶端或專有網路協定。您只需變更 S3 儲存貯體所使用的端點,系統就會自動套用加速選項。
這個選項很適合執行跨全球傳輸的重複性任務,例如媒體上傳、備份,以及定期傳送到中央位置的本機資料處理任務。
AWS Snowcone
AWS Snowcone 是 AWS Snow 邊緣運算與資料傳輸裝置系列中最小型的成員。Snowcone 便於攜帶、堅固耐用且安全省心。您可以使用 Snowcone 收集、處理資料,並透過 AWS DataSync 以線上方式將其移至 AWS。在連線斷開的環境和連接的節點執行應用程式極具挑戰性,因為這些位置通常缺少資料中心 IT 設備所需的空間、電力和冷卻。AWS Snowcone 將資料安全地儲存在節點,且可執行使用 AWS IoT Greengrass 或 Amazon EC2 執行個體的邊緣運算工作負載。Snowcone 裝置很小巧,重量為 4.5 磅(2.1 公斤),因此您可以將其放在背包中攜帶,或安裝在 物聯網、車輛或甚至是無人機使用案例的狹小空間內。
Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose 是將串流資料載入 AWS 最簡便的方式。它可以擷取串流資料並將其自動載入 Amazon S3 和 Amazon Redshift,再透過現有的商業智慧工具以及您目前正在使用的儀表板,執行近乎即時的分析。這是一項全受管的服務,可自動擴展以因應資料的輸送量,而且不用全程管理。它也可以在載入資料之前先進行批次處理、壓縮及加密,以大幅減少目標所需的儲存體數量及提高安全性。您可以從 AWS 管理主控台輕鬆地建立 Firehose 交付串流,按幾下按鍵進行設定,然後開始從數十萬個要載入 AWS 的資料來源持續將資料傳送至串流,而這整個程序只需要幾分鐘。
APN 合作夥伴產品
AWS 已和業界多家廠商合作,共同打造可消除傳統備份與雲端間隔閡的實體閘道設備。這可將現有的內部部署資料連結到 Amazon 雲端,以免移動時影響效能,還可保留現有的備份型錄。
- 無縫整合至現有基礎設施
- 可提供複製、壓縮、加密或 WAN 加速
- 將最近的本機備份、文件庫等所有項目快取至 AWS 雲端
非受管的雲端資料遷移工具
AWS 也提供簡易的指令碼或 CLI 工具,有助於將資料從您的網站移到 AWS 雲端儲存空間。
rsync
客戶可使用開放原始碼工具 rsync,搭配第三方檔案系統工具,將資料直接複製到 S3 儲存貯體。
S3 命令列界面
客戶可使用 Amazon S3 CLI 撰寫命令,將資料直接移到 S3 儲存貯體。
S3 Glacier 命令列界面
客戶可使用 Amazon S3 Glacier CLI 將資料移到 S3 Glacier 文件庫。
雲端資料移轉的常見挑戰
大部分專案都要面對資料傳輸的棘手問題。如何在中斷服務時間最短、費用最低與最省時間的前提下,從容地將資料從目前位置移到新的雲端位置? 實際移動 GB、TB 或 PB 資料最聰明的方法是什麼?
最基本的潛在問題則是可移動多少資料、移到多遠、速度有多快? 為享有最佳的案例情況,請使用下列公式:
天數 = (總位元組數)/(每秒百萬位元數 * 125 * 1000 * 網路使用率 * 60 秒 * 60 分鐘 * 24 小時)
例如,如果您要使用 T1 連線 (1.544 Mbps) 將 1 TB 資料 (1024 * 1024 * 1024 * 1024 位元組) 移入或移出 AWS,理論上,透過網路連線 (80% 網路使用率) 載入該資料,最少需要 82 天。
放心。我們之前已試過。我們發現客戶會以兩種方式完成這項任務,一種是使用最基本的非受管移轉工具來移動資料,另一種是選用上述的其中一套 AWS 服務。
根據一般經驗法則,取得最佳結果的建議如下:
連線 | 資料擴展 | 方法 |
---|---|---|
低於 10 Mbps | 低於 500 GB | 未受管 |
高於 10 Mbps | 高於 500 GB | 受管服務 |