Amazon S3 不同上傳方式的上傳限制

• Amazon S3 提供的上傳方法
• 不同方法的 Amazon S3 上傳限制
• 附加秘訣：透過 MultCloud 自動從其他雲端傳輸檔案至 Amazon S3
• 結語

Amazon S3 提供的上傳方法

由於 Amazon S3 的上傳限制因不同的上傳方法而異，讓我們快速了解一下 Amazon S3 提供的一些主要物件上傳方法。

1. 單一 PUT 上傳

► 使用情境：小型檔案（建議 ≤ 100 MB）。

► 運作方式：在一個 HTTP PUT 請求中上傳整個物件。

► 限制：大型檔案速度較慢；失敗時不重試。

► 工具：

• AWS 管理主控台（Web UI）。
• AWS CLI（小型檔案使用 AWS S3 cp）。
• SDK（AWS SDK 中的 putObject）。

2. 多部分上傳

► 使用情境：大型檔案（> 100 MB）或不穩定的網路。

► 運作方式：將檔案分割成多個部分（每個最小 5 MB）並平行上傳。

► 優點：

• 更快（平行上傳）。
• 可續傳（失敗的部分可重試）。
• 更適合不穩定的連線。

► 工具：

• AWS CLI（AWS S3 cp 會自動對大型檔案使用多部分上傳）。
• SDK（createMultipartUpload、uploadPart、completeMultipartUpload）。
• S3 REST API。

3. S3 傳輸加速

► 使用案例：跨長距離（全球用戶）更快上傳。

► 運作方式：利用 CloudFront 的邊緣節點來路由上傳。

► 限制：與標準 S3 相同（單次 PUT 5 GB，分段上傳 5 TB）。

► 工具：

• 在 S3 儲存桶設定中啟用。
• 在 CLI/SDK 中使用 s3-accelerate 端點。

4. S3 批次操作

► 使用案例：大量上傳/複製（數百萬個物件）。

► 運作方式：使用清單檔案 (CSV) 來處理大規模作業。

► 注意：非直接上傳方法；依賴於現有物件或外部資料。

5. S3 CLI 同步

► 使用案例：增量上傳（僅限新/變更的檔案）。

► 運作方式：AWS S3 sync 命令會比較本地端與 S3 的檔案。

► 工具：AWS CLI。

6. AWS SDK 高階上傳

► 使用案例：簡化的分段上傳，無需手動管理。

► 功能：

• SDK（例如 Boto3 中的 upload_file）會自動處理分段上傳。
• 內建進度追蹤與重試機制。

► 工具：AWS SDK（Boto3、Java SDK 等）。

不同方法的 Amazon S3 上傳限制

S3 的上傳限制是什麼？本部分將分別說明不同方法的限制，包括 Amazon S3 分段上傳限制、PUT 上傳限制、SDK 高階上傳限制、S3 CLI 同步限制、傳輸加速限制，以及批次操作限制。

1. 單次 PUT 上傳限制

最大物件大小：每個物件 5 GB。

這是單次 PUT 操作（一次性上傳一個物件）的 Amazon S3 上傳限制。

2. 分段上傳限制

建議用於超過100 MB的檔案。

超過5 GB的檔案必須使用。

最大物件大小：每個物件5 TB。

將大型檔案分割成多個部分（每個部分最小5 MB，最後一個部分除外）。

允許平行上傳以獲得更好的效能。

3. AWS 開發工具包和 CLI 限制

大多數 AWS SDK 和 AWS CLI 會自動對大型檔案切換為分段上傳。因此，這兩種方法遵循 Amazon S3 的上傳大小限制，即分段上傳的限制。

4. S3 傳輸加速

使用 CloudFront 的邊緣節點來加速上傳。

與標準 S3 相同的 Amazon S3 上傳檔案大小限制（單一 PUT 為5 GB，分段上傳為5 TB）。

5. S3 批量操作

用於大量操作（例如複製或標記數百萬個物件）。

不適用於直接上傳，但可協助管理大規模任務。

大檔案上傳最佳實踐

對大於100 MB的檔案使用分段上傳。

啟用檢查碼（ETags）以驗證資料完整性。

如果上傳距離很長，請考慮使用 S3 傳輸加速。

額外提示：透過 MultCloud 將檔案從其他雲端平台自動傳輸到 Amazon S3

除了從本機磁碟上傳檔案到 Amazon S3 之外，有時您可能需要從其他雲端硬碟上傳檔案到 Amazon S3。然而，下載和上傳的過程總是很繁瑣。幸運的是，您可以透過 MultCloud 自動化從 Google Drive、OneDrive、SharePoint Online、NAS、iCloud Drive、pCloud 或 FTP to Amazon S3 的傳輸過程。

MultCloud Cloud Transfer 不僅可以直接將檔案從一個雲端傳輸到另一個雲端，這個強大功能還有更多亮點：

MultCloud Cloud Transfer 也易於開始使用。您可以參考將 Google Drive 傳輸至 Amazon S3 的步驟。

步驟 1. 進入 MultCloud 網站，點擊「免費開始使用」以建立帳戶。

步驟 2. 點擊「新增雲端」和 Google Drive 圖示，將 Google Drive 新增至 MultCloud。然後重複此步驟，將 Amazon S3 新增至 MultCloud。

步驟 3. 在左側邊欄選擇「雲端傳輸」功能，然後選擇 Google Drive 作為傳輸來源，Amazon S3 作為目標。

步驟 4。打開「選項」以檢查傳輸設定，然後點擊「立即傳輸」來啟動任務。

結語

這篇文章介紹了 6 種不同上傳方式的 Amazon S3 上傳限制。您可以導航到您使用的方法並查看限制。此外，如果您想從其他雲端儲存服務（如 Google Workspace、Dropbox for Business 或 Wasabi to Amazon S3）上傳檔案，請嘗試 MultCloud Cloud Transfer，享受無需下載和上傳的簡單傳輸過程。