본문 바로가기
IT/Cloud

[AWS] s3 cli 멀티파트 설정

by Jany 2021. 8. 30.
반응형

앞서 AWS s3 cli로 대용량 파일의 unzip을 실행하다보니 문제가 생겼다.

어느정도는 괜찮은데, 파일이 클 경우 오류가 발생하는 것이다.

실제 확인을 해보니 aws s3 파일스트림의 청크사이즈와, 멀티파트 업로드 오류 때문에 발생하는 문제였다.

청크 사이즈와 리퀘스트 수, 큐 사이즈 등 설정으로 해결 했다.

$ aws configure set default.s3.max_concurrent_requests 20
$ aws configure set default.s3.max_queue_size 10000
$ aws configure set default.s3.multipart_threshold 64MB
$ aws configure set default.s3.multipart_chunksize 16MB
$ aws configure set default.s3.max_bandwidth 50MB/s
$ aws configure set default.s3.use_accelerate_endpoint true
$ aws configure set default.s3.addressing_style path

https://docs.aws.amazon.com/cli/latest/topic/s3-config.html

 

AWS CLI S3 Configuration — AWS CLI 1.20.31 Command Reference

Note: You are viewing the documentation for an older major version of the AWS CLI (version 1). AWS CLI version 2, the latest major version of AWS CLI, is now stable and recommended for general use. To view this page for the AWS CLI version 2, click here. F

docs.aws.amazon.com

 

 

반응형

댓글