반응형
앞서 AWS s3 cli로 대용량 파일의 unzip을 실행하다보니 문제가 생겼다.
어느정도는 괜찮은데, 파일이 클 경우 오류가 발생하는 것이다.
실제 확인을 해보니 aws s3 파일스트림의 청크사이즈와, 멀티파트 업로드 오류 때문에 발생하는 문제였다.
청크 사이즈와 리퀘스트 수, 큐 사이즈 등 설정으로 해결 했다.
$ aws configure set default.s3.max_concurrent_requests 20
$ aws configure set default.s3.max_queue_size 10000
$ aws configure set default.s3.multipart_threshold 64MB
$ aws configure set default.s3.multipart_chunksize 16MB
$ aws configure set default.s3.max_bandwidth 50MB/s
$ aws configure set default.s3.use_accelerate_endpoint true
$ aws configure set default.s3.addressing_style path
https://docs.aws.amazon.com/cli/latest/topic/s3-config.html
반응형
'IT > Cloud' 카테고리의 다른 글
[NCP] 네이버클라우드 서버 생성하기 -2 (0) | 2021.11.15 |
---|---|
[NCP] 네이버클라우드 서버 생성하기 -1 (0) | 2021.11.15 |
[AWS] S3 버킷 마운트 없이 gz 압축 풀기 (0) | 2021.08.29 |
[AWS] SPA 배포시 S3/CloudFront 세팅 (0) | 2021.07.06 |
[GSP] QWIKLABS GSP787 - Build and Optimize Data Warehouses with BigQuery: Challenge Lab (1) | 2020.12.29 |
댓글