반응형 IT/Cloud28 [AWS] s3 cli 멀티파트 설정 앞서 AWS s3 cli로 대용량 파일의 unzip을 실행하다보니 문제가 생겼다. 어느정도는 괜찮은데, 파일이 클 경우 오류가 발생하는 것이다. 실제 확인을 해보니 aws s3 파일스트림의 청크사이즈와, 멀티파트 업로드 오류 때문에 발생하는 문제였다. 청크 사이즈와 리퀘스트 수, 큐 사이즈 등 설정으로 해결 했다. $ aws configure set default.s3.max_concurrent_requests 20 $ aws configure set default.s3.max_queue_size 10000 $ aws configure set default.s3.multipart_threshold 64MB $ aws configure set default.s3.multipart_chunksize 16MB.. 2021. 8. 30. [AWS] S3 버킷 마운트 없이 gz 압축 풀기 IDC 백업 NAS에 있는 3TB정도의 덤프파일을 AWS로 이전해야할 일이 생겼다. aws s3 cp 로 머 옮기는거 자체는 금방했는데, 문제는 gz 이라 실제 사용을 위해서 압축을 풀어야했다. 처음엔 ec2에 s3를 마운트할 생각을 했는데, 너무 느리다는 평이 많다보니 대용량이라서 고민이 많았다. 그러다 Docs 에서 찾은 cp 스트림. https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/cli-services-s3-commands.html AWS CLI에서 상위 수준(s3) 명령 사용 - AWS Command Line Interface PowerShell을 사용하는 경우 셸은 CRLF의 인코딩을 변경하거나, 파이프 입력이나 출력 또는 리디렉션된 출력에 C.. 2021. 8. 29. [AWS] SPA 배포시 S3/CloudFront 세팅 최근에 S3 호스팅을 이용하여 SPA (Single Page Application)로 서비스하는 경우가 늘고 있는듯 하다. 기존의 라우팅과는 달리 말 그대로 "Single Page"이기 때문에 보통 라우팅은 index.html 하나 뿐이다. 실제로는 react 등에서 js에서 처리하게 되며, 4XX 등의 에러에 대한 fallback 페이징 처리 역시도 react로 index.html에서 처리해야 한다. 그래서 S3 에서도 index.html을 인덱스 문서, 오류 문서 둘다 설정해주어야 한다. CloudFront 역시도 Response Page Path에 설정해주어야한다. 2021. 7. 6. [GSP] QWIKLABS GSP787 - Build and Optimize Data Warehouses with BigQuery: Challenge Lab project id의 프로젝트에 'covid' 데이터셋 생성 Query 1 create table covid.oxford PARTITION BY date OPTIONS( partition_expiration_days=90 ) as SELECT * FROM `bigquery-public-data.covid19_govt_response.oxford_policy_tracker` where 1=1 and alpha_3_code not in ('GBR', 'USA') ; Query 2 ALTER TABLE covid.oxford ADD COLUMN IF NOT EXISTS population INT64, ADD COLUMN IF NOT EXISTS country_area FLOAT64, ADD COLUMN mob.. 2020. 12. 29. [GCP] QWIKLABS GSP787 - Insights from Data with BigQuery: Challenge Lab Query 1 SELECT sum(cumulative_confirmed) as total_cases_worldwide FROM `bigquery-public-data.covid19_open_data.covid19_open_data` WHERE date='2020-04-15' Query 2 with deaths_by_states as ( SELECT subregion1_name as state, sum(cumulative_deceased) as death_count FROM `bigquery-public-data.covid19_open_data.covid19_open_data` WHERE country_name="United States of America" and date='2020-04-10' and .. 2020. 12. 27. [AWS] AWS CLI로 s3 log 확인하기 AWS를 사용하는 사람들이면 흔히 s3에 로그를 남기기 마련이다. 그러나 로그를 확인하기 위해서는 파일을 다운받고, 일일이 풀어서 보던지 해야하는 여간 귀찮은 것이 아니다. aws cli를 설치했을 경우에는 상대적으로 쉽게 확인할 수 있다. 왜냐면 grep 이나 zcat 등을 사용할 수 있으니.... aws cli에서 s3 서비스를 사용하는 것은 다음 페이지를 이용하자. docs.aws.amazon.com/ko_kr/cli/latest/userguide/cli-services-s3-commands.html AWS CLI에서 상위 수준(s3) 명령 사용 - AWS Command Line Interface PowerShell을 사용하는 경우 셸은 CRLF의 인코딩을 변경하거나, 파이프 입력이나 출력 또는 리.. 2020. 12. 24. [AWS] EC2 인스턴스 타입 변경시 볼륨 명 변경 이슈 기존에 AWS t3 타입 인스턴스로 사용하던 인스턴스가 메모리 부족으로 잦은 gc로 인해 m5로 인스턴스 타입을 변경했는데, 볼륨이 추가되어있던 /log 가 마운트 되지 않는 것을 발견했다. fstab 에는 정상적으로 잡혀 있었고, [centos@ip-10-75-28-73 ~]$ cat /etc/fstab # # /etc/fstab # Created by anaconda on Tue Jun 5 14:06:12 2018 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # UUID=8c15.. 2020. 9. 24. [IBM] 이미지 인식 - Visual Recognition 사용하기 먼가 IBM 만의 특징을 찾던 중에, 아무래도 왓슨이 대표되는 것이라, 다른 서비스를 찾다가 발견한 것. Visual Recognition을 소개하고자 한다. Visual Recognition은 말 그대로 이미지 인식이다. 서비스를 생성해보자. 놀랍게도 서울 리전이 있다. 그래고 매월 1000개의 이벤트를 무료 제공해준다. 아무래도 서울이라서 그런지 생성은 금방 되는 편이다. 특이하게 curl을 제공한다. go, java, node, python, ruby를 제공하고 있었는데, 당연히 SDK 설치가 필요하다. 아마 나처럼 간편하게 curl 로 api 호출하지 않을까 싶다. API키는 왼쪽에 서비스 인증정보에 들어가면 확인할 수 있다. 키는 관리 메뉴에 들어가면 확인할 수 있지만, 서비스 인증정보 메뉴에 .. 2020. 9. 7. [AWS] AWS 사용을 돕는 크롬 Extensions 추천 - AWS Sidebar chrome.google.com/webstore/detail/aws-sidebar/eghlpalflfaopljcglmhoflhfpnngfpe AWS Sidebar AWS Console Navigation Sidebar for Chrome chrome.google.com 크롬에서 AWS 콘솔을 사용하다 보면, 서비스 간 이동이 불편하다. 상단에 pin 할수 있다고는 하지만, 브라우저 마다 설정해야되서... 설치를 하고 AWS 콘솔에 접속하면 우측에 AWS 라는 탭이 하나 생긴다. 저 탭을 클릭하면 열리는데, Console, Instances, Pricing 이 있다. 콘솔은 하단에 톱니 아이콘을 클릭해서 주요 사용하는 서비스들을 설정하면 되고, 인스턴스는 AWS 키를 등록하면 EC2 리스트들이 보인다. 프.. 2020. 9. 4. 이전 1 2 3 4 다음 반응형
