본문 바로가기
반응형

IT/Cloud24

[aws] aws cli 대체 툴 1. awless https://github.com/wallix/awless GitHub - wallix/awless: A Mighty CLI for AWS A Mighty CLI for AWS. Contribute to wallix/awless development by creating an account on GitHub. github.com - 업데이트가 더이상 안된다... 2. aws-shell https://github.com/awslabs/aws-shell GitHub - awslabs/aws-shell: An integrated shell for working with the AWS CLI. An integrated shell for working with the AWS CLI. Contri.. 2022. 5. 10.
[NCP] Cloud Data Box 사용기 2 - 접속하기 반가운 메일이 왔다. 생성 신청한 인프라가 생성이 완료되었다는 내용이다. LITE로 생성 요청 했는데, 생성되는데 2시간 가량 걸린 듯 하다. 접속을 하기 위해서는 SSL VPN 설정이 필요하다. https://guide.ncloud-docs.com/docs/clouddatabox-connect# 클라우드데이터박스접속 guide.ncloud-docs.com 우측에 상세를 누르면 생성된 인프라 정보를 확인할 수 있다. SSL VPN 접속을 하기 위해서는 우선 SSL VPN 사용자 설정이 필요한데, 인프라 아래에 SSL VPN 사용자 설정 버튼을 클릭하자. 등록 가능한 사용자 수 확인과 현재 등록된 계정 상태 등을 확인할 수 있다. 그러면 VPN Agent를 설치하고 접속해보도록 하자. 윈도우 에이전트 설치.. 2021. 12. 7.
[NCP] Cloud Data Box 사용기 1 - 생성하기 네이버 클라우드 데이터 박스는 네이버가 가지고 있는 여러 데이터들을 활용하여 분석할 수 있도록 도와주는 서비스이다. 출처: 네이버클라우드 그림으로 봤을땐 네이버가 가지고 있는 데이터를 접속하여 분석할 수 있는 환경까지 제공해주는 정도 인듯 하다. 실제 네이버가 가지고 있는 데이터를 애드테크(광고)에 활용 할수 있는 지가 너무 궁금했다. 애드테크에서는 DMP 등을 통해 외부 데이터들의 연동하여 타겟팅 광고 등에 활용할 수 있다. 거기에 제일 중요한 것이 ADID이고, 여러 데이터들을 통해 분석한 세그먼트를 가지고 타켓팅 하게 된다. 소개서에 애드테크 관련 내용은 없는 듯 하지만 데이터 탐색을 해보기 위해 신청해봤다. 출처: 메조미디어 클라우드 데이터 박스는 신청을 별도로 해야지만 사용할 수 있다. 신청하면.. 2021. 12. 7.
[NCP] 네이버클라우드 서버 생성하기 -2 [IT/Cloud] - [NCP] 네이버클라우드 서버 생성하기 -1 앞서 네이버 클라우드에서 서버를 생성하는 방법에 대해서 진행해보았는데, 이번에는 접속하는 과정을 다뤄보려고 한다. 우선 공인 IP를 설정해줘야 하고, ACG에서 포트포워딩을 진행해줘야 된다. 공인 IP설정은 좌측 서버 메뉴에서 Public IP 메뉴를 클릭하자. Zone과 적용서버를 선택하면 끝이다. (단, 서버 생성 작업이 완료가 안되면 적용서버에서 확인이 안된다.) IP설정이 완료되면 좌측 메뉴에서 ACG를 클릭하자. 그리고 규칙보기를 확인해보자. 3389 포트도 기본으로 잡혀있었으나, 불필요해서 삭제 했다. 22 포트는 기본으로 되어있는데, 0.0.0.0/0 으로 열려있으니 IP 설정을 해서 사용하도록 하자. 이제 가장 어려운 점이.. 2021. 11. 15.
[NCP] 네이버클라우드 서버 생성하기 -1 네이버 클라우드에서 micro 서버를 무료로 1년동안 사용할 수 있어서 사용해보려고 한다. 계정을 만들고 결제정보 입력하고, 콘솔에 로그인 해보자. 좌측 메뉴에서 Products & Service를 클릭하고 Server를 클릭하자 Server 메뉴에서 1세대를 보면 결제등록시 1년간 무료사용이 가능하다. (만약에 이 메뉴가 안보인다면 좌측 Platform에서 Classic을 선택하자) 화면 하단에 서버 생성을 클릭하자. 서버 타입을 Micro로 선택하고 서버 이미지를 선택하고 넘어가자. Micro 를 선택했을 경우에는 다음처럼 요금 안내가 뜬다. 호스트 명을 작성하고, 인증키를 설정하고 넘어가자. *인증키는 보유하고 있는 것을 올려도 되고 새로 생성해도 무방하다. ACG(Access Control Gro.. 2021. 11. 15.
[AWS] s3 cli 멀티파트 설정 앞서 AWS s3 cli로 대용량 파일의 unzip을 실행하다보니 문제가 생겼다. 어느정도는 괜찮은데, 파일이 클 경우 오류가 발생하는 것이다. 실제 확인을 해보니 aws s3 파일스트림의 청크사이즈와, 멀티파트 업로드 오류 때문에 발생하는 문제였다. 청크 사이즈와 리퀘스트 수, 큐 사이즈 등 설정으로 해결 했다. $ aws configure set default.s3.max_concurrent_requests 20 $ aws configure set default.s3.max_queue_size 10000 $ aws configure set default.s3.multipart_threshold 64MB $ aws configure set default.s3.multipart_chunksize 16MB.. 2021. 8. 30.
[AWS] S3 버킷 마운트 없이 gz 압축 풀기 IDC 백업 NAS에 있는 3TB정도의 덤프파일을 AWS로 이전해야할 일이 생겼다. aws s3 cp 로 머 옮기는거 자체는 금방했는데, 문제는 gz 이라 실제 사용을 위해서 압축을 풀어야했다. 처음엔 ec2에 s3를 마운트할 생각을 했는데, 너무 느리다는 평이 많다보니 대용량이라서 고민이 많았다. 그러다 Docs 에서 찾은 cp 스트림. https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/cli-services-s3-commands.html AWS CLI에서 상위 수준(s3) 명령 사용 - AWS Command Line Interface PowerShell을 사용하는 경우 셸은 CRLF의 인코딩을 변경하거나, 파이프 입력이나 출력 또는 리디렉션된 출력에 C.. 2021. 8. 29.
[AWS] SPA 배포시 S3/CloudFront 세팅 최근에 S3 호스팅을 이용하여 SPA (Single Page Application)로 서비스하는 경우가 늘고 있는듯 하다. 기존의 라우팅과는 달리 말 그대로 "Single Page"이기 때문에 보통 라우팅은 index.html 하나 뿐이다. 실제로는 react 등에서 js에서 처리하게 되며, 4XX 등의 에러에 대한 fallback 페이징 처리 역시도 react로 index.html에서 처리해야 한다. 그래서 S3 에서도 index.html을 인덱스 문서, 오류 문서 둘다 설정해주어야 한다. CloudFront 역시도 Response Page Path에 설정해주어야한다. 2021. 7. 6.
[GSP] QWIKLABS GSP787 - Build and Optimize Data Warehouses with BigQuery: Challenge Lab project id의 프로젝트에 'covid' 데이터셋 생성 Query 1 create table covid.oxford PARTITION BY date OPTIONS( partition_expiration_days=90 ) as SELECT * FROM `bigquery-public-data.covid19_govt_response.oxford_policy_tracker` where 1=1 and alpha_3_code not in ('GBR', 'USA') ; Query 2 ALTER TABLE covid.oxford ADD COLUMN IF NOT EXISTS population INT64, ADD COLUMN IF NOT EXISTS country_area FLOAT64, ADD COLUMN mob.. 2020. 12. 29.
반응형