IT105 [AWS] Kinesis Data Streams - Overview AWS에서는 실시간 데이터 스트리밍 (Data Streaming)을 처리하기 위한 Kinesis 라는 서비스가 존재한다.실시간 데이터를 처리하기 위해서는 내부적으로 프로비저닝 (Provisioning)이 잘 이루어져야 하는데 Kinesis는 완전 관리형 (Full Managed) 서비스로 사용자는 내부 인프라에 대해서는 신경을 쓰지 않아도 된다. 이러한 Kinesis 서비스는 아래와 같이 4 가지 기능을 제공한다.- Video Streams- Data Streams- Data Firehose- Data Analytics서비스로서 다양한 기능을 제공하지만 이번 포스팅에서는 Data Streams에 대해서만 알아보려고 한다.(개략적으로 알고 싶다면 https://aws.amazon.com/ko/kinesis.. 2019. 2. 15. 허프만 코드 (Huffman Code) 허프만 코드 (Huffman Code)는 최적 프리픽스 (Optimal prefix codes)를 사용하여 데이터를 효과적으로 압축 할 수 있는 알고리즘이다. 이 알고리즘은 무손실 압축* (Lossless compression) 으로 데이터에 따라 20~90%까지 압축이 가능하다.* 무손실 압축은 데이터를 압축하고 복원할 때, 복원한 데이터가 원형의 데이터와 동일한 것을 의미한다. 그럼 알고리즘을 설명하기 전에 몇 가지 기본적인 부분을 살펴보자.위에서 언급했듯이 허프만 코드는 최적 프리픽스 코드를 사용한다. 여기서 프리픽스 코드는 앞의 문자가 뒤의 문자에 접두사 될 수 없는 것이다.예를 들어 아래의 표를 보자. a b 0 101 표를 바탕으로 a의 코드는 0이고 b의 코드는 101이다. 이 떄, 0101.. 2019. 2. 11. [AWS] ECS vs EKS 지난 포스팅에 이어 이번 포스팅에서는 AWS에서 제공하는 컨테이너 서비스인 ECS, EKS를 비교해 보려고 한다. 들어가기에 앞서 전체적으로 ECS와 EKS에 대해 전반적으로 살펴보자.흔히 ECS를 언급할 때 Fargate가 등장한다. 아래 그림과 같이 ECS를 생성할 때 가장 먼저 Compatibilities 옵션으로 등장하고 ECS 관련된 서비스 중에 그래도 가장 최근에 런칭된 서비스이기 때문이다. (최근에 등장했다는 건.. 새롭게 무언거 할 수 있다는게 나왔다는 뜻이니...) 그림 1. Fargate, EC2 기존에는 ECS를 생성 할 때, EC2 인스턴스 위에서 컨테이너를 만들었다면 Fargate는 문서 그대로 설명한다면 클러스터를 더 이상 관리 할 필요 없이 컨테이너를 실행할 수 있게 한다. 즉.. 2019. 2. 8. [AWS] ECS vs Kubernetes 컨테이너 서비스인 AWS ECS와 Kubernetes에 대해 비교해보려고 한다. 먼저 많이 언급되는 컨테이너 서비스의 장점을 먼저 살펴보자.- Continuous Delivery(CD): 흔히 DevOps에서 언급하는 지속적 배포 과정을 컨테이너만 구성하면 되기 때문에 쉽다.(혹시나 배포에 실패할 경우 이전 버전의 컨테이너만 다시 roll-back하면 된다.)- Replication/Isolation: 컨테이너만 복사하면 되기 때문에 replica를 만들기 쉽다. 또한 컨테이너가 여러 개 복사 되어도 여타 환경에 독립적이다.- Testing: 위에서 언급했듯이 컨테이너는 독립적인 환경을 가지기 때문에 다른 환경에 영향없이 테스트를 할 수 있다.- Scalability: 컨테이너 단위로 확장이 쉽다. 단순.. 2019. 2. 8. 이전 1 ··· 19 20 21 22 23 24 25 ··· 27 다음
