IT/Framework3 Apache Mesos Apache Mesos에 대해 알아보려고 한다. Apache Mesos 즉, Mesos는 분산 시스템 커널(Distributed Systems Kernel)이다. (Linux Kernel의 원리와 비슷하다고 생각하면 된다.)때문에 Mesos를 사용하면 클라우드 환경(+데이터센터)에서 Hadoop, Spark, Kafka, Elasticsearch와 같은 다양한 어플리케이션의 리소스 관리 및 스케줄링 등을 할 수 있다. 공식 문서에는 이외에도 여러 기능들을 소개하는데 간단히 나열해보면 다음과 같다.(자세한 내용은 공식 문서 참조)- Linear Scalability- High Availability- APIS- Web UI- Pluggable Isolation- Containers- Two Level Sc.. 2019. 9. 23. Apache Airflow Apache Airflow(줄여서 Airflow)는 Airbnb에서 개발한 워크플로우(Workflow) 모니터링 및 스케줄링 플랫폼이다. (2016년도에 아파치재단의 인큐베이터 프로젝트로 등록되었고 2019년인 현재는 Top-Level 프로젝트이다.) Airflow의 가장 큰 장점은 코드를 통해 워크플로우를 정의할 수 있기 때문에, 워크플로우를 다양한 방식으로 사용 및 유지 보수 할 수 있다.이는 Airflow의 내부 개념과 맞닿아 있는데 간단히 살펴보면 다음과 같다.- DAG (Directed Acyclic Graph)Collection of all the tasks로 실행하고자 하는 모든 작업을 의존성에 따라 구성한다.단, 구성된 작업이 Acyclic 구성이 아닌 Cyclic이라면 내부적으로 에러가 .. 2019. 9. 16. Prometheus 프로메테우스(Prometheus)는 모니터링 및 알람 관련 오픈 소스이다. 2012년 등장이래로 활발한 커뮤니티를 가지고 있으며 현재는 독립적인 오픈 소스 프로젝트로 관리되고 있다.(참고로, CNCF에서 Kubernetes 이어 2 번째로 호스팅 프로젝트이다.) 프로메테우스의 특징을 간추려보면 다음과 같다.- PromQL 이라는 내부 Query- 내장 Gateway를 통한 Pushing time series- 다양한 대시보드(Dashboard)- 다양한 데이터 모델 추가로 Golang으로 개발되었으며, 내부 컴포넌트들은 바이너리로서 빌드 및 배포하기 쉽게 되어 있다. 그림 1. Prometheus Architecture 그림 1에서 확인 할 수 있듯이 프로메테우스의 아키텍처는 여러개의 컴포넌트들로 구성되.. 2019. 9. 9. 이전 1 다음
