티스토리

Small talks with something
검색하기

블로그 홈

Small talks with something

timewizhan.tistory.com/m

주절주절

구독자
1
방명록 방문하기

주요 글 목록

  • docker compose 란 docker compose에 대해 알아보려고 한다. (참조: docs.docker.com/compose/) docker compose는 여러 개의 docker를 정의하고 실행하는 툴이다. 그래서 kubernetes 처럼 YAML 파일로 여러 개의 docker 내부 속성을 설정하고 한 번에 실행시킨다. 마치 docker를 배치로 한 번에 실행시키는 것과 같다. (아래 docker compose 실행 순서 참조) 1. Define your app’s environment with a Dockerfile so it can be reproduced anywhere. 2. Define the services that make up your app in docker-compose.yml so they can be .. 공감수 1 댓글수 1 2020. 12. 28.
  • resilience4j 기본 개념 resilience4j의 기본 개념이나 코어 모듈에 대해 간략히 알아보도록 하겠다. Retry 해당 모듈은 말 그대로 "재시도" 관련 모듈이다. 재시도 횟수 등등을 설정을 할 수 있는데 아래 정리된 표를 보면 보다 이해하기 쉽니다. Config Property Default value Description maxAttempts 3 최대 재시도 횟수 waitDuration 500 [ms] 재시도 간격 즉, 다음 재시도 전 대기 시간 intervalFunction numOfAttempts -> waitDuration 실패 이후 대기 시간에 수행하는 작업을 대체하는 함수 즉, 기본은 waitDuration 만큼 대기하지만 무조건 대기하지 않고 다른 작업을 추가 retryOnResultPredicate resu.. 공감수 1 댓글수 0 2020. 12. 22.
  • Reactor 예외 발생에 대해 리액터에서 예외를 발생시키는 방법은 다양하다 그 중에 2가지 throw와 error 에 대해 알아보려고 한다. throw는 가장 일반적으로 예외를 발생시키는 키워드라 생략하고, error에 대해 알아보겠다. public static Mono error(Throwable error) 공식 페이지를 살펴보면 위와 같다. 대략적으로 마블 다이어그램을 보면, consumer로 부터 subscribe가 발생하면 그 때, error 안에 값인 Throwable 값이 emit된다. Mono.error(new IllegalArgumentException()) 예제를 보면 위와 같이 사용할 수 있다. 그런데!! throw와 error를 사용하는 시점은 좀 다르다. (아래 예제 참조) fluxOrMono.flatMap(n.. 공감수 1 댓글수 0 2020. 12. 4.
  • Reactor defer란 Reactor의 defer에 대해 알아보려고 한다. public static Mono defer(Supplier 공감수 4 댓글수 0 2020. 11. 28.
  • Reactor flatmap vs map 비교 Webflux에서 자주 사용하는 flatmap과 map을 비교해보려고 한다. flatmap public final Mono flatMap(Function 공감수 3 댓글수 0 2020. 11. 28.
  • [번역] Concurrency in Spring WebFlux WebFlux에 대해 알아볼겸 아래 페이지를 번역해 보려고 한다. 개인적으로 이해하면서 쓰기 때문에 생략 및 의역이 많이 포함되어 있으므로 자세한 내용은 원문 참조 www.baeldung.com/spring-webflux-concurrency The Motivation for Reactive Programming 일반적인 웹 어플리케이션은 복잡한 부분들로 구성되어 있다. 특히 데이터베이스 호출과 같이 대부분의 Interaction은 Block되어 있다. 그러나 몇몇은 병렬적으로 작업을 처리하려 한다. 예를 들어, 2 명의 사용자가 웹 서버에 요청할 때 각기 다른 스레드로 핸들링된다. 멀티 코어 플랫폼에서는 이런 처리 방법이 전체 응답 시간 측면에서 효과가 있다. 또한 이렇게 처리 하는 방식은 thread.. 공감수 3 댓글수 0 2020. 11. 28.
  • Reactive Web Application은 언제 subscribe를 할까? Webflux를 사용하다보면, 궁금함이 생긴다. 아래 Controller를 보면, @RestController class CustomerController { @Autowired private lateinit var customerService: CustomerService @GetMapping(value = ["/customer/{id}"]) fun getCustomer(@PathVariable id: Int): Mono { return customerService.getCustomer(id) } getCustomer의 리턴 타입이 Mono이다. 즉, 리턴으로 Reactor를 반환하는데 여기서 궁금증이 생긴다. 도대체 누가? 언제? subscribe를 하는 것일까? 일반적으로 Mono를 사용하게 되면,.. 공감수 5 댓글수 0 2020. 11. 27.
  • Coroutine Async 코루틴에서 기본인 것 같지만 놓치는 부분이 있을 수도 있기에 정리해보려고 한다. Async async는 자주 사용해왔던 launch와 거의 흡사하다. 그러나 차이점이라면 launch는 job을 반환하는데에 비해 async는 Deferred라는 값을 반환한다. (아래 참조) fun CoroutineScope.async( context: CoroutineContext = EmptyCoroutineContext, start: CoroutineStart = CoroutineStart.DEFAULT, block: suspend CoroutineScope.() -> T ): Deferred (source) 그렇다면 Deferred가 무엇이길래 조금 다른 것일까? 엄밀히 말하면 Deferred도 job의 종류 중 하.. 공감수 0 댓글수 0 2020. 11. 22.
  • Coroutine Job과 Scope Job Job은 life-cycle이 있는 cancellable 값?? 인터페이스 이다. 즉, 코루틴 context에 존재하는 여러 값 중 하나로 외부에 의해 언제든 중단이 가능한 값이다. (join 이나 cancel을 통해서..) Job을 구현하는 인터페이스는 2개 정도로 볼 수 있는데, Coroutine job과 CompletableJob이 있다. 1) Coroutine job은 launch 코루틴 빌더에 의해서 생성 2) CompletableJob은 Job() factory에 의해서 생성된다. 그런데 Job 특성이 코루틴 block을 실행시지만 결과값을 주진 않는다. (값을 얻기 위해서는 Deferred를..) Job의 내부 상태는 위의 그림과 같다. 코루틴의 시점마다 상태가 다를 수 있지만, 간단.. 공감수 0 댓글수 0 2020. 11. 22.
  • Coroutine Context and Dispatchers 여타 자원들 처럼 코루틴 또한 내부적으로 Context를 가지고 있다. 이를 코루틴 Context라 명명하는데, 실제 관련 문서를 살펴보면, kotlinlang.org/api/latest/jvm/stdlib/kotlin.coroutines/-coroutine-context/ CoroutineContext - Kotlin Programming Language kotlinlang.org 인덱싱된 Element 인스턴스의 집합으로 Persistent 속성을 가지고 있다. 내부적으로 코루틴 dispatcher를 가지고 있는데, 이후에도 계속 살펴보겠지만 dispatcher는 코루틴이 어떤 스레드에서 실행될지 결정해주는 필수 요소이다. Dispatcher 간단하게 코루틴을 사용하게 되면 dispatcher에 신경.. 공감수 0 댓글수 0 2020. 11. 22.
  • Coroutine Flow - 4부 Flow에 대해 4부로 계속 알아가보자. Launching Flow fun events(): Flow = (1..3).asFlow().onEach { delay(100) } fun main() = runBlocking { events() .onEach { event -> println("Event: $event") } .collect() // println("Event: $event") } .launchIn(this) // updateUi(value) } .onCompletion { cause -> updateUi(if (cause == null) "Done" else "Failed") } .catch { cause -> LOG.error("Exception: $cause") } .launchIn(uiS.. 공감수 0 댓글수 0 2020. 11. 22.
  • Coroutine Flow - 3부 세번째 시간을 가져보자. Exception 떨어질래야 떨어질 수 없는 예외처리 부분이다. Flow는 내부 코드 상에서 (+ operator) 예외가 발생하면 예외와 함께 종료된다. 그럼 일반적으로 통용되는 방법으로 예외를 핸들링해보면 아래와 같이 코드를 작성 할 수 있다. fun simple(): Flow = flow { for (i in 1..3) { println("Emitting $i") emit(i) // emit next value } } .map { value -> check(value println(value) } } catch (e: Throwable) { println("Caught $e") } } 실제로 위의 코드를 실행해보면, "2"에서 에러가 발생하고 끝이난다. 그런데 flow는 예.. 공감수 0 댓글수 0 2020. 11. 21.
  • Coroutine Flow - 2부 지난 번에 포스팅한 1부 에 이어서 계속 알아보려고 한다. Buffering flow에서 실행되는 작업이 오래 걸리는 작업일 때, collect를 수행하면 전체적으로 성능이 낮아 질 수 밖에 없다. (각 작업을 순차적으로 실행하는 flow의 컨셉에 따라...) fun simple(): Flow = flow { for (i in 1..3) { delay(100) // pretend we are asynchronously waiting 100 ms emit(i) // emit next value } } fun main() = runBlocking { val time = measureTimeMillis { simple().collect { value -> delay(300) // pretend we are p.. 공감수 0 댓글수 0 2020. 11. 21.
  • Coroutine Flow - 1부 코틀린에서 제공하는 코루틴 중 Flow에 대해 살펴보려고 한다. Flow는 이미 명명된 이름에서 짐작할 수 있듯이, 간단히 언급하면 Sequence의 비동기 버전 정도로 이해하면 될 것 같다. 좀 더 자세히 보면, Sequence는 Stream 단위의 데이터를 하나 처리하고 다음 하나 방식이지만, Flow는 Stream의 각 데이터 결과를 기다리지 않고 작업한다. (물론 값은 순차적으로 가져온다.) fun simple(): Flow = flow { println("Flow started") for (i in 1..3) { delay(100) emit(i) } } fun main() = runBlocking { println("Calling simple function...") simple().collec.. 공감수 1 댓글수 0 2020. 11. 21.
  • React 상태 관리 라이브러리(Redux, Recoil) 소개 React에서 중요한 것 중 하나는 역시나 State(상태) 관리이다. https://reactjs.org/docs/state-and-lifecycle.html State and Lifecycle – React A JavaScript library for building user interfaces reactjs.org 컴포넌트에 의해 관리되는 상태는 단일 컴포넌트에 의해 다루느냐, 그렇지 않으면 Context와 같이 부모, 자식 간의 통신으로 사용하느냐에 따라 난이도가 달라진다. 특히 부모, 자식 간에 사용하기 위해서는 React에서 제공해주는 Props, Context와 조합하면 만들 수는 있지만.. 시간 낭비이고 현 시점에 등장한 라이브러리를 사용하면 쉽게(?) 사용 할 수 있다. 해당 글에서는 먼.. 공감수 2 댓글수 0 2020. 7. 5.
  • 데이터 모델링. 데이터부터 알고 시작하자 데이터 모델링은 참 어렵다. 말 그대로 데이터를 DB에 잘(?) 녹아내기 위한 모델링을 해야하기 때문이다. 그래서 데이터 모델링을 하기 위해선 업무 비즈니스를 잘 이해해야 한다. 즉, 데이터 모델링은 데이터의 속성들의 이해 여부에 따라 최악의 모델링이냐 최선의 모델링이냐로 나뉜다고 생각한다. 한 가지 예를 들어보면, 위 그림은 Student와 Book의 관계이다. 비슷해보이지만 Student와 Book의 관계를 어떤 시선으로 보느냐에 따라 모델링이 완전히 달라질 수 있다. 상단은 1:M 관계로 한 명의 Student가 여러 개의 Book을 가지고 있다는 의미로 사용될 수 있고, 하단은 N:M 관계로 각 Student는 하나의 Book만을 가질 수 있다. 또 위의 단초로운 entity는 어떤가? 그냥 확~.. 공감수 0 댓글수 0 2020. 7. 3.
  • Github 'Master' 브런치. 이제 안녕 https://www.bbc.com/news/technology-53050955 Github가 최근 벌어지고 있는 사건에 지지하는 의미로 수년간의 틀을 깨뜨렸다.바로 Master 브랜치 이름을 사용하지 않는 것이다. 개발자들이라면 Github에 입문할 때, 자연스럽게 맞닿는 글자는 바로 "Master"이다.기본이 되는 브랜치이며 특히, 회사에 따라 릴리즈 브랜치 용으로 사용하기도 한다.그래서 너무도 자연스럽게 "Master" 라는 말을 달고 산다. 이번 사건이 터지기 전까지는 개발자는 딱히 관련이 없을 것이라 생각했다.하지만 처음 생성 의도가 어떻든 "Master"를 변경하면서 적어도 개발자들에게 그 사회적인 의미를 되새겨주는 것 같다. 브랜치도 브랜치 이지만 약간 논외로 보면 아키텍처 중에 Master.. 공감수 0 댓글수 1 2020. 6. 17.
  • Spark - RDD vs Dataframes vs Datasets RDD와 Dataframes, Datasets를 비교하는 글이 있어서 보려고 한다.중간중간 의역 및 생략이 있을 수 있다. 때문에 보다 자세한 글은 아래 원문을 참조https://databricks.com/blog/2016/07/14/a-tale-of-three-apache-spark-apis-rdds-dataframes-and-datasets.html 우리는 언제, 왜 RDD, Dataframes, Datasets를 사용해야 할까? Resilient Distributed Dataset (RDD)RDD는 Spark 등장 이래로 주로 사용된 API 이다. Spark Core에서는 RDD는 변경할 수 없는(Immutable) 데이터의 집합으로 클러스터 내의 여러 노드에 분산되어 있다.(Transformati.. 공감수 3 댓글수 0 2020. 2. 15.
  • Spark - Datasets Datasets에 대해 알아보기전에 어떤 점 때문에 Datasets가 필요한지에 대해 알아보자.case class Listing(street: String, zip: Int, price: Int) val listingsDF = List(Listing("A", 0, 100), Listing("B", 1, 101), Listing("C", 2, 200)).toDF() val averagePricesDF = listingsDF .groupBy($"zip") .avg("price") .show()+---+----------+|zip|avg(price)|+---+----------+| 1| 101.0|| 2| 200.0|| 0| 100.0|+---+----------+ 위의 코드를 실행시키면 "zip"으로 그룹화.. 공감수 0 댓글수 0 2020. 2. 12.
  • Spark - Dataframe API (Part 2) 이전과 다른 예시를 가지고 Dataframe을 다뤄보려고 한다.https://www.kaggle.com/timoboz/superbowl-history-1967-2020/data 먼저 데이터를 살펴보면,Date,SB,Winner,Winner Pts,Loser,Loser Pts,MVP,Stadium,City,StateFeb 2 2020,LIV (54),Kansas City Chiefs,31,San Francisco 49ers,20,Patrick Mahomes,Hard Rock Stadium,Miami Gardens,FloridaFeb 3 2019,LIII (53),New England Patriots,13,Los Angeles Rams,3,Julian Edelman,Mercedes-Benz Stadium,A.. 공감수 0 댓글수 0 2020. 2. 11.
  • Spark - Dataframe API (Part 1) 이전에도 잠깐 알아보았지만, RDD 메소드에 비해 어떤 부분이 더 좋은지 살펴보면1) RDD 메소드는 functional API에 비해 Dataframe은 declarative API 이다. 즉, SQL*과 같이 사용하기 편하다. *SQL 또한 declarative API 이다.2) 자동으로 최적화가 된다. (Dataframe을 잘 사용 할 수 있도록 지속해서 업데이트가 된다.)3) 타입이 없다*.* Dataframe이 타입이 완전이 없는 것이 아니라, Dataframe의 내부 row의 타입이 존재하지 않는다.(Spark SQL에서 지원하는 데이터 타입 => https://spark.apache.org/docs/latest/sql-reference.html) 간단한 예시를 바탕으로 API를 살펴보자.(h.. 공감수 0 댓글수 0 2020. 2. 10.
  • Spark - Spark SQL 이전에도 알아보았지만 구조화된 데이터는 비구조화, 반구조화 데이터보다 확실히 데이터를 분석, 처리하기에 좀 더 효율적이다. 때문에 RDB와 같은 관계형 데이터베이스를 많이 선택하는 편이다. 그렇다면 Spark는?? 일반적인 방법은 Spark pipeline에서 직접 데이터베이스에 Connection을 맺고 사용하는 것이다. 그러나 매우 비효율적이다. (데이터베이스 Connection 관리를 추가적으로 해야하는 등 배보다 배꼽이 커질수도..)Spark Stack근데 다행하게(?) Spark에서는 Spark Stack 중 Spark SQL을 지원한다. Spark에서 SQL을 도입한 이유는 여러가지가 있겠지만 SQL를 컴포넌트의 하나로 구성하면서 사용자가 얻을 수 있는 장점은 아래와 같다.1) RDB 와 같은.. 공감수 0 댓글수 0 2020. 2. 8.
  • Spark - Structured Data 위의 그림에서 언급하고 있는 스펙트럼을 보면, Structured, Semi-Structured, Unstructured를 차이를 대략 알 수 있다. 한국말로 풀이해보면 구조화, 반구조화, 비구조화로 구분할 수 있는데 왜 갑자기 이와 같은 것을 언급하는 것일까? 이제까지 다룬 RDD는 구조화된 데이터가 아니다. 구조화된 데이터라면 작업이 될 때, 데이터 구조가 어떤 식으로 변하는지 혹은 데이터가 어떻게 변경되었는지 알 수 있어야하는데 이미 알다시피 RDD의 작업은 결과를 알기 전까지 내부를 알 수가 없다. 물론, RDD[클래스 이름]과 같이 사용하면서 대략적으로 데이터 구조는 파악 할 수 있지만, 역시나 내부 데이터를 알 수가 없다.(일반 자료형을 사용하는 RDD는 Regular RDD, 클래스를 사용하.. 공감수 0 댓글수 0 2020. 2. 6.
  • Spark - RDD Dependency RDD의 내부 구성을 잠깐 생각해보자. RDD는 Spark에서 추상화 데이터 모델이다. 때문에 분산 처리된 데이터의 집합이기도 하다.그러므로 위와 같이 표현될 수 있다. 즉, RDD는 각 노드의 파티션에 분산되어 있다. (예를 들어, groupByKey 메소드의 결과는 Shuffling된 Pair RDD가 될 것이며, Pair RDD는 각 노드의 파티션에 골고루 분산되어 있다.) 여기서 Lineage에서 처럼 A -> B의 관계를 RDD -> RDD로 위의 그림을 좀 더 확장하면, 아래와 같다.사전에 작업된 RDD를 부모 RDD, 이를 바탕으로 작업된 RDD를 자식 RDD로 정의하며 자식 RDD를 만들게한 map 메소드를 Dependency라 한다.개념적으로 이제 짚고 넘어가는 것이긴한데, 그 동안 사용.. 공감수 0 댓글수 0 2020. 2. 5.
  • Spark - Partitioning Spark에서 파티셔닝(Partitioning)은 RDD의 데이터를 여러개의 파티션에 나누는 것이다. 파티셔닝에 이해를 위해 간단한 예를 들어보자.val purchasesPerCost = purchasesRdd .map(p => (p.customerId, p.price)) .groupByKey()map에서 Pair RDD가 만들어진 후, groupByKey에 의해 RDD는 shuffling 된다.그런데 shuffling된 RDD는 어떤 노드에 전달될지 어떻게 결정하는 것일까?바로, p = k.hashCode() % numPartitions에 의해 p를 호스팅하는 노드에 전달된다. (Hash Partitioning 기법을 사용할 때) 이렇듯 파티셔닝을 통해 각 데이터들이 어떤 노드에 저장될지 결정된다.Sp.. 공감수 0 댓글수 0 2020. 2. 4.
  • Spark - Shuffling Shuffling은 분산 시스템 환경에서 데이터가 움직이는 것(A Node -> B Node)을 의미한다. 간단한 예시 하나를 확인해보자.case class CFFPurchase(customer: Int, destination: String, price: Double) val purchasesRDD = sc.parallelize(List(CFFPurchase(100, "Geneva", 22.25), | CFFPurchase(300, "Zurich", 42.10), | CFFPurchase(100, "Fribourg", 12.40), | CFFPurchase(200, "st. Gallen", 8.20), | CFFPurchase(100, "Lucerne", 31.60), | CFFPurchase(300, .. 공감수 0 댓글수 0 2020. 2. 3.
  • Spark - Pair RDD Pair RDD는 key-value 형태의 RDD 묶음(?)이다.Spark에서 pair RDD가 중요한 이유는 일반적으로 대용량 데이터 처리는 key-value 형태에서 수행하기 때문이다.그런데 익숙하게도 key-value 형태는 여러 언어에서 사용하고 있다. (아래 Scala, Python 참조)Scala Python def val collection = Map( "A" -> 1, "B" -> 2, "C" -> 3 ) collection = { "A" : 1, "B" : 2, "C" : 3 } 이 때문인지는 모르겠지만, 대용량 데이터 처리를 위한 분산 시스템 환경에서는 key-value 형태가 매우 중요하다.그도 그럴 것이 분산 데이터 처리의 기반을 닦은 Google의 MapReduce가 key-val.. 공감수 0 댓글수 0 2020. 2. 1.
  • Spark - Reduction In Parallel 먼저 Reduction은 값을 더 작은 값으로 변형한다는 의미이다.보다 쉬운 이해를 위해 아래에 Scala에서 reduction 관련 예시를 추가하였다. 그렇지만 언어를 떠나서 reduction은 입력받은 값을 최종적으로 단일 값으로 변경한다는 것이다.val collection = List(1, 3, 2, 5, 4, 7, 6) val res = collection.reduce((x, y) => x max y)val collection = List(1, 3, 2, 5, 4, 7, 6) val res = collection.fold(11)((x, y) => x max y)그런데 모든 Scala의 reduction 메소드가 Spark에서 동작하는 것은 아니다. 그 이유는 바로 Parallelizable 때문이.. 공감수 0 댓글수 0 2020. 2. 1.
  • Spark - RDDs Resilient Distributed Datasets 즉, RDD는 변경할 수 없는(immutable) elements 집합이다. 간단히 RDD의 특징을 살펴보면- Partitioning- Persistence- Fault Tolerance- Lazy Evalution- ...이 밖에도 많이 있지만, 자세한 것은 처음 접할 때 어려울 수 있으니 차근차근 알아보도록 하겠다.다만, 이와 같은 특징들은 Spark가 데이터를 효과적으로 처리할 수 있도록 한다.*RDD의 원천부터 알고 싶다면, "https://www.usenix.org/system/files/conference/nsdi12/nsdi12-final138.pdf" 관련 Paper를 읽어보는 것을 추천한다. 위에서 언급했듯이, RDD는 여러가지 데이.. 공감수 1 댓글수 0 2020. 1. 24.
  • SOLID Principle SRP (Single Responsibility Principle)단일 책임 원칙은 쉽게 접할 수 있는 원칙이다.그렇지만 반대로 쉽게 접할 수 있다고 해서 쉽게 적용 할 수 있는 부분도 아니다. 그 이유는 바로 "책임" 이라는 의미가 엄청 모호하다는 것이다. 상황, 시점 등등에 따라 사람이든 다른 무엇이든 해야하는 것이 다르기 때문이다.그렇다면 소프트웨어 설계 관점에서 책임은 무엇일까. 고민해보면 역시 소프트웨어 요구사항을 생각할 수 밖에 없는 것 같다.즉, 소프트웨어 자체가 요구 사항에 기반하여 객체, 메소드가 만들어 지기 때문에 시나리오를 책정하고 그에 따라 구분되는 각 구성 요소의 역할들이 "책임" 이지 않나 싶다. 하지만 SRP의 더 큰 문제라 할 수 있는 지점은 나름대로 책임을 구분하여 분리하였.. 공감수 1 댓글수 2 2019. 11. 17.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.