created : 2023-12-01, updated : 2023-12-01 Introduction 데이터를 주기적으로 수집하고 원하는 위치에 전달하기 위한 Workflow가 필요하다. 단순히 데이터를 수집하는 것이 아니라 수집한 데이터를 가공하고 크리닝하고 필요한 형태로 변환을 해야 한다. 스케줄에 의해서 주기적으로 수집을 해야 할 수도 있지만, ...

created : 2023-11-16, updated : 2023-11-16 Introduction 소규모로 운영되는 데이터 분석 환경을 구성한다. 단일 사용자가 아닌 여러명이 자신의 Processor, Storage를 할당받아 Jupyter Notebook을 이용하여 분석을 한다. 필요한 요소 여러명이 사용하기 위해서 필요한 요소를 정의하였다. ...

created : 2023-10-18, updated : 2023-10-18 Introduction 다양한 Application을 구동하고 관리하는 부분은 쉽지가 않다. 라이브러간의 의존성도 문제이고 OS와 호환 문제도 있다. 그래서 이를 해결하기 위해 Container 기술을 사용할 수 있다. 하지만 Container만을 사용하여도 외/내부 Net...

created : 2022-01-17, updated : 2022-01-17 Introduction Kafka는 기존의 Message Broker 의 기능을 업그레이드하여 BigData의 분석, Pipeline 등 대용량 분산환경에서 사용할 수 있는 Opne Source 이다. 대용량, 안정성(Partitioning, Relipcation) 을 보장...

created : 2021-12-13, updated : 2021-12-13 Introduction RSocket은 REST API, gRPC 이후에 나온 Protocol로 기존의 단점들을 보강하기 위해 Netflix에서 개발을 시작하였다. 계속 개발이 이루어지고 있는 상태고 Spring에서도 관련 개념이 정리되고 있다. 기존의 통신과 차이점은 OS...

created : 2021-12-05, updated : 2021-12-05 Introduction GraphQL은 2015년에 Open Source로 Facebook이 공개하였다. 나는 그 당시는 REST API 위주로 프로젝트를 하고 있어 언젠가는 봐야지하고 미뤄놨던 기술이다. 이번에 Spring GraphQL에 대한 Spring Tips의 동영...

created : 2021-11-21, updated : 2021-11-21 Introduction 이전 튜토리얼에서는 gRPC의 기본 개념과 Protocol Buffer와 Dummy Server/Client를 간단하게 만들어 보았다. 이제는 한단계 더 들어가서 데이터를 통신하는 방식을 알아보겠다. Pre-Installation IntelliJ C...

created : 2021-11-15, updated : 2021-11-15 Introduction WebRTC는 Device간의 Video, Audio와 Data까지 Peer to Peer로 통신을 할 수 있게 한다. 통신환경이 좋아져서 적은 사용자의 커넥션에서는 WebRTC가 중간 Streaming 서버 없이도 Device의 자원, 인터넷속도로도...

created : 2021-11-09, updated : 2021-11-09 Introduction Micro Service의 환경이 되면서 점점 더 Service간의 연계가 많아지면서 서비스가 복잡해지고 있다. REST API 로 스펙관리에 한계를 느끼고 있다고 한다. 그래서 다시금 RPC 개념이 사용되고 있다. 기존 RPC를 Google에서 좀...

created : 2021-11-07, updated : 2021-11-07 Introduction 이번 튜토리얼에서는 Dapr를 Kubernetes에 올려보겠다. dapr의 특징인 Service Invocation과 State Management 를 사용할 것이다. Note. 본 소스는 Dapr 공식 Quick Start의 Hello-Kub...