빅데이터로 인한 아키텍처 변화

application에서의 데이터 workflow

데이터 발생 => 데이터 적재 => 데이터 정제 => 데이터 분석 => 데이터 표시

 

 

하둡(High-Availability Distributed Object-Oriented Platform)

자바 소프트웨어 프레임워크로 대량의 자료(빅데이터)의 분산 저장과 분석을 위한 분산 컴퓨팅 솔루션

데이터를 처리하는 과정 속에서 데이터를 어떻게 저장하고 저장된 정보를 어떻게 처리하는지와 관련이 있다. 

 

> 빅데이터에서의 분산과 저장의 문제점

수 많은 데이터를 컴퓨터 한 대로 처리하기 어렵고, 한 번에 저장하기 힘들다.

 

> 하둡은 위의 문제점을 해결

수 많은 데이터를 분산하여 일을 처리한다. 

여러 컴퓨터에 저장하고 필요시 알아서 불러온다. 

 

장점 - 데이터 분석 시 효율적으로 나눠서 분석 후 합치기 때문에 빠르다.

단점 - 데이터를 변경하는 것이 불가능하고, 나눠서 처리하기 때문에 신속한 작업에 부적합하다. 

 

https://han-py.tistory.com/361

하둡(Hadoop) 기초 정리

 

Monolithic Architecture vs MSA

MA: 모든 기능이 다 들어가 있다.(ex.MVC 패턴)

• 구현이 빠르다.
• 기능 구분이 어렵다.(스파게티 코드)
• 일하던 분이 퇴사하면 블랙박스 된다.
• 스타트업에서 많이 사용

 

MSA(Micro Serviecs Architectures): 서비스를 쪼개는 것이 최우선이다.

• A기능이 죽어도, B기능은 잘 돌아간다.
• 한 부분이 죽는다고 해도 서비스 전체가 죽지 않는다.
• 대기업 구조. 자동차라면 하나의 부품에 집중

MSA 핵심 - 격리

격리란, A 서비스, B 서비스, C 서비스 각각이 연동은 되어 있지만, 각자 알아서 살아있고, 각자 알아서 죽는 아키텍처를 의미한다. 

 

1. 서비스가 분리된다. 따라서 하나의 서비스에서 여러 서비스가 생긴다.
2. 서비스 별로 API가 나올 수도 있고, 안나올 수도 있지만, 기본적으로는 나온다를 전
제로 한다.
3. 서비스 별 API를 aggregation(모아)주는 API gateway를 통해서 서로 통신을 한다.
기본적으로 서비스 단위로 쪼개고, 서비스를 APi gate로 aggregation한다. 그리고
aggregation 된것을 사용자에서 찔러서 서로 통신하면 된다.

 

MFA(Micro Frontend Architectures)

MSA에서의 데이터의 흐름에 최적화한 Frontend Architectures

 

BFF

MSA라는 서비스 layer와 MFA라고 부르는 fontend 아키텍처 사이에 BFF라는 API
layer를 하나 두는 것 ( API GateWay와 약간 유사 )

---

 

클러스터

DB를 여러개의 서버로 나눠서 저장/처리하도록 하는 형태

 

장점
고가용성(Transactional) : 가용성이 99.999%면 1년간 장애 정지가 5분이다.
병렬처리(Analytic) : 나눠서 처리한다.
성능향상(Online) : 여러 개가 동시에 작업가능하다.

 

(더 알아보면 좋은 keyword)

RDBS

MongoDB

 

MERN Stack