2022 K Data 청년 캠퍼스/Big Data

2022 K Data 청년 캠퍼스/Big Data

빅데이터로 인한 아키텍처 변화

application에서의 데이터 workflow 데이터 발생 => 데이터 적재 => 데이터 정제 => 데이터 분석 => 데이터 표시 하둡(High-Availability Distributed Object-Oriented Platform) 자바 소프트웨어 프레임워크로 대량의 자료(빅데이터)의 분산 저장과 분석을 위한 분산 컴퓨팅 솔루션 데이터를 처리하는 과정 속에서 데이터를 어떻게 저장하고 저장된 정보를 어떻게 처리하는지와 관련이 있다. > 빅데이터에서의 분산과 저장의 문제점 수 많은 데이터를 컴퓨터 한 대로 처리하기 어렵고, 한 번에 저장하기 힘들다. > 하둡은 위의 문제점을 해결 수 많은 데이터를 분산하여 일을 처리한다. 여러 컴퓨터에 저장하고 필요시 알아서 불러온다. 장점 - 데이터 분석 시 효율적..

2022 K Data 청년 캠퍼스/Big Data

빅데이터 이해와 활용

빅데이터 기존 데이터보다 너무 방대해 기존의 방법이나 도구로 수집, 저장, 분석 등이 어려운 데이터 3V 1) Volume = 대량의 데이터 얼마나 커야 빅데이터인가? 내가 가지고 있는 IT 기반 시설로 감당하기 어려운 데이터 위치데이타, 구글데이터, 센서데이터 등등 2) Velocity = 실시간으로 감당할 수 없는 데이터 퇴근 시간 강남역의 핸드폰 네비게이션 3) Variety = 텍스트 데이터, 이미지 데이터 등 비정형 데이터 NLP, CV, 관계도 데이터 데이터가 많고, 실시간으로 빠르게 들어오고, 다양한 종류여도 ok 왜 빅데이터가 뜨고 있나? 빠르고 다양한 많은 데이터를 핸들링(저장/분석)이 가능해졌기 때문 어떻게? 1. 반도체 기술 발달 2. 데이터 분산화 기술 발달 3. 데이터 병렬화 기술..

flozl
'2022 K Data 청년 캠퍼스/Big Data' 카테고리의 글 목록