TA Engineer

개요 Zookeeper 환경을 구성해보고, 설치해보며 실습환경 구성 설치 전 환경구성... VirtualBox에서 Vagrant로 Provisioning 하여 총 3개의 Server 구성 CentOS 7.6 mgmt01 mgmt02 mgmt03 IP 192.168.56.11 192.168.56.12 192.168.56.13 CPU 1 1 1 MEM 2G 2G 2G 1. Zookeeper 설치 전 세팅 (모든 서버) Master - Slave 간 통신을 위해 방화벽 해제 1.1 방화벽 비활성화 # systemctl stop firewalld # systemctl disalbe firewalld 1.2 SELinux 비활성화 # setenforce 0 # sed -i 's/^SELINUX=.*/SELINUX..

Zookeeper Zookeeper는 분산 애플리케이션을 위한 코디네이션 시스템 Hadoop Eco System에서 사용되는 회복성 있는 분산 설정 서비스 Zookeeper 안에서는 설정 데이터가 파일시스템과 Znode라는 노드 트리에 저장 각 ZNODE는 데이터를 가지고 있으며 0개 이상의 자식 노드를 가질 수 있슴 클라이언트는 하나의 주키퍼 서버와 연결을 맺고 ZNODE를 생성/조회/수정/삭제 Zookeeper 특징 클러스터에서 하나의 서버에 모든 작업이 진행되면, 작업이 진행되는 서버가 단일 실패지점 (SPOF, Single Point Of Failure)이 됨, 따라서 이로 인한 리스크를 줄이기 위해 분산 서버 관리 기술 즉 Zookeeper를 사용 분산처리 환경에서 예상치 못한 예외 케이스가 자..

개요 Hadoop에 대해서 간단한 이론과 Hadoop v1.x, v2.x 버전의 차이점에 대해 알아보도록 하겠습니다. Hadoop 대용량의 검색엔진을 개발하는 과정에서 대용량의 비정형 데이터를 기존의 RDB 기술로 처리가 힘들다는 것을 꺠닫고, 구글의 GFS와 MapReduce 논문을 기반으로 개발된 프레임워크 입니다. 기존 성능이 높은 컴퓨터를 사용하여 Data를 처리하는 방식에서, 범용 컴퓨터를 클러스터화 시켜서 큰 크기의 Data를 병렬 처리하도록 구성하여 처리속도를 높이는 것을 목적으로 분산처리를 하도록 만든 것이 Hadoop 입니다. 적은 비용의 장비 구성으로 빠른 속도의 Data 처리를 수행할 수 있게 되었습니다. Hadoop 구성요소 ● Hadoop Common ○ Hadoop의 다른 모듈을..

개요 Hadoop Eco System 에 대한 개념 정리를 목적으로 정리하겠습니다. Hadoop Eco System 1. Hadoop Eco System 이란? 먼저, Hadoop Eco System은 크게 말하면 "다양한 서브 프로젝트들의 모임"이라고 말할 수 있습니다. Hadoop의 Core Project는 HDFS, MapReduce 이지만 그 외에도 다양한 프로젝트들이 많은데 이러한 프로젝트들의 모임을 Hadoop Eco System이라 지칭합니다. 1.1 Hadoop Eco System Architecture Hadoop Eco System에 대한 Framework들의 구성도 입니다. 다음은 Hadoop Eco System의 구성도를 도식화한 것입니다. HDFS 2. HDFS 란? Hadoop ..