Data/Hadoop

이번 포스팅에서는 하둡은 완전 분산 모드로 설치하는 것을 해보겠다. 완전 분산 모드는 실사용할 때 하둡이라고 보면 된다. 여러 개의 서버를 묶어서 분산 처리할 수 있게 되는데 개인의 환경에서 실제로 여러 개의 서버를 구성하기는 힘들어서 Docker를 이용하여 여러 개의 컨테이너를 마치 클러스터처럼 사용하여 구성해보려고 한다. Standalone과 Pesudo-Distributed 모드에 대한 설명은 다음 포스팅에서 확인할 수 있다. [Hadoop] 도커(Docker)로 하둡 설치하기 (Standalone) 하둡의 설치 방식에는 총 3가지 버전이 있다. 1. 독립실행모드(Standalone) 2. 가상분산모드(Pseudo-distributed) 3. 완전분산모드(Fully distributed) 이번 포스..

이전 포스팅에서 독립실행모드로 하둡을 설치해보았다. 이번 포스팅은 하둡의 3가지 모드 중 가상분산모드로 설치해 볼 것이다. 독립실행모드가 하나의 로컬 환경으로 그냥 하둡을 설치하는 것이라면 가상분산모드는 한 대의 장비로 클러스터를 구성하기 때문에 완전분산모드랑 같은 환경으로 설치할 수 있다. 한 대의 장비지만 클러스터로 구성해서 Single Node Cluster 모드라고도 불린다. 보통 완전분산모드에서 맵리듀스가 잘 돌아가는지 테스트하거나 디버깅하기 위해 많이 쓰는 모드라고 한다. 실행 환경 이전 포스팅에서 Standalone 모드로 구성한 Centos 컨테이너에서 이어서 진행을 할 것이기 때문에 처음부터 시작하는 것이라면 이전 포스팅을 참고하길 바란다. [Hadoop] 하둡 설치하기 (Standalo..

하둡의 설치 방식에는 총 3가지 버전이 있다. 1. 독립실행모드(Standalone) 2. 가상분산모드(Pseudo-distributed) 3. 완전분산모드(Fully distributed) 이번 포스팅에서는 독립실행모드로 어떻게 설치하는지에 대해 알아볼 것이다. 독립실행모드는 하둡이 설치된 로컬환경에서만 실행되기 때문에 로컬모드라고도 불린다. 분산환경에서 맵리듀스를 하지 않는다. 실행 환경 docker를 이용한 컨테이너 환경에서 독립실행모드를 설치할 것이며 사용할 OS는 centos이다. 본 포스팅에서는 centos 이미지를 빌드하여 컨테이너를 만드는 것은 설명하지 않고 이전 포스팅을 참고하길 바란다. [Docker] Docker로 리눅스(centos) 설치 centos 이미지 가져오기 $ docker..