전체 글

이번 포스팅에서는 하둡은 완전 분산 모드로 설치하는 것을 해보겠다. 완전 분산 모드는 실사용할 때 하둡이라고 보면 된다. 여러 개의 서버를 묶어서 분산 처리할 수 있게 되는데 개인의 환경에서 실제로 여러 개의 서버를 구성하기는 힘들어서 Docker를 이용하여 여러 개의 컨테이너를 마치 클러스터처럼 사용하여 구성해보려고 한다. Standalone과 Pesudo-Distributed 모드에 대한 설명은 다음 포스팅에서 확인할 수 있다. [Hadoop] 도커(Docker)로 하둡 설치하기 (Standalone) 하둡의 설치 방식에는 총 3가지 버전이 있다. 1. 독립실행모드(Standalone) 2. 가상분산모드(Pseudo-distributed) 3. 완전분산모드(Fully distributed) 이번 포스..

MySQL을 클라우드 서버에 올려서 사용하고 싶어 Docker로 간편하게 MySQL 서버를 띄우는 법을 알아보겠다. 설치 전 준비 AWS에 회원가입이 되어 있어야 하며 Docker의 설치가 되어 있어야 한다. Docker의 설치는 다음 포스팅을 참고 바란다. [AWS] AWS EC2 Linux 2에 Docker 설치하기 AWS EC2에서 Docker를 설치하는 법을 알아보겠습니다. 1. yum update $ sudo yum update -y 2. Docker 설치 $ sudo amazon-linux-extras install docker 3. Docker service 시작 $ sudo service docker start 4. D.. mungiyo.tistory.com MySQL 컨테이너 띄우기 1...

centos 컨테이너를 만들어서 systemctl 명령어를 사용하려고 하는데 안 되는 경우가 있을 것이다. $ systemctl System has not been booted with systemd as init system (PID 1). Can't operate. Failed to connect to bus: Host is down 기본 centos 이미지는 cgroups(control groups)를 이용할 수 없어 systemctl을 사용할 수 없는 문제로 발생한다. 이를 해결하기 위해서 다음의 명령어를 사용한다. $ docker run --privileged -d --name /sbin/init 도커 컨테이너는 기본적으로 Unprivileged 모드로 실행되게 되는데 이 모드에서는 시스템의 주..

블로그를 시작한 지 거의 한 달이 다 되어가는데 시간은 진짜 빠르게 지나가는 것 같다. 2019년 1월 21일에 입대를 하고 2020년 8월 27일에 전역을 하게 되었는데 벌써 2021년의 끝이라는 게 실감이 잘 나지 않는다. 그리고 엊그제 전역한 내가 이제 취업준비를 시작해야 한다는 것이 슬프지만 나의 인생 2막이 펼쳐질거라는 것의 기대감도 있다. 이제 새로운 2022년을 맞이하기 전에 나의 1년은 어땠는지 회고를 한번 해보려고 한다. 그리고 내년에는 무엇을 해야 할지도 생각해보자. 무엇을 해야할까 작년에 8월 말에 전역을 하고 3달 간은 펑펑 놀았던 것 같다. 보통 군대를 전역하고 놀지 않는가? 그래서 일단 대책 없이 놀았었다. 코로나로 인해 여행을 가지는 못한 게 아쉽기는 하다. 그래도 최대한 군대..

블로그를 시작하기 전인 6월 말에 한국데이터산업진흥원과 과학기술정보통신부에서 주관한 데이터 청년 캠퍼스라는 것에 참여를 했었다. 이 대외활동 후 거의 6개월 정도 되는 시간이 흘렀는데 원래는 후기를 작성하는 것에 그렇게 생각이 없었다. 그런데 생각해보면 나도 이 활동에 참여하려고 많은 검색과 후기들을 둘러봤던 것을 생각해보면 나도 내년에 할 수도 있는 이 데이터 청년 캠퍼스를 참여하려는 사람에게 도움이 되었으면 좋겠다고 생각해서도 있고 한 번 이 활동에서 내가 뭘 했고 뭘 얻었는지 정리해 보려고 작성하는 것도 있다. 일단 데이터 청년 캠퍼스가 뭔지 모르는 사람들을 위해 간단히 설명하자면 데이터를 활용하는 산업의 인재를 양성하기 위한 취지로 정부에서 주관하는 사업으로 데이터 분석가나 AI 관련 전문가들이 ..

이전 포스팅에서 독립실행모드로 하둡을 설치해보았다. 이번 포스팅은 하둡의 3가지 모드 중 가상분산모드로 설치해 볼 것이다. 독립실행모드가 하나의 로컬 환경으로 그냥 하둡을 설치하는 것이라면 가상분산모드는 한 대의 장비로 클러스터를 구성하기 때문에 완전분산모드랑 같은 환경으로 설치할 수 있다. 한 대의 장비지만 클러스터로 구성해서 Single Node Cluster 모드라고도 불린다. 보통 완전분산모드에서 맵리듀스가 잘 돌아가는지 테스트하거나 디버깅하기 위해 많이 쓰는 모드라고 한다. 실행 환경 이전 포스팅에서 Standalone 모드로 구성한 Centos 컨테이너에서 이어서 진행을 할 것이기 때문에 처음부터 시작하는 것이라면 이전 포스팅을 참고하길 바란다. [Hadoop] 하둡 설치하기 (Standalo..