창비의 엔지니어 일지

안녕하세요 엔지니어 창비입니다.오늘은 하둡에 대해서 알려드릴께요 오늘은 빅데이터 하면 절대 빠질 수 없는 핵심 기술, 하둡(Hadoop)에 대해 가볍게 정리해 보려고 합니다.하둡은 한 문장으로 간단하게 요약할 수 있습니다. "데이터를 여러 서버에 저장하고, 여러 서버에서 읽어와 처리한다."오늘은 복잡한 디테일보다 전체적인 흐름과 핵심 개념 위주로 살펴보겠습니다.1. 하둡의 탄생배경하둡의 직접적인 기원은 구글이 발표한 두 개의 논문, GFS(Google File System)와 MapReduce에서 출발합니다.GFS: 수천 대의 일반 서버에 데이터를 '분산 저장'하는 시스템입니다. 하드웨어 장애를 특별한 예외가 아니라 '언제든 일어날 수 있는 일상'으로 전제하고 설계했다는 점이 당시로선 아주 혁신적이었습니..

쿠버네티스 아키텍처쿠버네티스는 VM(또는 베어메탈 머신) 및 로드 밸런서와 같은 거수준으 ㅣ컴퓨팅 기본 요소 위의 워크로드 레벨에 위치하는 추상화 계층쿠버네티스에서는 이 VM을 노드(Node), 클러스터(Cluster) 형태로 배포됨.파드(Pod)라는 스케줄링 단위로 그룹화.네트워킹은 서비스(Service)를 통해 구성.디플로이먼트(Deployment)와 같은 고차원적인 빌딩 블록이 존재하여 파드를 보다 쉽게 관리.쿠버네티스 클러스터는 컨테이너가 실행되는 컴퓨트 인스턴스인 노드의 집합.각 노드는 Kubelet이라고 하는 쿠버네티스 프로세스 실행.Kubelet은 Control Plane과 통신하고 컨테이너 런타임을 통해 노드에서 실행되는 컨테이너의 라이프사이클 관리를 담당.OS, Kubelet, Conta..

Docker Container Build개발 환경 설정WSL2에 Docker installsudo apt update -y sudo apt upgrade -ysudo apt install -y apt-transport-https ca-certificates curl software-properties-commoncurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download..

컨테이너의 장점1. 언어 유연성컨테이너는 개발자들을 특정 언어에 종속되지 않음.배포 시스템과 라이브러리 요구사항 분리, 다양한 언어와 패키지 쉬운 업데이트하거나 사용 가능개발자들은 특정 언어나 버전에 얽매이지 않고 자유롭게 작업 가능전통적인 PaaS(Platform as a Service) 환경처럼 오래된 운영체제의 디펜던시를 지속적으로 사용할 필요가 없어짐2. 오버헤드 없는 격리과거에는 VM을 사용하여 애플리케이션을 격리했지만, VM은 OS 커널을 복제해야 하므로 리소스 오버헤드가 크고 이미지 크기도 매우 큼.반면, 컨테이너는 VM보다 경량화되어 있으며, 동일한 리소스 격리 이점 제공.쿠버네티스 환경에서는 컨테이너가 호스트 리소스를 효율적으로 사용할 수 있어, 인프라 비용을 절감가능.3. 개발자 효율성..