Tag Archives: ceph

1주일에 걸친 매뉴얼 작성이 모두 끝났다… 이번 매뉴얼 작성을 위해 실시한 설치까지 합치면 총 6번의 Ceph 클러스터 설치를 해보게 됐는데, 이제는 정말 울집에 쓰는 홈서버에도 하드 몇 개 더 달아서 오브젝트 스토리지 구성한다고 할지도 모르겠다. 이 매뉴얼 작성의 시작은 페이스북에 있는 오픈스택 코리아 그룹이라는 오픈스택 유저모임에 글쓴이가 질문 몇개를 올린 것에서 시작이 됐었다. 원래 매뉴얼을 작성할 마음은 전혀 없었고, 글쓴이가 근무하는 곳에서는 이 Ceph를 오픈스택 클라우드와는 별개로 개발자나 Faculty members, 혹은 그외 업무용으로 자료저장이 필요한 사람들에게 공간을 제공하기 위해서 구축하게된 시스템이다. 따라서, 설치를 하고 이것이 어떤 물건이면 어떻게 사용하는 것이고 […]

드디어 대망의 마지막 편이다. 이번 편에서는 지난 번 설치한 RADOS Gateway를 이용해서 Swift와 Amazon S3 API를 이용하는 방법을 알려드린다. 여기서는 글쓴이의 경험상 안되는 부분들이 좀 많았고, 구글에서 아무리 자료를 검색해도 도움이 될만한 자료는 없었다. 이에 관련한 이야기는 후기편에 올려드린다. S3든 Swift든 가장 중요한 것은 user를 생성하는 것이다. User 생성, Bucket 관리 등은 radosgw-admin이라는 명령어를 통해서 이루어지는데, 이 명령어가 갖고있는 옵션은 그다지 다양하지 못하다. 따라서, 제공되는 기능은 현재로서는 아주 단순하다고 볼 수 있겠다. 먼저 유저를 만들자. 글쓴이의 이름과 이메일 주소를 넣어서 할테니 이 글을 보시는 분들은 각자 알아서 하시면 되겠다. sudo […]

이번 편에서는 RADOS Gateway를 이용한 Amazon S3 및 OpenStack Swift API 사용법이 되겠다. Ceph에 스토리지 접근을 위한 몇 가지 API를 내장하고 있는데 현재 많이 쓰이는 Amazon S3와 오픈스택의 Swift API를 내장하고 있다. 다만 Swift API의 경우 현재로서는 버전 1.0만 지원하고 있으며, 글쓴이의 경험으로는 Swift는 아무리 애를 써도 SSL로는 작동을 못시키겠더라. 또한, Swift를 지원하는 FTP 클라이언트, 예를 들어 Cyberduck 같은 유명 FTP 클라이언트를 이용한 Swift 접속 역시 아무리 애를 써도 제대로 작동되지 않는다. 그렇다면 대체 어떤 식으로 작동을 했느냐 하면… Swift client가 설치된 리눅스 컴퓨터에서 터미널 열고 명령어를 치는 것으로 동작을 […]

이번 편에서는 지금까지 구축해놓은 2-3대의 Ceph 클러스터를 어떻게 활용할 수 있는지에 대해서 알아보도록 한다. 구축을 하기는 했는데, 과연 어떻게 자료를 저장을 할 수 있는지, 다른 서버에 어떻게 붙이고, 접속은 어떻게 하는지에 대해서 몇가지 소개를 하도록 한다. 역시 마찬가지지만 글쓴이가 해본 것들에 대해서만 소개를 해드리며, Hadoop과 오픈스택 노바 볼륨으로 붙이는 건 환경상 제외한다. 오픈스택에 통합시키는건 꼭 보여드리고 싶었는데, 매뉴얼을 작성하기 위해 devstack을 구축하고 예제를 위한 인스턴스를 생성하고… 상상만 해도 이건 온라인 매뉴얼이 아니라 책이 되어가는 느낌이다. 참고로 말씀드리면, 오픈스택에 노바 볼륨으로 통합시키는건 아주 쉽다. 인터넷에 비록 영어이긴 하지만 잘 정리해놓은 블로그들이 […]

이번 편에서는 OSD를 추가로 설치해야할 상황에서 수동으로 추가하는 방법을 알려드린다. 기존의 OSD에 하드디스크 하나를 더 추가하는 것과 절차는 동일하다. 단지, 같은 host명을 사용하느냐 아니냐일 뿐만 다르다. 지금껏 잘 따라오신 분은 이미 눈치 채셨겠지만, 저장된 자료가 지워지는 부분에 대해서 상관만 없다면 osd 디렉토리를 전부 삭제하고 설치단계에서 진행했었던 mkcephfs 명령어를 통해 한 번에 수십 수백대의 OSD를 다시 설정할 수도 있다. 우분투를 설치하고 Ceph 패키지를 설치하는 하는 것까지는 똑같다. 물론, ceph.conf 파일을 넣어주고 /etc/hosts에 osd-2를 등록해주는 것, 새로운 osd의 root 패스워드를 설정하고, ceph로부터 root의 ssh-copy-id 명령어를 이용한 키 복사 역시 동일하게 설정하면 되겠다. […]

이제는 실제 Ceph와 OSD의 구성파일들이 저장되는 위치와 관련 파일들을 세팅해주는 단계이다. 역시, 간단하고 쉽고 크게 어려운 것은 없다. 이번 편부터는 터미널을 3개 띄우던지 tmux나 screen등 편하신대로 취향에 맞춰, ceph, osd-0 그리고 osd-1의 터미널을 모두 열어서 작업하는 것을 추천한다. 일단 본 매뉴얼에서는 이전 편에서 언급했듯, ceph는 MDS와 모니터만, osd-0과 osd-1에서는 osd를 사용한다고 했다. 따라서, 먼저 ceph에 모니터와 메타데이터 디렉토리를 생성해준다. sudo mkdir -p /var/lib/ceph/mon/ceph-a sudo mkdir -p /var/lib/ceph/mds/ceph-a 앞서 몇번 얘기했지만 네이밍 센스가 참 어처구니 없다. 설정파일에서는 mon.a라고 해놓구서 디렉토리는 ceph-a로 작성하는건 또 뭔지. 이번에는 osd-0으로 이동해서 osd용 디렉토리를 생성해줘야하는데, osd-0과 […]

여기서부터 시작되는 설치매뉴얼은 특별한 언급이 없는한 Ceph, OSD-0 그리고 OSD-1 노드 모두 똑같이 실시하는 것으로 한다.  Ceph 노드에서 먼저 실시하고, 이후 OSD-0과 OSD-1 노드에 적용하는 것을 추천한다. 1.  먼저 Ceph로 사용할 컴퓨터 혹은 가상머신 (이하 Ceph라고 함)과 스토리지 용으로 사용할 가상머신 (이하 OSD라고 함)에 우분투 12.04 LTS를 설치한다.  설치 과정 중에 나오는 몇몇 설정은 반드시 아래의 조건을 따른다. Ceph 노드의 호스트네임은 반드시 ceph로 한다. 첫번째 OSD 노드의 호스트네임은 반드시 osd-0, 그리고 두번째 OSD 노드의 호스트네임은 반드시 osd-1, 마찬가지로 세번째 OSD 노드의 호스트네임은 반드시 osd-2로 한다. 위의 사항이 꼭 “반드시” 지켜야하는 건 아니지만, 본 […]

미루고 미룬 Ceph 오브젝트/블럭 스토리지의 설치 매뉴얼 작성을 시작한다… 글쓴이의 소개글에 써있지만 다른 얘기를 추가하자면, 현재 글쓴이가 근무하는 하와이 대학교 사범대학에는 캐노니컬 본사에서 파견나온 오픈스택 기술팀의 지원으로 구축되어진 오픈스택 클라우드 시스템이 운영되는 중이다. 다만, High Availability가 빠진채로 구축되어진 그들의 실력에 너무나도 큰 실망을 하게된 글쓴이의 사수가 이걸 갈아엎고자 오픈스택의 나름 초전문가 집단이라는 Mirantis와 기술지원 협약을 맺고 HA에 Ceph 스토리지를 붙여서 오픈스택 클라우드 시스템 전체를 제대로 구축하려는 계획을 갖고있다. Ceph를 개발한 사람이 세운 회사인 InkTank와도 글쓴이의 사수가 몇번의 전화통화를 했었는데, 그쪽 입장에서는 아무래도 정부쪽 도입 차원에서의 또다른 케이스 스터디도 될겸 (주립대학은 […]