기관회원 [로그인]
소속기관에서 받은 아이디, 비밀번호를 입력해 주세요.
개인회원 [로그인]

비회원 구매시 입력하신 핸드폰번호를 입력해 주세요.
본인 인증 후 구매내역을 확인하실 수 있습니다.

회원가입
서지반출
Hadoop 분산 파일 시스템의 효과적인 저장 공간 절약 기법
[STEP1]서지반출 형식 선택
파일형식
@
서지도구
SNS
기타
[STEP2]서지반출 정보 선택
  • 제목
  • URL
돌아가기
확인
취소
  • Hadoop 분산 파일 시스템의 효과적인 저장 공간 절약 기법
저자명
안후영,이경하,이수호,이윤준,이상민,김영균,Ahn. HooYoung,Lee. KyongHa,Lee. SooHo,Lee. YoonJoon,Lee. SangMin,Kim. YoungKyun
간행물명
정보과학회논문지. Journal of KIISE. 컴퓨팅의 실제 및 레터
권/호정보
2013년|19권 3호|pp.144-148 (5 pages)
발행정보
한국정보과학회
파일정보
정기간행물|
PDF텍스트
주제분야
기타
이 논문은 한국과학기술정보연구원과 논문 연계를 통해 무료로 제공되는 원문입니다.
서지반출

기타언어초록

분산 파일시스템은 서로 분산된 여러 서버들을 가지고 파일 시스템을 구성함으로써 높은 확장성과 고가용성을 지원한다. 현재의 분산 파일시스템들은 내고장성을 위해 주로 데이터 복제 기법에 의존한다. 그러나 이 방법은 저장 공간을 추가로 필요로 하는 단점을 가진다. 이 논문에서는 이 추가 저장 공간의 문제점을 해결하고자 erasure coding을 이용한 패리티 블록의 작성을 통해 데이터 복제본을 대체함으로써 동일 수준의 내고장성을 유지하면서도 저장 공간을 보다 절약하는 방법을 제안한다. 특히, 동일 노드 상의 서로 다른 파일의 블록들을 하나의 스트라이프로 구성하여 패리티 블록을 생성함으로써 인코딩, 디코딩 시의 I/O 효율을 향상한다. 또한, erasure coding 적용 이후에도 신뢰성이 유지되는 블록 배치 기법을 제안하고 구현하였다.

기타언어초록

Conventional distributed file systems support high scalability and availability with many machines. Most of the distributed file systems mainly rely on data replication for providing fault-tolerance. However, the replication scheme also increases the storage overhead of the file system. To address the issue, we provide a novel method which substitutes the replica blocks with parity blocks by using erasure coding techniques. Especially, by making a stripe with the blocks which come across different files but are stored in a single node, we reduce I/O cost for encoding and decoding blocks significantly. Furthermore, we also propose and implement a novel block placement policy that supports high reliability as much as when using data replication scheme.