본 논문에서는 대규모의 배치(Batch) 작업들을 효율적으로 수행할 수 있는 파일럿 작업(Pilot-Job) 기반의 멀티레벨 스케줄링(Multi-level Scheduling) 기법(로컬 배치스케줄러를 통한 에이전트 실행으로써 자원을 확보하고, 작업들은 별도의 큐를 통해 배포 및 실행함)에 대해서 소개하고 이의 장단점을 분석한다. 파일럿 작업에 기반한 효율적인 자원 관리 및 작업 스케줄링을 통해 멀티레벨 스케줄링 기법은 작업 성공률의 향상, 자원 활용의 극대화, 동적 자원 할당 재분배 기능, 다양한 워크로드의 지원 등 많은 장점을 가지고 있다. 본 논문에서는 KISTI에서 연구/개발한 국가슈퍼컴퓨팅 인프라 기반의 HTCaaS 시스템을 통해 이러한 기법의 효과를 실험적으로 확인할 수 있었다.
In this paper, we introduce the concept of pilot-job based multi-level scheduling mechanism(where existing batch schedulers are utilized for submitting pilot-jobs and each pilot-job bypasses the batch scheduler and directly contacts the job queue) which can efficiently execute ensemble of batch jobs and present detailed analysis of the mechanism. By employing multi-level scheduling mechanism, we can effectively improve the task sustainability and the resource utilization, employ dynamic resource allocation, and support various scientific workloads. We experimentally prove the effectiveness of the multi-level scheduling mechanism based on our HTCaaS system which can leverage distributed national supercomputing infrastructures in Korea.
