인체영역 네트워크의 특성으로, 극심한 신호감쇄, 생체이식을 위한 센서의 소형화, 높은 신뢰성과 에너지 효율성에 대한 문제, 정보처리 효율과 낮은 지연시간에 대한 요구가 존재한다. 이러한 특성들을 감안하며 인체영역 네트워크(BAN)를 위한 네트워크 프로토콜을 설계하는 데에는 세심한 노력이 필요하다. 이 논문에서는 인체영역 네트워크를 구상함에 있어 에너지 효율에 대한 고려뿐 아니라, 최소한의 홉만을 사용하여 손실률을 감소시키기 위한 방안을 모색하였다. 특히, 센서 노드로부터 싱크 노드로 향하는 경로를 탐색하고 활용하는 과정에 Q-learning을 적용함으로써, 복잡한 계산과 잠재적 모델이 요구되지 않는 준 최적 정책수립을 가능하게 하였다. 이 논문에서 제안된 Q-learning기반 라우팅 프로토콜(QRP)은 효율적으로 최적의 경로를 선택하여, 패킷 손실률을 감소시킴과 동시에 BAN의 센서 노드들의 에너지 소모를 균등화 한다. 제안된 라우팅 프로토콜의 시뮬레이션을 통하여, 패킷 손실 제어능력에 대한 향상뿐 아니라, 에너지 균등 라우팅과 최소 홉 라우팅 간의 최적화를 확인할 수 있으며, 기존의 연구를 개선하는 결과를 보인다.
Body area networks (BANs) have some unique characteristics like severe attenuation, miniaturized size of in-vivo sensors, high reliability and energy efficiency requirement, and higher throughput and low latency requirement etc. Due to meet these inimitable requirements, it is challenging to design network protocols for body area networks (BANs). In this paper, we focused on energy-efficient and minimum hop routing with lower dropping rate for body sensor networks. Here we used Q-learning approach for exploring and exploiting route from sensor nodes to sink node of body area networks that can produce near-optimal policies without complex computation and underlying model. The proposed Q-learning based routing protocol (QRP) efficiently selects the optimal route while maintaining lower packet dropping rate with nearly balanced energy consumption of sensor nodes of BANs. Simulation study shows that he proposed routing protocol outperforms in controlling packet dropping rate and launching tradeoffs between energy balanced routing and minimum hop routing.
