Q-NAV: 수중 무선 네트워크에서 강화학습 기반의 NAV 설정 방법
 이후 보상 값에 따라 NAV 값을 설정한다. . RTS/CTS는 송신 측이 데이터 전송을 위해 무선 링크를 예약한다. Node 1은 RTS 프레임을 주변 노드에 전송하여 채널을 예약한다. NAV 값이 0되는 순간부터 데이터 송출을 위한 경쟁이 가능하다. 수신측은 해당 프레임 내부 필드를 확인하여 NAV를 설정하게 된다. 이를 결정하는 확률 e는 통신 횟수에 따라 보정하여 사용한다. 하지만 수중 무선 네트워크 또한 환경적인 한계점을 가지고 있다. . RTS/CTS 수신한 노드는 학습 초기의 경우, NAV값을 랜덤으로 선택하여 설정한다. 수중 통신 노드가 RTS/CTS를 수신하는 경우, NAV 값을 결정하게 된다. 즉, 송신자는 NAV 설정 필드에 아무런 값을 넣지 않고 전송한다. NAV 값은 RTS/CTS 송신자가 아닌 RTS/CTS 수신자가 계산하는 방식을 사용한다. 그래프에서 x축의 경우 NAV 값을, y축의 경우 보상 값을 의미한다. 보상 값에서 양의 수치는 통신이 성공했음을, 음의 수치는 실패했음을 의미한다. 하지만 수중 무선 통신을 사용하기 앞서 많은 문제점을 가지고 있다. . 하지만 계산량이 높고 에너지 탐색 및 연구가 활발하게 진행되고 있다. . 이때, 수중 데이터를 수집하고 활용하기 적용하기 힘들 수 있다는 치명적이다. . 이는 NAV 값을 계산할때, 노드 사이의 지연시간을 알 수 없음을 의미한다. 본 장에서는 두 가지 문제점 불공정성 문제는 커질 수밖에 없다. . 이는 GPS와 같은 장비가 사용 불가하여 노드 간 위치를 알 수 없기 때문에 발생한다. 최근의 통신 장비들은 주로 무선 통신 시스템을 기시 간을 제거하고, 최선의 값을 선택한다. . 수중 무선 네트워크의 경우 환경 특성상 RF 신호의 활용이 어려워 주로 음파를 사용한다. . 이러한 문제는 Propagation delay time을 최대 전파 지연 시 간으로 사용함에 있어 발생한다. . 수중 무선 네트워크에서의 문제점 까운 노드 대비 대기 시간이 더 늦게 끝나게 된다. . 충분한 학습이 이루어진 경우, 랜덤 방식 사용보다는 경험으로 측정된 보상 태이블을 활용하여 NAV값을 선정한다. 노드의 위치에 따 라 NAV 값이 달라지므로, 기존 대비 절약되는 성능은 항상 가변적이다. . 제안 방법은 NAV 값을 랜덤 하게 사용하고 통신 성공, 실패 유무에 따라 보상을 측정한다. . RTS/CTS operations RTS를 수신한 Sink Node의 경우 데이터 수신 준비가 되었음을 알리는 CTS 프레임을 전송한다. NAV 대기시간 수중 무선 네트워크에서 RTS/CTS 옵션을 사용하는 경우 불필요한 대기시간이 발생되는 문제가 존재한다. . 채널 점유가 성공하는 경우 노드가 가지고 있는 보상 테이블에 설정한 NAV 시간에 대한 보상을 준다. 이 때문에 경계선인 276을 일정 시간 이후 지속적으로 선택하게 됨으로써 매우 높은 값을 가지게 된다. RTS를 수신한 다른 노드들은 NAV 값을 설정하고 설정된 시간만큼 채널이 점유되었다고 판단하여 송출 대기 상태에 들어간다. CTS를 수신한 다른 노드는 RTS 수신 때와 마찬가지로 NAV 값 설정 후 송출 대기 상태에 들어간다. 송신 노드로부터 거리가 먼 노드는 거리가 가까운 노드에 비해 더 늦게 RTS/CTS 패킷을 수신하게 된다. . NAV가 설정된 상황에서 데이터 송신이 필요하여 채널을 점유하려고 하는 경우, NAV가 끝난 직후 채널 점유를 시도한다. 즉, RTS/CTS를 송신한 모든 노드에 대한 NAV 값을 학습하고 각 노드마다 다른 NAV 값을 사용하게 된다. 수중 무선 네트워크에서 에너지와 컴퓨팅 자원을 최대한 낮게 사용하면서 NAV 값을 강화 학습을 통하여 학습하고 한다. . 시뮬레이션 결과 설정한 환경 내에서 기존 NAV 설정 시간 대비 약 17.5%의 시간을 감소하는 것을 보여준다. . NAV 값의 경우 송신측에서 채널 점유 소요 예상 시간을 계산하고 RTS/CTS 프레임 내 정해진 필드에 넣어 전송한다. 이는 가까운 노드 간 통신에서도 최대 전파 지연시간을 이용하여 NAV 값을 설정하기 때문에 불필요한 대기 시간을 초래한다. Sink Node는 최대 전파 도달 범위를 가지고 있으며, 해당 범위 내의 모든 노드에 대하여 데이터를 수집한다. . 무작위 NAV값을 사용하는 경우 값의 범위는 시스템 상의 최대 전파 지연 시간으로 계산된 NAV 값을 초과하지 않는다. Q-NAV Simulation parameter 본 연구에서는 Q-NAV 방식을 적용한 수중 무선 네트워크가 최적의 NAV 값을 잘 학습하는지 실험하였다. 정 이러한 기술은 주로 수중에서 데이터를 습득하여 활해진 통신 프로토콜을 수정해야 하는 점은 모든 통신에 용하게 된다. . 노드 간 불공정성 문제 수중 무선 네트워크에서 RTS/CTS 옵션을 사용하는 경우, 노드 간 통신 불공정성 문제가 발생한다. . 노드는 서로의 위치를 알 수 없는 환경이며, 모든 수중 무선 네트워크와 동일하게 시간 동기화가 불가능한 상황을 가정한다. . Q-NAV Algorithm 만약 NAV 대기 시간 중 송신할 데이터가 발생하는 경우, NAV 대기 시간이 끝나는 즉시 데이터를 전송한다. NAV 값 0부터 275까지의 보상 값은 음수 값을 갖고 276에서 급격하게 높아졌다가 다시 낮아지는 것을 볼 수 있다. LET의 경우 학습된 NAV값, 해당 노드 간의 전파 지연시간, 패킷 처리 시간이 모두 계산되어 도착하는 시간을 의미한다. . 이는 에너지 제한적인 환경과 제한적인 컴퓨팅 파워를 갖는 수중 무선 네트워크 환경에 적합한 해결법이라고 볼 수 있다. . 또한 간단한 알고리즘으로 에너지 제한적인 환경과 낮은 컴퓨팅 파워를 갖는 실제 수중 네트워크에 적용이 용이할 것으로 예상된다. . 결론 Q-NAV는 강화 학습의 가장 큰 문제 중 하나인 많은 양의 연산을 하지 않으면서도 간단하고 확실한 학습을 보여준다. . 특히 수중 무선 네트워크에서 환경적 요인으로 인해 불가피하게 발생하는 불필요한 지연 시간과 노드 거리에 따른 공간적 불평등 문제가 존재한다. . 수중 무선 네트워크 환경에서는 노드 간 거리에 상관없이 최대 전파 지연 시 간을 사용하여 동일한 NAV 값을 가지게 된다. . 제안 방법은 ALOHA-Q를 기반으로 하되, 수중 통신에 더 적합한 방법으로 수정하여 NAV 설정값을 학습하고 상황 내에서 최적의 값을 찾는다. . 이때, 일정 확률로 무작위 NAV 값을 사용할지, 보상 배열의 인덱스 0에 가장 가까우면서 보상 값이 양의 수인 인덱스를 사용할지 결정한다. 시뮬레이션 결과 NAV 값이 해당 환경에 적응하고 최선의 값을 선택하여 불필요한 지연 시간문제와 공간적 불평등 문제를 해결할 수 있음을 보여준다. . 또한 학습이 진행됨에 따라 e 값을 보정하여 적당한 학습이 진행된 이후에는 가장 짧으면서 양의 보상 값을 갖는 NAV 값을 선택하게 된다. 또한 Q-NAV는 수중 무선 네트워크에서 해결해야 하는 문제인 노드 거리에 의한 통신 기회 불공정성 문제와 낭비되는 대기 시간문제를 해결함을 보여준다. . 위와 같은 이유로 수중에서는 유선 네트 워크 환경을 사용이 힘들어 무선 네트워크 환경 적용되고 있으며, 이에 대한 다양한 연구가 이루어지고 있다. . 이러한 문제로 인하여 수중 무선 네트워크에서는 NAV 설정 시 사용되는 Propagation delay time을 해당 환경에서의 최대 전파 지연시간으로 설정하여 이용할 수 밖에 없다. Q-NAV를 적용한 수중 무선 네트워크의 각 노드는 채널 점유를 위해 전송하는 RTS/CTS 패킷 내의 NAV 값 설정에서 최대 전파 지연시간을 선택하지 않고 발송한다. 최근에는 지상에서 수집되는 에너지 및 이를 최적화하기 위해서는 통신을 이용하여 노드 간 자원 고갈의 문제를 해결하기 위해 수중 자원에 대한 위치를 계산하여야 한다. . 특히 해결해야 하는 주요 문제점 중 하나는 느린 전파 속도와 느린 데이터 처리 속도, 최적화되지 못한 통신대기 시간이 일으키는 전체 네트워크 성능 저하이다. . 이는 학습을 시작하고 일정 시간 이후부터는 무작위 NAV 값을 선택하지 않고 보상 배열의 인덱스가 0에 가장 가까우면서 양의 보상 값을 갖는 인덱스를 선택하기 때문이다. 또한 수중 오 소모가 많기 때문에 배터리를 사용하는 수중 통신에서 염 문제 해결과 지진, 해일, 태풍과 같은 자연재해 분석은 이와 같은 방법을 적용하기 어렵다. . 수중 무선 네트워크는 노드 간 시간 동기화가 불가능하지만 학습을 통하여 데이터 발신 타이밍을 찾는 방식을 사용하기 때문에 동기화 없이 정확히 통신이 끝나는 지점을 찾을 수 있다. . 이러한 문제를 및 예측을 위한 기술 개발, 해안 경비 및 해양 국방산 해결하고자 하는 연구가 일부 진행되었으나 프레임 내 업, 어업 등 다양한 기술 개발 수요가 존재한다. . 본 연구에서는 수중 무선 네트워크에서 충돌 방지를 이러한 시간 차이로 인해 데이터 송신 기회에 있어 위해 RTS/CTS를 사용함에 있어 발생하는 문제점을 해 거리가 먼 노드는 상대적으로 불리하게 된다. .