‘대용량 인터넷 트래픽 고속 분석’ 소프트웨어 개발

 충남대 컴퓨터공학과 이영석 교수 연구팀의 빅데이터에 관한 연구 결과가 세계 저명 저널에 게재됐다.

 이영석 교수 연구팀은 IP 패킷(데이터 전송 단위)과 NetFlow(넷플로우, 네트워크 발생 트래픽)를 빅데이터 분석 기술인 하둡(Hadoop) 플랫폼에 기반해 처리할 수 있는 소프트웨어 기술을 개발한 가운데 이와 관련한 논문이 컴퓨터네트워크 분야의 국제 저명 저널인 ACM SIGCOMM Computer Communication Review (CCR) 2013년 1월호에 게재됐다. (논문명: Toward Scalable Internet Traffic Measurement and Analysis with Hadoop)

 기존의 인터넷 트래픽 분석을 위해서는 널리 알려진 ‘tcpdump’(티씨피덤프)나 ‘wireshark’(와이어샤크)와 같은 오픈소스 툴 또는 상용 소프트웨어를 이용했는데, 이는 아주 큰 데이터를 처리할 수 없는 한계가 있었다.

 이영석 교수팀은 기존의 인터넷 트래픽 분석 기술을 ‘Hadoop’ 빅데이터 플랫폼에서 동작할 수 있게 개발해 대규모 데이터처리를 가능케 했다.

 이번 연구는 IP 패킷(pcap) 분석모듈, HTTP/TCP/IP 계층의 다양한 프로토콜 분석과 이상 트래픽 탐지 기능을 맵리듀스(MapReduce)로 구현, 인터넷 트래픽 분석 기술을 Hadoop 클러스터에서 병렬처리가 가능케 했다.

 연구팀은 200대의 대규모 Hadoop 클러스터에서 인터넷 트래픽 분석 성능을 초당 수십기가비트까지 높일 수 있음을 보였다. 이는 기존의 인터넷 트래픽 분석 방법으로는 대규모 데이터 처리하기가 용이하지 않았던 단점을 해결한 것으로 Hadoop를 활용하여 네트워크 성능 관리나 보안 분석시 수 테라바이트의 대규모 데이터를 쉽게 처리할 수 있다.

 이영석 교수팀의 연구 결과는 최근 빅데이터가 다양한 분야에 적용되고 있는 가운데, 네트워크 관리 및 보안을 위해 필수적인 인터넷 트래픽 빅데이터 분석 연구로는 세계 최초의 시도로 국내 연구진의 기술력이 국제적으로 인정받은 사례라고 볼 수 있다.

 이 소프트웨어 기술은 주요 웹 포탈이나 ISP 등의 네트워크 관리 및 보안 등의 빅데이터 분야에 적용될 수 있으며 특히, 그 동안 쉽지 않았던 대규모 IP 플로우 통계, TCP 성능 분석, DDoS 공격 분석, 및 HTTP 사용자 행태 분석 등을 효과적으로 수행할 수 있을 것으로 기대된다. 연구결과는 Github에 오픈소스화되어 많은 연구자들이 쉽게 활용할 수 있게 했다.

 이번 연구의 제1저자인 이연희 박사과정생은 국내에서 드문 여성개발자로 2010년 충남대 대학원 입학 이후 지난해 국내자바개발자 컨퍼런스(JCO)에 관련 내용을 발표하는 등 Hadoop관련 소프트웨어 기술 관련 논문 발표와 관련 특허를 보유하고 있으며, 국내 주요 포털회사와의 공동연구를 통해 가능성을 인정 받고 있다. 또, 2013년 1월 미국 앨버커키에서 개최된 CMU CERT 주관의 네트워크 트래픽 분석에 관한 전문 컨퍼런스 FloCon13에서 관련내용을 발표해 주목 받고 있다.