빅데이터를 통해 기대하는 정보의 가치를 위해 데이터의 양과 속도 및 복잡성 등을 효과적으로 다루기 위해서는 분석에 필요한 관련기술이 요구된다. 관련기술은 분석에 필요한 직접 분석기술과 인프라기술로 구분할 수 있다. 빅데이터를 분석하기 위해서는 저장, 정제, 분석, 가시화, 예측 기술이 필요하다. 대부분의 빅데이터는 기존의 컴퓨터로는 처리하기 어려운 비정형 데이터의 특성을 가지고 있다. 기존의 정형 데이터의 경우에도 값이 누락되거나, 형식이 맞지 않거나, 내용에 오류가 있는 경우가 많아서 분석하기에 적당한 형태로 변환해야 할 필요가 있었지만, 빅데이터 분석기술에는 텍스트 마이닝, 평판 분석, 소셜 분석, 클러스터 분석, 복합이벤트 처리로 구분(김상락, 강만모, 2005)할 수 있으며, 정형데이터와는 다소 다른 형태의 분석 방법론을 요구한다. 텍스트 마이닝(text mining)은 자연어 처리기술을 기반으로 비정형 텍스트 데이터에서 의미 있는 정보를 추출하고 다른 정보와 연계성을 파악하여 텍스트가 가진 카테고리를 찾아 내는 기술로써 문서 분류, 문서 클러스팅, 정보 추출, 문서 요약 등이 가능하다.
분석에 필요한 연관 기술이 정보의 가치를 효율적으로 다루기 위해 요구되는 게 뭐니
빅데이터