홈앤서비스 SK BROADBAND

이미 아는 정보들을 잘 조합하면 아직 모르는 정보를 알 수 있어요.
데이터를 많이 모으면 모을수록 더 정확하게 미래를 예측할 수 있지요.
아주 많은 양의 데이터, 그게 바로 빅 데이터예요.
빅 데이터는 미래를 예측하는 도구랍니다!

미래, 아직 도래하지 않은 현실. 무한한 가능성의 영역이기도 하지만, 끝없는 두려움의 원인이 되기도 해요. 미래를 향한 기대와 걱정은 우리에게 큰 에너지가 되기도 하지만 거꾸로 주저하고 망설이게 만들기도 하죠. 그래서일까요? 인류의 어느 문화권을 둘러보더라도 미래를 예측해 보기 위한 노력의 흔적들을 발견할 수 있어요.
동아시아권의 사람들은 천체의 움직임 패턴을 분석하여 ‘음력’이라는 달력을 만들었고, ‘24절기’라 불리는 미래 예측의 산물을 만들어 냈어요. ‘입춘’이 되면 봄이 오고 ‘처서’가 지나면 선선해지고 ‘동지’가 오면 밤이 가장 길어지고…… 하는 24절기 말이에요.
요즘은 훨씬 더 정밀한 방식으로 미래를 예측할 수 있어요. 기상청에서는 슈퍼컴퓨터를 활용해 가까운 미래의 날씨와 기온, 풍속까지도 예측할 수 있어요. 이런 첨단 기술도 따지고 보면 “미래의 일을 알고 싶다.”라는 욕구에서 출발했다는 사실이 무척이나 재미있지 않나요?
더 재미있는 사실 하나 알려 줄까요? 실은, 조상님들이 천체를 관측하여 절기를 알아내는 과정이나, 현대의 기상청이 일기 예보를 만드는 과정은 모두 동일한 작업이에요. 바로 ‘빅 데이터’ 분석이라는 작업이랍니다. 요즘은 빅 데이터를 활용해 인간보다 더 똑똑한 인공 지능(AI)을 만들고 있기도 하죠.
대체 빅 데이터가 도대체 무엇이기에 미지로 가득한 미래를 예측하는 도구로 사용될까요? 그리고 어떤 가능성과 위험성을 가졌을까요? 〈미래를 여는 키워드〉 시리즈 일곱 번째 권, 《빅 데이터가 뭐예요?》에서 자세히 알려줄게요.

작가의 말 4

1장 게임에서 시작된 통계학, 빅 데이터의 시대로
게임에서 항상 이길 수는 없을까? ……10
도박이 아니라 수학입니다만 ……13
일기 예보와 주사위 놀이의 공통점 ……14
미래를 예측하는 수학 공식, 베이즈 정리 ……17
베이즈 정리 계산을 위한 재료, 데이터 ……20
컴퓨터 공학의 갑작스러운 발전 ……24

2장 빅 데이터가 뭐예요?
어떤 데이터가 빅 데이터일까? ……32
앞으로 어떤 종류의 빅 데이터가 주목받을까? ……36
데이터를 모으는 건 너무 힘들어! ……40
자동으로 데이터를 수집하는 기계 _ 스크래퍼 ……41
정보를 손질해 빅 데이터 완성! _ 프리프로세싱 ……44
스마트폰과 SNS, 전 세계 사람들의 일상을
빅 데이터로 ……47

3장 빅 데이터를 모아서 어디에 사용할까?
빅 데이터를 분석하는 이유는? ……56
오지 않은 미래를 예측하다 _ 외삽 ……57
잃어버린 정보를 복구하다 _ 내삽 ……60
나도 몰랐던 내 취향을 만나다 _ 클러스터링 ……62
인간의 직관을 기계에 이식하다 _ 분류 ……65
온도, 점수, 가격까지 예측하다 _ 회귀 ……67
세상이 변화하는 패턴을 발견하다 _ 마르코프 체인…69
컴퓨터에게 창의성을 허락하다 _ 생성 ……73
합당한 결론을 도출하다 _ 가설 검정 ……77

4장 빅 데이터, 인공 지능 세상을 열다
베이즈 정리 계산을 위한 재료, 빅 데이터 ……80
빅 데이터를 대신 계산해 주는 기계 ……81
기계가 점점 더 똑똑해지는데요? ……84
빅 데이터를 읽는 ‘해독기’ ……88
AI의 판단을 인간은 이해하지 못한다고? ……89
사람보다 똑똑한 AI의 등장 ……91
빅 데이터의 한계 ……95
양질의 빅 데이터 수집 방법, ‘도둑질’! ……100

5장 위험한 빅 데이터
빅 데이터가 만드는 ‘보이지 않는 감옥’ ……106
내 가족의 비밀까지 들여다본다고? ……110
기업이 내 돈을 조종한다! ……112
나를 세상과 단절시키는 ‘SNS 데이터’ ……114
인간의 실수를 따라 하는 AI ……118

에필로그_식재료가 중요할까, 요리사가 중요할까?_122