회귀, 점들 사이를 가르는 선

어떤 일을 두고 얼마나 모르는지를 셈으로 잴 수 있을까. 모름이라는 것을 마치 길이나 무게처럼 한 숫자로 적을 수 있을까. 놀랍게도 그런 셈이 있고, 그 셈은 정보를 다루는 학문의 가장 깊은 자리에 놓여 … Read more

한 학생이 시험 공부를 한다. 기출 문제 백 개를 풀고 또 풀어 모든 답을 외운다. 같은 문제를 다시 풀면 만점이다. 그런데 새 시험에서 표현만 조금 바뀐 문제가 나오자 손이 멈춘다. 답을 외웠을 … Read more

날씨를 가늠하는 가장 단순한 방법을 떠올려 보자. 오늘 비가 왔다면 내일도 비가 올 가능성이 조금 높고, 오늘 맑았다면 내일도 맑을 가능성이 조금 높다. 그저께가 어땠는지는 따지지 않는다. 어제도 따지지 않는다. 오로지 오늘의 … Read more

요즘 언어 모델 이야기를 하면 어김없이 나오는 말이 어텐션이다. 영어 단어 그대로 옮기면 주의나 주목쯤 된다. 모델이 어떤 문장을 다룰 때 그 안의 어느 부분에 더 무게를 두고 보는지를 정하는 장치, 그것이 … Read more

요즘 화제가 되는 언어 모델에 관해 이야기할 때 토큰이라는 말이 자주 들린다. 한 모델이 한 번에 다룰 수 있는 글의 길이를 토큰의 수로 잰다고도 하고, 모델을 쓸 때 든 비용을 토큰 단위로 … Read more

여름이 깊어지면 아이스크림이 잘 팔린다. 그리고 같은 시기에 물놀이 사고와 익사 사건이 늘어난다. 두 자료를 나란히 놓고 보면 분명한 함께 움직임이 보인다. 아이스크림 판매가 늘어난 달에는 익사 사고도 많고, 줄어든 달에는 사고도 … Read more

선거가 다가오면 늘 같은 일이 일어난다. 어느 조사 기관에서 천 명을 뽑아 의향을 물어보고는, 오천만 명이 사는 나라 전체의 마음을 가늠한다. 그리고 더 놀라운 일은, 그 가늠이 자주 맞는다는 사실이다. 어떻게 천 … Read more

자연을 가만히 들여다보면 묘한 일이 자주 눈에 띈다. 사람의 키를 잰 자료, 한 학교 학생들의 시험 점수, 공장에서 같은 부품을 깎아 만든 길이의 미세한 어긋남, 같은 저울로 같은 물건을 여러 번 잰 … Read more

우연이 지배하는 일에는 묘한 이중성이 있다. 한 번의 결과는 도무지 알 수 없는데, 같은 일을 아주 여러 번 되풀이하면 전체의 모습은 또렷이 가늠된다는 것이다. 이 긴 반복의 평균이 향하는 자리를 기댓값이라 부른다. … Read more