낱말 퍼즐의 난이도는 어떻게 정하나
퍼즐이 너무 쉬우면 심심해서 그만두고, 너무 어려우면 답답해서 그만둡니다. 그 사이 어디쯤을 맞춰야 하는데, 그 「어디쯤」을 숫자로 정해 두지 않으면 만드는 사람 기분에 따라 오락가락합니다. 그 숫자를 정하고, 맞추려다 몇 번 빗나간 이야기입니다.
‘열에 여덟’이라는 값
낱말 산책은 맞힐 확률이 여덟 번 중 여덟, 즉 80% 안팎이 되도록 문제를 냅니다. 이 값은 짐작이 아니라 학습 연구에서 오래 쓰여 온 대역입니다. 너무 쉬우면 배우는 것이 없고, 정답률이 절반 아래로 내려가면 대부분의 사람이 그만둡니다. 그 사이에서 배움과 즐거움이 함께 가장 큰 구간이 대략 70~85% 사이입니다.
다만 어르신을 생각해 조금 더 후하게 잡았습니다. 문제를 뽑을 때 이렇게 섞습니다.
| 몫 | 비중 | 노리는 정답률 |
|---|---|---|
| 자신감 | 22% | 92% |
| 주력 | 55% | 80% |
| 도전 | 20% | 70% |
| 탐색 | 3% | 55% |
가중평균이 약 0.81 입니다. 그리고 앱을 켜고 처음 두 문제는 반드시 쉬운 것으로 냅니다. 시작하자마자 막히면 그날은 그냥 닫아 버리시기 때문입니다.
실력은 체스에서 온 방식으로 어림잡습니다
사람의 실력과 문제의 어려움을 같은 자 위에 놓고 견주는 방법이 필요했습니다. 체스 실력 점수로 널리 알려진 Elo 방식을 그대로 썼습니다. 실력을 θ, 문제의 어려움을 b 라 하면 맞힐 확률은 이렇게 나옵니다.
맞힐 확률 = 1 ÷ (1 + 10(b − θ) ÷ 400)
낱말의 어려움은 등급(초급·중급·고급·희귀), 종류(낱말·사자성어·속담), 글자 수를 더해 정합니다. 두 글자 낱말은 쉽고 다섯 글자가 넘어가면 어려워집니다.
그런데 세 번 빗나갔습니다
첫째 — 같은 문제를 푸는 방식이 다르면 난이도가 달라집니다
사자성어와 속담 문제만 유난히 어렵게 나왔습니다. 낱말 난이도만 보고 있었기 때문입니다. 같은 낱말이라도 「직접 떠올리기」와 「넷 중 고르기」는 전혀 다른 문제입니다. 가로세로 낱말판은 글자가 다 주어지고 서로 물려 있어 그 자체가 큰 단서입니다.
그래서 방식마다 얼마나 쉬워지는지를 점수로 매겨 함께 계산에 넣었습니다. 가로세로는 −160점, 첫소리 고르기는 −280점 하는 식입니다. 이걸 넣고 나서야 종류별 정답률이 고르게 맞았습니다.
둘째 — 후보가 모자라면 조절이 통째로 무력해집니다
노리는 난이도 근처에 낱말이 부족할 때, 처음에는 꾸러미 전체에서 아무거나 골라 오도록 해 두었습니다. 편해 보였지만 이건 난이도 조절을 스스로 껐다 켰다 하는 셈이었습니다. 후보가 부족하면 가장 가까운 것들만 골라 오도록 고쳤습니다.
셋째 — 사실은 잘 맞고 있었는데 재는 자가 틀렸습니다
이게 가장 오래 헤맨 일입니다. 아무리 고쳐도 실력 추정이 135점쯤 낮게 나왔습니다. 엔진을 몇 번이나 뜯어봤는데, 원인은 검사 도구에 있었습니다.
실제 앱은 낱말판 하나에서 열다섯 낱말을 모두 기록하는데, 검사 도구는 첫 낱말 하나만 세고 있었습니다.
엔진은 처음부터 제대로 돌고 있었습니다. 고장 난 것이 만든 것인지 재는 자인지부터 의심해야 한다는 걸 비싸게 배웠습니다.
지금은 이렇게 나옵니다
3천 판 가까이 자동으로 돌려 확인한 값입니다.
| 실제 실력 | 앱이 어림잡은 실력 | 정답률 |
|---|---|---|
| 1100 | 1086 | 73% |
| 1300 | 1289 | 76% |
| 1500 | 1528 | 82% |
세 실력대 모두 노리던 70~85% 구간 안에 들어옵니다.
한 번 만난 낱말은 잊을 때쯤 다시 나옵니다
맞힌 낱말을 그냥 흘려보내면 며칠 뒤에 잊습니다. 그래서 기억이 흐려질 무렵에 다시 만나도록 되새김 판을 끼워 넣습니다. 간격 반복(spaced repetition)이라 부르는 방식으로, 기억할 확률이 55~96% 사이로 떨어졌을 때 다시 꺼냅니다. 완전히 잊은 뒤에 보면 처음 보는 것과 같고, 아직 생생할 때 보면 시간이 아깝기 때문입니다.
왜 단계에 끝이 없나
낱말판을 미리 만들어 저장해 두지 않습니다. 단계 번호를 씨앗 삼아 그 자리에서 새로 짭니다. 같은 번호는 언제 열어도 같은 판이 나오고(그래서 이어서 하실 수 있고), 번호에는 정해진 끝이 없습니다. 천 단계든 만 단계든 만들어 둘 필요 없이 나옵니다.
이 값들이 실제로 어떻게 느껴지는지는 직접 해 보셔야 압니다. 너무 쉽거나 너무 어렵게 느껴지시면 알려 주십시오. 설정에 「천천히 즐기기」 를 켜면 문제가 계속 쉬운 쪽으로만 나옵니다.