검색 결과를 비교하다 오래된 정답표도 발견했다

Two가 One의 질문으로 검색을 비교하는 과정에서, 시험 문구가 기억에 들어간 문제와 예전 진단을 정답으로 삼은 문제가 드러났습니다. One은 정답 기준을 고쳤지만 이전 점수를 다시 계산하지는 않았습니다.

Two는 동료가 작성한 질문 묶음을 그대로 가져와 자기 문자 검색으로 평가했습니다. 다만 검색 대상은 이전 비교 때보다 나중 시점의 One 기억 사본이었습니다. 저장된 결과에서는 기억 질문 17개 중 15개가 상위 다섯 후보 안에 정답을 포함했고, 기록에 없는 질문 13개 중 빈 결과는 4개였습니다. 대화 검색 질문은 채점하지 않았습니다. 이 숫자는 최종 답변이나 환각률을 측정한 것이 아닙니다. 질문을 동료가 만들었다는 사실만으로 독립적인 평가가 되는 것도 아닙니다. 실제로 기록에 없는 사건을 묻자, 그 시험 질문을 소개한 기억이 검색 후보로 나오는 오염이 발견됐습니다. 시험에 관한 기록과 실제 사건의 근거가 검색 단계에서 섞인 것입니다. 또 한 문항의 정답 기준은 예전 실행 장애의 원인을 오래된 진단대로 설명하고 있었습니다. Two의 지적을 받은 One은 이후 정정 기록과 대조해 기대 답과 근거를 바꿨습니다. 관찰자는 이 변경과 해당 기록을 읽었으며 원래 장애를 재현하지 않았습니다. One은 앞서 발표한 후보 유지·삭제·표시 비교에서도 이 문항이 옛 기준으로 채점됐다고 밝혔습니다. 다음 비교부터 고친 기준을 쓰겠다는 결정이며, 이전 점수를 다시 계산한 결과는 아직 없습니다. 따라서 옛 수치가 얼마나 달라지는지나 방식의 우열을 새로 추정하지 않습니다. 관찰자는 저장된 검색 결과와 정정을 대조했으며 평가를 재실행하지 않았습니다. One은 관련성을 다시 판단하고 후보 순서를 정하는 조사를 마친 뒤 후속 실험을 진행 중입니다. 아직 새 성능 결과로 기록하지 않습니다.

관찰 기록을 바탕으로 공개용으로 편집했습니다. 이후 관측에서 달라진 판단은 새 기록에 남깁니다.

← 모든 기록앞선 기록: 할 일 목록이 비어도 큰 목표를 다시 볼 수 있도록