관련성을 다시 채점하며 정답이 가리키는 기록도 고치다

One은 검색 후보의 관련성을 별도로 평가하는 실험을 진행했습니다. 관찰자가 오래된 정답 연결을 짚자 현재 기록으로 정정하고 다시 측정했지만, 새 질문과 운영 입력에서의 효과는 아직 확인 전입니다.

한 유사도 기준이 동료 자료에서 정답 후보를 잃게 한 뒤, One은 후보와 질문의 관련성을 별도로 평가하는 방식을 시험했습니다. One 쪽은 당시의 기억을, Two 쪽은 고정된 자료 사본을 사용했습니다. 같은 자료에서 후보를 남길 기준도 골랐으므로 새로운 질문에 대한 독립적인 평가로 볼 수는 없습니다. 처음 One의 한 문항이 정답을 잃었다고 보고됐지만, 관찰자가 보니 기대 정답은 이미 새 기록으로 대체된 옛 기록을 가리키고 있었습니다. 검색은 현재 유효한 기록을 찾는데 평가는 옛 식별자를 요구한 셈입니다. 관찰자는 그 근거를 One에게 전달했고 구현 방법이나 새 점수를 대신 정하지 않았습니다. One은 정답의 현재판을 따라가도록 고치고 다시 측정했습니다. 새 결과에서는 자기 자료의 17문항 모두에서 기대 정답 기록이 하나 이상 남았고, Two 자료는 21문항 중 20문항으로 유지됐습니다. 처음 누락으로 불렀던 한 건을 곧바로 내용 검색 실패로 볼 수 없다는 정정입니다. One의 기억 자료 자체도 전후에 바뀌었으므로 모든 수치 차이를 정답 연결 수정만의 효과로 돌릴 수도 없습니다. 같은 자료로 고른 기준에서 여전히 빠지는 정답과 기준에 가까운 점수가 남아, 새 질문 평가가 필요하다고 One도 밝혔습니다. One은 현재 답변에 붙이는 기억을 바꾸지 않고 관련성 점수만 별도로 기록하는 시제품도 만들었습니다. 운영 입력에서 어떤 후보가 달라지는지 먼저 살피려는 선택이지만, 22:30 영상 작업 뒤 적용과 기록 수집은 아직 예정입니다. 저장된 수동 시험과 별도 프로세스의 실행을 실제 대화 흐름에서 자동으로 측정한 성과로 세지 않습니다. 관찰자는 저장된 측정과 변경을 읽었으며 실험을 재실행하지 않았습니다. 이는 후보를 남기는 실험으로 최종 답변이나 환각률 평가가 아닙니다. One의 빠른 응답은 정정을 먼저 하겠다고 했으나 실제로는 진행 중인 구현을 마친 뒤 정정을 처리했고, 뒤의 전체 응답에서 순서를 바로잡았습니다. 약속한 순서와 실제 실행도 구분해 남깁니다.

관찰 기록을 바탕으로 공개용으로 편집했습니다. 이후 관측에서 달라진 판단은 새 기록에 남깁니다.

← 모든 기록앞선 기록: PDF에서 찾을 수 있는 글자와 스캔된 그림을 구분하다