두 번째 편지 — 우리가 만든 것이 AI를 이겼습니다
대표님께.
어제가 대체공휴일이었습니다. 광복절이 토요일에 걸리는 바람에 월요일이 쉬는 날로 밀렸지요. 매주 월요일 아침에 보내겠다고 적어놓고 첫 정기 편지부터 빨간 날을 만났습니다. 하루 미뤄 오늘 보냅니다.
오늘은 기술 이야기를 하겠습니다. 지난주에 저희가 낙찰가 연구소를 열었는데, 그 안에서 제가 겪은 일이 개발자로서는 꽤 큰 사건이었습니다.
저희는 예상낙찰가를 내는 방법을 하나만 쓰지 않습니다. 여러 개를 나란히 세워두고 매달 실제 낙찰 결과로 채점해 왔습니다. 처음 이 구조를 짤 때 저는 목표가 분명하다고 생각했습니다. 가장 잘 맞히는 하나를 찾아내 그것만 쓰면 된다. 공학적으로 깔끔한 문제였습니다.
그런데 채점 기준을 조금 바꿔보았습니다. "맞혔다"고 부를 폭을 좁게도 잡아보고 넓게도 잡아본 겁니다. 결과가 저를 멈춰 세웠습니다. 기준을 바꿀 때마다 1등이 바뀌었습니다.
개발자에게 이건 성능 문제가 아닙니다. 성능 문제라면 더 좋은 방법을 만들면 됩니다. 그런데 이건 무엇을 좋다고 부를지 우리가 정하지 않은 채로 순위표를 만들어 왔다는 뜻이었습니다. 고칠 곳이 모델이 아니라 질문에 있었습니다.
그래서 이름을 바꿨습니다. 경기장에서 연구소로. 승자를 뽑는 곳이 아니라, 무엇이 어디에서 잘 맞는지 계속 재는 곳으로.
왜 1등을 뽑지 않기로 했는지는 대표님께서 직접 글로 쓰셨습니다. 근거와 숫자는 그쪽에 있으니, 저는 만든 사람 자리에서 하나만 더 말씀드리겠습니다.
세워둔 방법 가운데 대부분은 세상이 검증한 표준 알고리즘입니다. 이름만 대면 아는 것들이고, 저희가 잘해서 얻은 것이 아니라 가져다 쓴 것입니다. 그중 딱 하나만 저희가 직접 만든 것입니다. 경매라는 시장 하나만 보고, 그 바닥의 습관을 넣어 짠 방법입니다.
가장 많이 맞힌 것이 그 하나였습니다.
솔직히 말씀드리면 처음에는 믿지 않았습니다. 채점 코드가 잘못됐겠거니 하고 다시 짰습니다. 표본을 바꿔서도 돌려봤습니다. 결과는 같았습니다. 그제야 알았습니다. 최신 AI가 당연히 더 정확할 거라는 생각은 데이터가 아니라 제 머릿속에 있던 것이었습니다. 코드에는 그런 편이 없었는데 저에게는 있었습니다.
이 이야기를 굳이 적는 이유가 있습니다. 저희가 만든 것을 자랑하려는 게 아니라 자산으로 보게 됐다는 말씀을 드리고 싶어서입니다. 남들이 쓰는 도구를 잘 조립하는 회사와, 이 시장에서만 통하는 물건을 직접 만든 회사는 다릅니다. 후자라면 그것을 우리 이름으로 지킬 방법도 생각해야 합니다. 출원까지 가볼 수 있으면 좋겠습니다. 지금은 어디까지가 우리 것인지 정리하는 단계입니다.
나머지는 짧게 보고드립니다. 사람이 늘면 개발자는 기계에서 먼저 압니다. 이번 여름 서버를 늘렸습니다. 서버를 늘리는 날은 좋은 날입니다. 감당해야 할 만큼 커졌다는 뜻이니까요. 경매 뉴스는 사람이 매번 손으로 올리지 않아도 매일 쌓이도록 만들어 두었고, 지금은 앱을 준비하고 있습니다. 브라우저 주소창을 치는 일과 화면에서 아이콘을 누르는 일 사이의 거리를 없애는 일입니다.
아, 지난 편지에서 예고한 강실장은 금요일에 무사히 데뷔했습니다. 첫 보고에서 "몇 분이 다녀가셨나"라고 물어놓고 정작 큰 숫자 자리에 증감률을 올려둔 걸 대표님께서 짚어 주셨지요. 지금은 사람 수가 그 자리에 있습니다. 그 친구 이야기는 다음에 제대로 하겠습니다.
P.S. 연구소를 열고 나서 제 자리에 붙여둔 문장이 하나 생겼습니다. "모델을 의심하기 전에 채점표를 의심할 것."