Scott Clark와 함께 알아보는 평가 지표가 놓치는 에이전트 실패 사례를 찾는 방법

“The best thing about a black box optimizer is it'll optimize anything you want, and the worst thing is it'll blindly optimize anything you want.”

블랙박스 최적화 도구의 가장 큰 장점은 당신이 원하는 무엇이든 최적화해준다는 것이고, 가장 큰 단점은 당신이 원하는 것을 맹목적으로 최적화해버린다는 것입니다.

Scott Clark·07:10

최적화 도구가 비즈니스 맥락을 무시하고 수치만 높이려다 발생하는 오버피팅 문제를 설명하며 한 말입니다.

“Telling a computer what you actually want is actually an incredibly difficult thing to do.”

컴퓨터에게 당신이 실제로 원하는 것이 무엇인지 말해주는 것은 사실 엄청나게 어려운 일입니다.

Scott Clark·07:30

보상 함수나 평가 지표를 설계할 때 인간의 의도를 정확히 반영하기 어렵다는 점을 강조하며 한 말입니다.