Property Finder는 중동과 북아프리카 지역에서 매일 수만 장의 부동산 이미지를 처리하며 11가지 품질 속성을 평가한다. 기존 평가 데이터셋은 96.8%가 단일 AI 모델 예측 결과를 그대로 사용해 편향이 심각했다.
이 문제를 해결하기 위해 전문가가 독립적으로 주석한 356장의 이미지를 기반으로 공정한 평가용 데이터셋을 구축했다. 다중 라벨 분류 방식을 도입해 실제 이미지 특성을 더 잘 반영했다.
Amazon Bedrock의 다양한 AI 모델을 대상으로 진화적 프롬프트 최적화 기법을 적용, Llama 4 Maverick 17B Instruct 모델을 선택해 정확도를 47% 향상시키고 비용은 86% 절감했다.
최종 모델은 356장 평가 세트에서 0.80 Micro F1 점수를 기록하며 기존 모델 대비 월등한 성능을 보였다. 또한 추론 지연 시간도 40~60% 감소해 실시간 처리에 유리하다.
이 사례는 AI 모델 평가 시 기존 모델 예측을 그대로 정답으로 사용하는 평가 편향 문제를 경계하고, 전문가 주석과 반복적 최적화를 통한 모델 개선의 중요성을 강조한다.
출처: AWS AI
