Cloudflare는 Verified 봇의 신뢰성을 지속적으로 평가하는 시스템을 발표했다. 이 시스템은 봇이 사이트 소유자의 robots.txt 파일 등 선호를 얼마나 잘 준수하는지 관찰하고, 이를 바탕으로 신뢰 점수를 산출한다.
봇은 Web Bot Auth를 통해 신원을 확인하며, BotBase가 이를 기록한다. 그러나 신원 확인만으로는 신뢰를 보장할 수 없기에, 행동 패턴을 지속적으로 모니터링해 악의적이거나 비정상적인 행동을 탐지한다.
시스템은 봇이 사이트의 크롤링 제한 요청이나 HTTP 429(과도한 요청) 신호에 어떻게 반응하는지 평가한다. 요청을 줄이거나 일시 중단하는 행동은 신뢰도를 높이고, 무시하는 행동은 신뢰도를 낮춘다.
이 평가 결과는 '신뢰 밴드'라는 형태로 공개될 예정이며, 사이트 소유자는 이를 참고해 봇 트래픽을 관리할 수 있다. Cloudflare는 이 시스템을 통해 봇 신뢰성을 지속적으로 검증하고, 웹사이트 보호를 강화하는 것을 목표로 한다.
출처: Cloudflare
