AI 에이전트가
우리 사이트에서
일을 끝낼 수 있는가

검색 순위가 아니라, 작업이 끝났는지를 잽니다

AOO는 사이트에 실제로 AI 에이전트를 투입해 사람이 시킬 법한 일을 시켜 보고, 그 일이 끝났는지를 기록합니다. 페이지를 훑어 점검표에 체크하는 방식이 아닙니다.

차이는 결과에서 드러납니다. 사람이 보기에 멀쩡하고 검색에도 잘 나오는 사이트가 여기서 F를 받을 수 있습니다. 사람은 버튼을 누르고 기다릴 줄 알지만, 에이전트는 자바스크립트가 그려 줄 화면을 기다리지 않고 처음 받은 HTML만 읽기 때문입니다.

진단 한 번에 일어나는 일

1. 1 · 문 두드리기도메인이 응답하는지, robots.txt가 에이전트를 막는지, 방화벽이 에이전트 User-Agent를 걸러내는지 확인합니다. 여기서 막히면 진단은 시작되지 않고 "차단됨"으로 기록됩니다 — 빠지는 게 아니라 결과로 남습니다.
2. 2 · 안내 파일 확인llms.txt · sitemap.xml(또는 sitemap-index.xml) · robots.txt, 그리고 openapi.json · MCP 엔드포인트 같은 기계용 계약이 있는지 봅니다.
3. 3 · 실제 작업 10개 수행업종에 맞는 10개 작업을 에이전트에게 시킵니다. 매 요청의 URL·출처·상태 코드를 전부 기록합니다.
4. 4 · 완수 여부 판정답이 나왔다고 성공이 아닙니다. 답 속의 근거가 그 사이트가 실제로 보낸 바이트에 있는지까지 대조합니다.

업종마다 다른 10개를 시킵니다

전체 17개 작업 중 그 사이트가 답할 이유가 있는 10개만 고릅니다.

2026-09에 새로 들어온 작업 4종

"답이 나왔다"와 "답을 얻었다"는 다릅니다

에이전트가 문장을 만들어 냈다는 것만으로는 성공이 아닙니다. 그 문장의 근거가 당신 사이트에서 나왔는지를 봅니다.

작업별로 무엇을 "실물"로 보는가

100점은 네 덩어리로 나뉩니다

등급

점수 하나보다 두 축이 많은 것을 말합니다

리더보드의 지도는 종합점수가 아니라 서로 다른 두 가지를 각각 잽니다.

가로축 — 필요한 페이지를 찾아간 정도

세로축 — 답을 완성한 정도

읽히는 것과 호출되는 것은 다릅니다

여기까지는 "읽을 수 있는가"였습니다. 이 항목들은 "시킬 수 있는가"입니다. 230곳 중 이걸 갖춘 곳은 열 곳뿐입니다.

비용 대비 효과 순서

230곳을 재고 나서 실제로 점수를 움직인 순서대로 적었습니다.

1. 먼저 · robots.txt와 방화벽을 확인하세요진단조차 못 한 36곳 중 27곳이 robots.txt로 스스로 막고 있었습니다. 대개 크롤러를 막으려다 에이전트까지 막은 경우입니다. 이건 점수 문제가 아니라 차트에서 사라지는 문제입니다.
2. 다음 · 원문 HTML에 링크를 남기세요가장 흔한 실패 원인입니다. 예약·검색 화면이 전부 자바스크립트 뒤에 있으면 에이전트는 홈에서 한 발짝도 못 나갑니다. 항공사 20곳 평균이 39점인 이유가 이것입니다.
3. 그다음 · 답이 될 실물을 페이지에 두세요요금 페이지에 "문의 바랍니다"만 있으면 완수가 되지 않습니다. 금액·이율·소요일·전화번호처럼 대조 가능한 값이 본문에 있어야 합니다.
4. 그다음 · llms.txt를 올리세요"여기부터 읽어라"를 알려주는 가장 직접적인 수단이고, 파일 하나면 됩니다. 다만 아무도 따라가지 않으면 가로축이 오르지 않으니 실제 주요 경로를 담으세요.
5. 마지막 · 없는 페이지에 200을 주지 마세요230곳 중 56곳이 존재하지 않는 URL에 200 OK를 돌려줍니다. 에이전트는 자기가 엉뚱한 곳에 있다는 걸 영영 알 수 없고, 그 페이지 내용으로 답을 만듭니다. 404를 제대로 주는 것만으로 오답이 줄어듭니다.

표면을 채점하는 진단과, 일을 시켜보는 진단

2026년 8월 기준으로 같은 영역의 도구들을 조사해 우리 방식과 대조했습니다. 결과를 그대로 적습니다.

Vercel·Ora의 is-agentic(118개 체크), Cloudflare Agent Readiness(20만 도메인), AgentSpeed, AgentGrade — 조사한 상용 도구는 모두 사이트의 정적 표면만 채점합니다. 파일이 있는지, HTML이 어떻게 생겼는지를 봅니다. 실제로 일을 시켜보지는 않습니다.

반대로 학계 벤치마크(WebArena·Mind2Web·WebVoyager·WebCanvas)는 작업 완수율을 재지만, 그것은 에이전트의 성적이지 사이트의 성적이 아닙니다. 같은 사이트에 더 좋은 모델을 붙이면 점수가 오릅니다.

조사 결과 우리가 배운 것

실존하지만 넣지 않은 것

• ACP(Agentic Commerce Protocol) — 디스커버리 파일이 없어 탐지가 불가능합니다. OpenAI가 2026년 3월 Instant Checkout을 접었고 끝까지 연동한 가맹점은 30곳 미만이었습니다.
• AP2(Agent Payments Protocol) — HTTP 엔드포인트가 없습니다. UCP 매니페스트에 실린 capability로만 간접 확인됩니다.
• NLWeb — 선언 파일이 없어 /ask·/mcp를 블라인드로 찍어야 하는데 두 경로 모두 흔해서 오탐 위험이 큽니다.
• agents.json과 ai-plugin.json — 전자는 2025년 2월 이후 방치, 후자는 ChatGPT 플러그인과 함께 폐기됐습니다. 지금 발견되면 준비된 것이 아니라 방치된 연동의 흔적입니다.

숫자를 믿기 전에 알아야 할 것

• 한 시점의 공개 페이지만 봅니다. 로그인 뒤 화면, 지역별 차이, 일시적 장애는 관찰되지 않습니다.
• 에이전트는 확률적으로 움직입니다. 같은 사이트를 다시 진단하면 몇 점 차이가 날 수 있습니다. 1~2점 차이를 순위로 읽지 마십시오.
• 완수 판정은 금액·전화번호·주소 같은 대조 가능한 값을 기준으로 합니다. 이런 값이 본래 없는 종류의 답변은 부분으로 기록될 수 있습니다.
• 높은 점수는 보안·접근성·법적 준수의 인증이 아닙니다. 에이전트가 읽고 일할 수 있다는 것만 말합니다.
• 기본 진단은 HTTP 하네스 — 실제 AI가 보는 것 — 로 돌립니다. 사람이 브라우저에서 보는 화면과 다를 수 있고, 그 차이 자체가 진단 대상입니다.
• 차단 벽은 홈페이지 한 장에서 판정합니다. 하위 페이지에만 걸린 벽은 잡히지 않으며, 벤더 지문이 바뀌면 놓칠 수 있습니다.
• 차단은 상시가 아닙니다. 같은 사이트가 몇 분 뒤에는 정상 페이지를 주기도 합니다. 진단서의 차단 표시는 그 시점에 관측된 것이지 항상 막힌다는 뜻이 아닙니다.
• 응답 지연은 진단 서버에서 잰 값이라 네트워크 위치에 따라 달라집니다. 절대값이 아니라 같은 조건에서 잰 상대값으로 읽으십시오.