# ==========================================================================
# robots.txt — 로엘법무법인 (LAWL LAW FIRM)
# 공식 사이트: https://lawl.co.kr
# 마지막 업데이트: 2026-05-18
# 정책: 검색 색인 + AI 학습 모두 허용 (콘텐츠 노출 우선)
# ==========================================================================

# --- 모든 봇 공통 정책 ---
User-agent: *
Content-Signal: search=yes,ai-input=yes,ai-train=yes
Allow: /

# 시스템 / 관리자 / 빌드 디렉터리 차단
Disallow: /adm/
Disallow: /mng/
Disallow: /bbs/
Disallow: /extend/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /sp/
Disallow: /video/

# 구버전 URL 패턴 차단 — 신규 사례는 /brand/successView.html?idx=N 만 사용
# /doc/ 트리는 구버전 게시판 시스템 잔재로 권위 분산 원인
Disallow: /doc/case_view.php
Disallow: /doc/

# 크롤 부하 관리 (Googlebot은 이 지시어 무시, Naverbot·Bingbot 등 적용)
Crawl-delay: 5

# --- AI 학습봇 명시적 허용 (필요 시 추후 차단 변경 위한 자리 마련) ---
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: CloudflareBrowserRenderingCrawler
Allow: /


# --- Sitemap ---
Sitemap: https://lawl.co.kr/sitemap.xml

# --- LLM 친화 콘텐츠 가이드 (https://llmstxt.org/ 표준) ---
# /llms.txt 파일 참조 권장