# 全botでアクセスブロック
User-agent: *
Disallow: /lawdb/
Disallow: /jinjour/
Disallow: /market/
Disallow: /readers/hr/
Disallow: /seminar/
Disallow: /data/labo/research/limited/
Disallow: /data/store/faq/e_learning/19-el-kantan-manual_ver2.3.pdf

# Bingのボットアクセスを10秒間隔に指定
User-agent: bingbot
Crawl-delay: 10

# 悪質なボットやスパムボットのブロック
User-agent: Sogou Spider
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BaiduSpider
Disallow: /

# SEOツールやマーケティングツールのクローラーのブロック
User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: webmeup-crawler
Disallow: /

User-agent: adidxbot
Disallow: /

# 自動スクレイピングボットのブロック
User-agent: Exabot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: Archive.org_bot
Disallow: /

# 過度なクロールを行うボットのブロック
User-agent: PetalBot
Disallow: /

# その他のボットのブロック
User-agent: GPTBot
Disallow: /

User-agent: Coc Coc Bot
Disallow: /

User-agent: Slackbot
Disallow: /

# ベトナム発の検索エンジン「Cốc Cốc」の公式クローラのブロック
User-agent: coccocbot-web
Disallow: /