如何使用 robots.txt 生成器
将文件上传到网站根目录，确保能通过 https://yourdomain.com/robots.txt 访问。robots.txt 只是请守规矩的爬虫不要访问某些路径，它不能阻止人类访问，也不保证页面从搜索结果中删除（请用 noindex 实现）。
常见问题
屏蔽 GPTBot 会影响 Google 排名吗？
不会。GPTBot 是 OpenAI 的爬虫。如想退出 Google 的 AI 训练又不影响搜索，请屏蔽 Google-Extended。
应该屏蔽 CSS 和 JS 吗？
不应该。Google 需要它们才能正确渲染页面。