-
Trình Thực Thi
Trình biên dịch Python Trình biên dịch C++ Trình biên dịch C Trình biên dịch Matplotlib Trình thông dịch Node.js Trình thông dịch PHP Trình biên dịch C# / .NET Trình biên dịch Rust Ruby Interpreter Trình biên dịch Java Trình biên dịch Go Trình biên dịch Kotlin Trình biên dịch Swift Trình biên dịch TypeScript
-
Học lập trình
Trung tâm học Python Ví dụ chạy được, NumPy, pandas và nhiều nội dung khác Trung tâm học C và C++ Con trỏ, bộ nhớ, STL và C++ hiện đại Trung tâm học C#C# cơ bản, OOP, LINQ, async và bài tập .NET Thuật toán Python Tìm kiếm, sắp xếp, đệ quy và trình mô phỏng O(n) Thuật toán C và C++ So sánh cách cài đặt bằng C và C++
- Thử thách
Generators
Robots.txt Generator
Build a valid robots.txt for your site with rules for search engines and AI crawlers.
- Runs in your browser
- Instant results
- Free, no sign-up
Loading the tool…
How to use the Robots.txt Generator
- Choose the default rule and list paths to block.
- Add rules for specific robots and your sitemap URL.
- Copy or download robots.txt and put it at your site root.
Frequently asked questions
Does robots.txt hide pages from Google?
No. It stops crawling, but blocked URLs can still be indexed if linked. Use noindex to keep pages out of results.
Where must robots.txt be placed?
At the root of the domain, for example https://example.com/robots.txt.
Do all bots obey robots.txt?
Reputable crawlers do. Malicious bots ignore it, so never use it to protect private content.
Luyện Python với thử thách lập trình
Giải các bài tập thực tế ngay trên trình soạn thảo này: chạy kiểm thử mẫu, nộp bài và nhận đánh giá code từ AI.