Đã bao giờ bạn hình dung làm sao một Robot của công cụ tìm kiếm có thể phân tích dữ liệu của một Website để Index (chỉ mục) không? Đôi lúc bạn muốn Google Bot nhanh Index trang Web của bạn hoặc không Index (chỉ mục) một trang cụ thể nào đó.
Vậy làm cách nào bây giờ? Tôi có thể trả lời ngay cho bạn – Cách tạo File robots.txt là gì cho WordPress ngay.
Bài viết này sẽ hướng dẫn cho bạn:
- Hiểu rõ khái niệm File robots.txt là gì
- Cấu trúc cơ bản của một file robots.txt là gì
- Có những lưu ý nào khi tạo lập robots.txt WordPress
- Tại sao phải cần robots.txt cho website của bạn
- Cách tạo lập 1 file hoàn chỉnh cho Web của bạn
- file robots.txt
- robots.txt là gì
- file robots.txt chuẩn
- file robot.txt có tác dụng gì
1. Khái niệm File Robots.txt là gì?
File robots.txt là một tập tin văn bản đơn giản có dạng .txt. Tệp này là một phần của Robots Exclusion Protocol (REP) chứa một nhóm các tiêu chuẩn Web quy định cách Robot Web (hoặc Robot của các công cụ tìm kiếm) thu thập dữ liệu trên Web, truy cập, Index nội dung và cung cấp nội dung đó cho người dùng.
REP cũng bao gồm các lệnh như Meta Robots, Page-Subdirectory, Site-Wide Instructions. Nó hướng dẫn các công cụ của Google xử lí các liên kết. (ví dụ: Follow hay Nofollow link).
Trên thực tế, tạo robots.txt wordpress giúp các nhà quản trị Web linh hoạt, chủ động hơn trong việc cho phép hay không cho các con Bot của công cụ Google Index một số phần nào đó trong trang của mình.
2. Có cú pháp nào trong File Robots.txt ?
Các cú pháp được xem là ngôn ngữ riêng của các tập tin robots.txt. Có 5 thuật ngữ phổ biến mà bạn sẽ bắt gặp trong một file robots.txt là gì? Chúng bao gồm:
- User-agent: Phần này là tên của các trình thu thập, truy cập dữ liệu web. (ví dụ: Googlebot, Bingbot,…)
- Disallow: Được sử dụng để thông báo cho các user-agent không thu thập bất kì dữ liệu URL cụ thể nào. Mỗi URL chỉ được sử dụng 1 dòng disallow.
- Allow (chỉ áp dụng cho bọ tìm kiếm Googlebot): Lệnh thự hiện thông báo cho Googlebot rằng nó sẽ truy cập một trang hoặc thư mục con. Mặc dù các trang hoặc các thư mục con của nó có thể không được phép.
- Crawl-delay: Thông báo cho các web crawler biết rằng nó phải đợi bao nhiêu giây trước khi tải và thu thập nội dung của trang. Tuy nhiên, lưu ý rằng bọ tìm kiếm Googlebot không thừa nhận lệnh này. Bạn cài đặt tốc độ thu thập dữ liệu trong Google Search Console.
- Sitemap: Được sử dụng để cung cấp các vị trí của bất kì Sitemap XML nào được liên kết với URL này. Lưu ý lệnh này chỉ được hỗ trợ bởi công cụ Google, Ask, Bing và Yahoo.
3. Hướng dẫn tạo Robots.txt cho WordPress
Nếu sau khi kiểm tra, bạn nhận thấy Website của mình không có tệp robots.txt hay đơn giản là bạn đang muốn thay đổi tệp robots.txt của mình. Hãy tham khảo 3 cách tạo robots.txt cho WordPress dưới đây:
3.1. Cách dùng Yoast SEO để tạo Robots.txt là gì?
Bạn có thể chỉnh sửa hoặc tạo File robots.txt là gì cho WordPress trên chính WordPress Dashboard với vài bước đơn giản. Đăng nhập vào Website của bạn. Khi đăng nhập vào, bạn sẽ thấy giao diện của trang Dashboard.
Nhìn phía bên trái màn hình, click vào SEO »Tools »File editor.
Tính năng File editor sẽ không xuất hiện nếu WordPress của bạn vẫn chưa được kích hoạt tính chỉnh sửa File. Do vậy hãy kích hoạt chúng thông qua FTP (File Transfer Protocol – Giao thức truyền tập tin). Lúc này bạn sẽ thấy mục .htaccess file và một nút Create robots.txt file – đây là nơi giúp bạn tạo File robots.txt là gì đấy.
3.2. Tạo robots.txt bằng Plugin All in One SEO
Hoặc bạn có thể sử dụng bộ Plugin All in One SEO để tạo file robots.txt WordPress nhanh chóng. Đây cũng là một Plugin tiện ích cho WordPress – Đơn giản, dễ sử dụng.
Để tạo file robots.txt WordPress, bạn phải đến giao diện chính của Plugin All in One SEO Pack. Chọn All in One SEO » Features Manager » Nhấp Active cho mục robots.txt
Lúc này, trên giao diện sẽ xuất hiện nhiều tính năng thú vị:
Và khi đó, mục robots.txt sẽ xuất hiện như một tab mới trong thư mục lớn All in One SEO. Bạn có thể tạo lập cũng như điều chỉnh file robots.txt WordPress tại đây. Tuy nhiên, bộ plugin này có một chút khác biệt so với Yoast SEO tôi vừa đề cập ở trên.
3.2.1. Được gì từ Plugin All in One SEO?
All in One SEO làm mờ đi thông tin của File robots.txt là gì thay vì bạn được chỉnh sửa File như công cụ Yoast SEO. Điều này có thể khiến bạn hơi bị động một chút khi chỉnh sửa File robots.txt WordPress. Tuy nhiên, tích cực mà nói, yếu tố này sẽ giúp bạn hạn chế thiệt hại cho website của mình. Đặc biệt một số Malware bots sẽ gây hại cho Website mà bạn không ngờ tới.
3.3. Làm sao để tạo mới Robots.txt WordPress và tải lên FTP?
Nếu bạn không muốn sử dụng Plugin để tạo File robot.txt WordPress thì tôi có 1 cách này cho bạn – Tự tạo File robots.txt WordPress thủ công cho WordPress của mình.
Bạn chỉ mất vài phút để tạo File robots.txt WordPress này bằng tay. Sử dụng Notepad hoặc Textedit để tạo mẫu File robots.txt WordPress theo Rule tôi đã giới thiệu ở đầu viết. Sau đó Upload file này qua FTP không cần sử dụng Plugin. Quá trình này rất đơn giản không tốn bạn quá nhiều thời gian đâu.
