Hướng dẫn cách tạo tập tin robots.txt chuẩn SEO

Tập tin robots.txt rất quan trọng khi bạn làm SEO. Vậy công dụng của tập tin robots.txt là gì? Cách tạo Robots.txt là gì?  Sử dụng tập tin robots.txt này như thế nào?
Hãy cùng tìm hiểu về tập tin robots.txt nhé


1. Công dụng của tập tin robots.txt là gì?

Tập tin robots.txt chỉ đơn thuần là một tập tin văn bản, được đặt trong thư mục root ( thư mục gốc ) của website.

Ví dụ: www.khoahocseo.net/robots.txt

Tập tin robots.txt cho phép người quản trị website ( còn gọi là các webmaster) phân quyền hạn cho các con bọ tìm kiếm. Dễ hiểu hơn, thông qua robots.txt, bạn có thể cho phép hoặc không cho phép con bọ tìm kiếm index ( lập chỉ mục ) một thư mục/trang nào đó trong website.


Robots.txt chặn sự truy cập vào website của bọ tìm kiếm

2. Cách tạo tập tin robots.txt hỗ trợ tốt cho SEO

Để tạo tập tin robots.txt, bạn mở chương trình Notepad có sẵn trên máy tính, gõ vào đó các dòng lệnh (sẽ được nhắc đến ngay bên dưới ) và lưu lại với tên robots.txt. Sau đó upload tập tin này lên thư mục gốc của website.


Đây là nội dung của tập tin robots.txt
Tập tin robots.txt luôn chứa 3 lệnh cơ bản sau:
User-agent : xác định robots.txt này sử dụng cho bot của bộ máy tìm kiếm nào
Allow: cho phép bọ tìm kiếm vào thư mục hoặc trang trên website.
Disallow: chặn bọ tìm kiếm.

Sau đây là một số câu lệnh phổ biến trong tập tin robots.txt

Không cho bọ tìm kiếm truy cập website:
  • User-agent: *
  • Disallow: /
Sử dụng câu lệnh này khi bạn không muốn công cụ tìm kiếm index website của bạn. Đồng nghĩa với việc này là nội dung trên website của bạn sẽ không xuất hiện trên kết quả tìm kiếm.

Không cho bọ tìm kiếm vào trang hay thư mục bất kỳ trên website
  • User-agent: *
  • Disallow: /image/
  • Disallow: /google.html
Lệnh này cho phép bị tìm kiếm được truy cập vào toàn bộ website trừ thư mục image và trang google.html

Chặn bọ tìm kiếm truy cập vào những đường dẫn có cấu trúc giống nhau

Ví dụ: Bạn có những đường dẫn có cùng cấu trúc như sau
http://www.khoahocseo.net/search/label/seo-onpage
http://www.khoahocseo.net/search/label/seo-off-page

Nếu bạn muốn chặn bọ tìm kiếm truy cập vào tất cả các mục có cùng cấu trúc .../search/ thì hãy sử dụng câu lệnh sau:
  • Disallow: /search
3. Lưu ý khi tạo tập tin robots.txt
  • Không thay đổi thứ tự của câu lệnh ( dòng đầu tiên luôn là User-agent ).
  • Phân biệt giữa chữ hoa và chữ thường.
  • Không viết thiếu hoặc dư khoảng trắng.
  • Không thêm bất cứ ký tự đặc biệt nào ngoài cú pháp câu lệnh
  • Mỗi câu lệnh nằm ở 1 dòng riêng biệt
  • Không chừa khoảng trắng ở đầu dòng lệnh
Tạo tập tin robots.txt tuy không làm bạn mất nhiều thời gian nhưng lại rất quan trọng để quy trình SEO hiệu quả. Hãy tạo tập tin robots.txt mang lại hiệu quả cao nhất cho việc SEO website của bạn.


Share This
LỊCH KHAI GIẢNG KHÓA HỌC SEO 80
Ngày khai giảng : 26/04/2017
Giờ học : 6pm – 9:30pm
Thời lượng : 40 tiết
Học phí : 4.800.000 VNĐ
Đăng ký khóa học trước 5 ngày chỉ còn 4.320.000 VNĐ

ĐỪNG BỎ LỠ CƠ HỘI

Đăng ký khóa học seo
  ĐĂNG KÝ KHÓA HỌC NGAY

Liên Hệ

Trung tâm đào tạo DGM Việt Nam 101 Nguyễn Văn Trỗi, Phường 12, Phú Nhuận, Hồ Chí Minh, Việt Nam

Phone: 08 3.99.77777 - E-mail: daotao@dgm.vn