File Robots.txt được sử dụng để điều hướng Bot của công cụ tìm kiếm đi đến những trang nào mà bạn muốn nó đọc, tìm kiếm và index, cũng như những trang nào bạn không muốn nó đọc được thì nó sẽ không tìm thấy. Tạo file Robots.txt rất đơn giản, có thể tạo bằng công cụ Notepad. Muốn tạo file robots.txt trong wordpress có thể làm như sau:
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
“User-agent”:* có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.
“Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những filé của WordPress bắt đầu bằng wp-.
Nếu bạn không sử dụng WordPress, bạn chỉ việc thay thế dòng Disallow với files và folders mà bạn không muốn nó “dòm ngó”, ví dụ:
User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
Tự động tạo robots.txt
Nếu bạn có sử dụng Google Webmaster thì họ cũng cho phép bạn tạo robots.txt hoặc bạn có thể sử dụng Robots.txt Generator để tự động tạo file robots.txt cho mình
Sau khi bạn đã tạo xong file robots.txt (đừng quên chữ S), bạn chỉ việc upload lên thư mục gốclà hoàn thành.
*Chú ý khi sử dụng Robots.txt
Bạn không nên sử dụng chú thích trong file robots.txt vì sẽ rất dễ bị nhầm lẫn đôi khi chú thích của bạn lại sẽ chính là lỗi và làm google chặn vào các danh mục, đường dẫn không cần thiết.
Chỉ nên chặn các thư mục, đường link quản trị, hoặc không có giá trị đọc. Vì index là điều rất quan trọng trong quá trình phát triển website, nó sẽ giúp bạn có nhiều đáp án tìm kiếm trên google hơn, và khi bạn chặn điều này tức là bạn đang chặn chính website của mình trên google.
Đừng bao giờ để website của bạn có câu lênh này :
Disallow: / (vì nó sẽ chặn toàn bộ website của bạn trên công cụ tìm kiếm và bạn sẽ mất hẳn trên Google)
Rất đơn giản phải không nào? Chúc các bạn thành công!
Nguồn: izwebz.com
0 nhận xét :
Đăng nhận xét