WP Căn bản

Kiến thức căn bản cho người dùng WordPress

paradise-child-theme-wordpress-theme-tot-nhat
hosting-tot-nhat-danh-cho-wordpress

Mẫu file robots.txt chuẩn dành cho website WordPress

Trung Hiếu 254 Bình luận

Mục lục Hiện

Mẫu file robots.txt chuẩn dành cho website WordPress, có thể áp dụng cho tất cả các website.

mau-file-robots-txt-chuan-danh-cho-wordpress

Nếu các bạn chưa biết thì robots.txt là một trong những file có vai trò rất quan trọng đối với việc SEO website. Nó không những quy định cách thức các công cụ tìm kiếm có thể thu thập và lập chỉ mục trên website mà còn có thể ảnh hưởng tới khả năng hiển thị của website (tính thân thiện với thiết bị di động) khi Google Bots truy xuất dữ liệu. Do đó, có một file robots.txt chuẩn là bước đầu tiên mà các bạn cần làm khi tối ưu website cho các công cụ tìm kiếm.

Tham khảo thêm:

File robots.txt là gì?

Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ website của họ. Nó hoạt động theo cách tương tự như các robot meta tag. Điểm khác biệt chính giữa chúng là các file robots.txt sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các robot meta tag chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).

Đặt một file robots.txt trong thư mục gốc của tên miền cho phép bạn ngăn chặn công cụ tìm kiếm lập chỉ mục các tập tin và thư mục nhạy cảm. Ví dụ, bạn có thể ngăn chặn một công cụ tìm kiếm thu thập dữ liệu từ thư mục hình ảnh của bạn hoặc lập chỉ mục một tập tin PDF nằm trong một thư mục bí mật.

Các công cụ tìm kiếm lớn sẽ thực hiện theo các quy tắc mà bạn thiết lập. Tuy nhiên, không phải lúc nào các quy tắc mà bạn xác định trong tập tin robots.txt cũng được thi hành. Trình thu thập dữ liệu của các phần mềm độc hại và các công cụ tìm kiếm nhỏ có thể không tuân thủ các quy tắc và index bất cứ điều gì họ muốn. Rất may, các công cụ tìm kiếm lớn hoạt động theo các tiêu chuẩn này, bao gồm cả Google, Bing, Yandex, Ask và Baidu.

Các bạn có thể tham khảo thêm tài liệu về file robots.txt do chính Google cung cấp tại đây.

Các quy tắc cơ bản của Robots Exclusion Standard

Không mất quá nhiều thời gian để có được một sự hiểu biết đầy đủ về Robots Exclusion Standard. Chỉ có một vài quy tắc mà bạn cần phải tìm hiểu. Những quy tắc này thường được gọi là “chỉ thị”.

Ba chỉ thị chính của Robots Exclusion Standard là:

  • User-agent: xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
  • Disallow: ngăn cản các công cụ tìm kiếm thu thập thông tin và lập chỉ mục.
  • Allow: cho phép các công cụ tìm kiếm thu thập thông tin và lập chỉ mục.

Dấu hoa thị (*) có thể được sử dụng như một ký tự đại diện cho tất cả các công cụ tìm kiếm. Ví dụ, bạn có thể thêm dòng sau vào file robots.txt để ngăn chặn các công cụ tìm kiếm thu thập thông tin trên toàn bộ website của bạn.

User-agent: *
Disallow: /

Các chỉ thị trên là hữu ích nếu bạn đang phát triển một website mới và không muốn các công cụ tìm kiếm lập chỉ mục khi nó chưa được hoàn thiện.

Một số website sử dụng chỉ thị Disallow mà không có dấu gạch chéo (/) để biểu thị một trang web có thể được thu thập dữ liệu. Điều này cho phép các công cụ tìm kiếm có đầy đủ quyền truy cập vào toàn bộ website của bạn.

User-agent: *
Disallow:

Để ngăn chặn việc thu thập dữ liệu với các thư mục hoặc đường dẫn cụ thể, bạn chỉ cần thêm đường dẫn hoặc tên thư mục vào sau chữ Disallow . Trong ví dụ dưới đây, tôi đã quy định các công cụ tìm kiếm không được phép thu thập thông tin của thư mục /images/ và toàn bộ các tập tin cũng như thư mục con chứa trong nó:

User-agent: *
Disallow: /images/

Điều này có được là do robots.txt sử dụng đường dẫn tương đối, không sử dụng đường dẫn tuyệt đối. Các dấu gạch chéo (/) thay thế cho thư mục gốc của tên miền và do đó áp dụng quy tắc cho toàn bộ website của bạn. Đường dẫn là trường hợp nhạy cảm, vì vậy hãy chắc chắn sử dụng đúng trường hợp khi xác định các tập tin, các trang và thư mục.

Cách tạo file robots.txt trong WordPress

Có 2 cách khác nhau để làm điều này: tạo bằng phương pháp thủ công hoặc sử dụng plugin.

Tạo file robots.txt bằng phương pháp thủ công

Một tập tin robots.txt có thể được tạo ra trong vài giây. Tất cả những gì bạn phải làm là mở một trình soạn thảo văn bản (NotePad hoặc NotePad++) và lưu một tập tin trống với tên “robots.txt”.

tao-file-robots-txt-bang-notepad

Sau khi thêm một số quy tắc vào tập tin, hãy lưu nó lại và upload lên thư mục gốc của tên miền, tức là tại địa chỉ https://yourwebsite.com/robots.txt. Hãy đảm bảo bạn đã upload tập tin robots.txt vào thư mục gốc của tên miền, ngay cả khi WordPress được cài đặt trong một thư mục con.

upload-file-robots-txt-len-host

Tạo file robots.txt bằng plugin

Các plugin hỗ trợ SEO website WordPress (Yoast SEO, Rank Math, AIOSEO…) hầu hết đều được trang bị sẵn tính năng tạo file robots.txt. Ví dụ đối với plugin Yoast SEO, các bạn có thể truy cập SEO => Tools => File editor => click vào nút Create robots.txt file.

click-vao-nut-create-robots-txt-file

Sau khi file robots.txt mặc định được tạo ra, các bạn có thể tùy chỉnh nội dung của nó rồi click vào nút Save changes to robots.txt để lưu lại.

tao-file-robots-txt-bang-plugin-yoast-seo

Công cụ tìm kiếm sẽ kiểm tra tập tin robots.txt ở thư mục gốc của tên miền mỗi khi chúng bắt đầu tiến hành thu thập thông tin từ website của bạn. Lưu ý, các bạn sẽ cần phải tạo các file robots.txt riêng biệt cho mỗi tên miền phụ (subdomain) và các giao thức khác nhau.

File robots.txt chuẩn cho website WordPress

Đây là một trong những mẫu file robots.txt chuẩn nhất, tối ưu nhất, được nhiều blogger WordPress nổi tiếng tin dùng. Bạn cũng có thể sử dụng nó cho website WordPress của mình. Tuy nhiên, hãy nhớ tùy biến nó cho phù hợp với từng hoàn cảnh cụ thể.

User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /?s=*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://wpcanban.com/sitemap_index.xml

Lưu ý:

  • Thay https://wpcanban.com/sitemap_index.xml bằng đường link đến XML sitemap của bạn.
  • Không nên chặn Google và các công cụ tìm kiếm khác thu thập dữ liệu trong các thư mục /wp-content/themes/ và /wp-content/plugins/. Điều đó sẽ cản trở việc Google có một cái nhìn chính xác nhất về giao diện website của bạn. Ngoài ra, nó cũng có thể gây ra lỗi website không thân thiện với thiết bị di động.

Bạn đang sử dụng mẫu file robots.txt nào cho website WordPress của mình? Theo bạn, mẫu file robots.txt đó có thực sự tối ưu hay không? Hãy chia sẻ nó với chúng tôi thông qua khung bình luận bên dưới.

Nếu bạn thích bài viết này, hãy theo dõi blog của tôi để thường xuyên cập nhật những bài viết hay nhất, mới nhất nhé. Cảm ơn rất nhiều. :)

Bài viết liên quan

Tính năng Crawl Optimization của plugin Yoast SEO
Tính năng Crawl Optimization của plugin Yoast SEO
Chèn breadcrumbs của Rank Math SEO vào theme Paradise
Chèn breadcrumbs của Rank Math SEO vào theme Paradise
Sử dụng Genesis Framework Schema cùng Yoast SEO
Sử dụng Genesis Framework Schema cùng Yoast SEO

Reader Interactions

Bình luận

    Để lại một bình luận

    Tất cả các bình luận đều sẽ được kiểm duyệt nghiêm ngặt. Mọi bình luận trái quy định sử dụng sẽ bị gỡ bỏ link hoặc xóa bỏ hoàn toàn. Vui lòng đọc kỹ quy định trước khi bình luận. Xin cảm ơn!

        • Trước đây Yoast SEO (WordPress SEO by Yoast) có tính năng cho phép chỉnh sửa file .htaccess và robots.txt nhưng đã bị loại bỏ trong các bản cập nhật gần đây. :P Nhưng vào host là cách đơn giản nhất rồi mà. Bạn gặp khó khăn gì chăng? :P

          Bình luận

    • Mình tạo web free bằng wordpress nhưng không biết vào đâu để sửa file robots.txt. Chủ thớt tư vấn ạ .

      Bình luận

      • Nếu bạn tạo web miễn phí trên WordPress.com thì không thể tùy biến được file robots.txt đâu nhé. Nhưng đừng lo, WordPress.com sẽ tự tối ưu cho bạn. :P

        Bình luận

        • Cấu trúc file Robots của mình thế này:
          # This file was generated on Wed, 23 Dec 2015 13:07:41 +0000
          # If you are regularly crawling WordPress.com sites, please use our firehose to receive real-time push updates instead.
          # Please see http://en.wordpress.com/firehose/ for more details.

          Sitemap: https://thietbiytetanlong.wordpress.com/sitemap.xml
          Sitemap: https://thietbiytetanlong.wordpress.com/news-sitemap.xml

          User-agent: IRLbot
          Crawl-delay: 3600

          User-agent: *
          Disallow: /next/

          User-agent: *
          Disallow: /mshots/v1/

          # har har
          User-agent: *
          Disallow: /activate/

          User-agent: *
          Disallow: /public.api/

          # MT refugees
          User-agent: *
          Disallow: /cgi-bin/

          User-agent: *
          Disallow: /wp-login.php

          User-agent: *
          Disallow: /wp-admin/

          Bị báo lỗi ở phần: “Crawl-delay: 3600” (lỗi: Quy tắt bị Googlebot bỏ qua)
          Bác xem khắc phục giúp e ạ. Mấy nay vật vả với nó quá.
          Thanks !

          Bình luận

          • Cái này không ảnh hưởng gì cả bạn nhé. Chỉ là Google Bots sẽ crawl dữ liệu luôn mà không delay 1 (3600s) tiếng như trong file robots.txt viết thôi. :)

          • Hơn nữa, cái thông báo lỗi kia nó áp dụng cho Bots của IRLbot chứ không phải cho Bots của Google. :)

  6. Cấu trúc Robot của mình như vậy có ảnh hưởng gì không nhỉ? Site: http://gaboshop.com

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /search?q=*
    Disallow: *?replytocom
    Disallow: */attachment/*
    Disallow: /feed
    Disallow: /*/feed
    Disallow: /comments
    Disallow: /author
    Disallow: /archives
    Disallow: /2015/*
    Allow: /tag

    Sitemap: http://gaboshop.com/sitemap.xml

    Bình luận

      • Anh ơi em có tạo file robots y chang Anh. Nhưng google webmaster cảnh báo lỗi
        /attachment-sitemap.xml và /page-sitemap.xml là sao anh. Anh có bị không.
        vấn đề 2 không liên quan bài viết này nhưng cho em hỏi làm sao để chặn luôn mấy cái nó vào spam comment thế Anh. có Akismet nhưng kiểu như có máy nó vào spam em rất khó chịu. có plugin nào giúp chặn luôn k Anh ?
        Cảm ơn Anh nhiều ạ !!!

        Bình luận

        • Bạn sử dụng plugin gì để tạo XML sitemaps? Mình xài của Yoast SEO và không bị lỗi gì cả. Còn về vấn đề spam, bạn có thể tham khảo bài viết này: https://wpcanban.com/wordpress/wordpress-plugins/antispam-bee-su-thay-the-tuyet-voi-cho-akismet.html :P

          Bình luận

          • Đây là lỗi em chọn sitemap bằng Yoast, trong sitemap có tạo sitemap của đính kèm (attachment) nhưng trong file robots thì để chặn image nên webmaster mới báo như thế, em bỏ dòng Disallow: */attachment/* đi là hết nhé hoặc là tạo sitemap không có attachment

        • Bạn thử làm theo hướng dẫn như trong bài viết này xem sao: https://wpcanban.com/wordpress/thu-thuat-wordpress/huong-dan-tao-xml-sitemaps-voi-wordpress-seo-by-yoast.html :P

          Bình luận

  7. Bạn ơi mình xài host hỗ trợ nên không thể chỉnh sửa được flie robots , nhưng theo hướng dẫn của bản file robots của mình như vậy là ok phải không ? Không hiểu phần Crawl-delay: 1 là như thế nào (=_=)”

    User-agent: *
    Crawl-delay: 1
    Disallow: /wp-content/plugins/
    Disallow: /wp-adminmaps.

    Bình luận

    • Giá trị 1 = Slow đó bạn. Tương tự, 5 = Very Slow, 10 = Extremely slow. Đây là giá trị quy định tốc độ re-index một trang nào đó. Nếu bỏ Crawl-delay thì sẽ re-index theo tốc độ mặc định của Bots tìm kiếm. :P

      Bình luận

  8. Chào anh!
    anh cho em hỏi 1 chút là dù em đã chỉnh sửa lại file robots.txt nhưng khi kiểm tra trong web master tool thì nó vẫn báo file robots.txt vẫn chặn 115 trang tài nguyên, khi kiểm tra lại cụ thể từng trang thì nó lại báo được phép index. tình trạng này là như thế nào ạ? mong anh chỉ giúp

    Bình luận

    • Bạn copy nội dung file robots.txt mới và paste vào khung “Bộ kiểm tra robots.txt” sau đó click nút “Gửi” và chọn “Yêu cầu Google cập nhật” nhé. :P

      Bình luận

      • web mình tự nhiên GG báo truy cập robots.txt bị lỗi, ko tìm nạp được, tài nguyên bị chặn, mất hết từ khóa trên Google search rồi…. giờ làm sao đây Hiếu ơi

        Bình luận

          • Bên host sever báo thế này ” Hiện tại server này bên em đang chặn quốc tế do tình trạng DDOS gây ra “.. phải chuyển server #…. hic.. trang đã èo ọt rồi mà server toàn bị ddos..

          • mới xử lý xong cái server, giờ xử lý trong webmaster tool như thế nào nữa nhỉ ?
            Minh đang làm site www.webdanba.com để giặt tít câu views, ít bữa nữa liên hệ bác mua host

          • Vào Webmaster Tools => Thu thập dữ liệu => Bộ kiểm tra robots.txt => Paste nội dung file robots.txt vào => Gửi => Yêu cầu Google cập nhật. :P

  9. Vậy bây giờ cấu hình chuẩn cho WP là như thế nào 2 bạn? Mình đặt thuộc tính Alow phía trên rồi cho Disalow bên dưới có đúng nguyên tắc của nó ko các bạn?

    Đây là Blog du lịch của Văn Nguyễn: – Mong các bạn kiểm tra vì mình đã thay đổi nhiều lần file robot..text này rồi nhưng ko rõ có sai sót ko?

    Bình luận

  10. Theo mình thì không nên chặn thư mục /wp-content/themes vì nó có chứa style.css nên khi kiểm tra Mobile Friendly sẽ bị Google báo lỗi. Nhớ là đã từng bị nhưng không biết có nhớ nhầm không thôi :)

    Bình luận

    • Bài này mình viết từ tháng 7 năm ngoái rồi. Lúc đấy còn chưa có công cụ kiểm tra tính thân thiện với điện thoại di động. Mình chưa kịp sửa lại, nhưng mình đã cập nhật trong bài viết mới rồi còn gì. :)

      Bình luận

      • Anh giúp em với. Trước đây file robots.txt của em khác. Giờ em muốn thay file giống như bài viết của anh nhưng không được mặc dù em đã xóa và upload file robots mới lên host rồi. Nhưng khi cập nhật search console với vào đường dẫn /robots.txt vẫn không cập nhật. Không biết nguyên nhân do đâu :(

        Bình luận

        • Bạn paste nội dung của file robots.txt vào Google Search Console rồi click nút Gửi => Yêu cầu Google cập nhật => Chờ vài phút và reload để xem kết quả. :P

          Bình luận

          • A Hiếu ơi, e có làm đúng với tất cả các bước như trên này. file robots.txt củng lấy trên kia của a. khi yêu cầu gửi xong rồi e chờ chờ tầm 30 phút load lại thì nó vẫn hiện bản cũ của e chứ không phải bản mới cập nhật. A có cách giải quyết cái này không ?

          • Cái này phải chờ Google cập nhật thôi bạn. Đã gửi yêu cầu mà nó vẫn chưa chịu cập nhật thì cũng bó tay thôi. :P

1 2 3 … 10

Footer

Bài viết mới nhất

Bình luận mới nhất

Thống kê WP Căn bản

9 Chuyên mục - 999 Bài viết - 35.502 Bình luận