Mẫu file robots.txt chuẩn dành cho blog/ website WordPress.
Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ blog/ website của họ. Nó hoạt động theo cách tương tự như các robot meta tag. Điểm khác biệt chính giữa chúng là các file robots.txt sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các robot meta tag chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).
Đặt một file robots.txt trong thư mục gốc của tên miền cho phép bạn ngăn chặn công cụ tìm kiếm lập chỉ mục các tập tin và thư mục nhạy cảm. Ví dụ, bạn có thể ngăn chặn một công cụ tìm kiếm thu thập dữ liệu từ thư mục hình ảnh của bạn hoặc lập chỉ mục một tập tin PDF nằm trong một thư mục bí mật.
Các công cụ tìm kiếm “lớn” sẽ thực hiện theo các quy tắc mà bạn thiết lập. Tuy nhiên, không phải lúc nào các quy tắc mà bạn xác định trong tập tin robots.txt cũng được thi hành. Trình thu thập của các phần mềm độc hại và các công cụ tìm kiếm “nhỏ” có thể không tuân thủ các quy tắc và index bất cứ điều gì họ muốn. Rất may, các công cụ tìm kiếm hoạt động theo các tiêu chuẩn bao gồm cả Google, Bing, Yandex, Ask và Baidu.
Các quy tắc cơ bản của Robots Exclusion Standard
Một tập tin robots.txt có thể được tạo ra trong vài giây. Tất cả những gì bạn phải làm là mở một trình soạn thảo văn bản và lưu một tập tin trống với tên robots.txt. Sau khi thêm một số “quy tắc” vào tập tin, lưu nó lại và upload lên thư mục gốc của tên miền, tức là http://www.yourwebsite.com/robots.txt. Hãy đảm bảo bạn đã upload tập tin robots.txt vào thư mục gốc của tên miền, ngay cả khi WordPress được cài đặt trong một thư mục con.
Công cụ tìm kiếm sẽ kiểm tra tập tin robots.txt ở thư mục gốc của tên miền bất cứ khi nào chúng bắt đầu tiến hành thu thập thông tin từ blog/ website của bạn. Lưu ý: bạn cần phải tạo các file robots.txt riêng biệt cho mỗi tên miền phụ và các giao thức khác như https://www.yourwebsite.com.
Nó không mất quá nhiều thời gian để có được một sự hiểu biết đầy đủ về Robots Exclusion Standard. Chỉ có một vài quy tắc để bạn tìm hiểu. Những quy tắc này thường được gọi là “chỉ thị”.
Hai chỉ thị chính của Standard là:
- User-agent – Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
- Disallow – Ngăn cản các công cụ tìm kiếm không thu thập thông tin và lập chỉ mục một tập tin, trang hoặc thư mục.
Dấu hoa thị (*) có thể được sử dụng như một ký tự đại diện cho tất cả các công cụ tìm kiếm. Ví dụ, bạn có thể thêm dòng sau vào file robots.txt để ngăn chặn các công cụ tìm kiếm thu thập thông tin toàn bộ blog/ website của bạn.
User-agent: *
Disallow: /
Các chỉ thị trên là hữu ích nếu bạn đang phát triển một blog/ website mới và không muốn các công cụ tìm kiếm lập chỉ mục khi nó chưa được hoàn thiện.
Một số blog/ website sử dụng chỉ thị Disallow mà không có dấu gạch chéo (/) để biểu thị một trang web có thể được thu thập dữ liệu. Điều này cho phép các công cụ tìm kiếm có đầy đủ quyền truy cập vào toàn bộ blog/ website của bạn.
User-agent: *
Disallow:
Để ngăn chặn việc thu thập dữ liệu với các thư mục hoặc đường dẫn cụ thể, bạn chỉ cần thêm đường dẫn hoặc tên thư mục vào sau chữ “Disallow” . Trong ví dụ dưới đây, tôi đã quy định các công cụ tìm kiếm không được phép thu thập thông tin về thư mục /images/ và toàn bộ các tập tin chứa trong nó.
User-agent: *
Disallow: /images/
Điều này là do robots.txt sử dụng đường dẫn tương đối, không sử dụng đường dẫn tuyệt đối. Các dấu gạch chéo (/) thay thế cho thư mục gốc của tên miền và do đó áp dụng quy tắc cho toàn bộ blog/ website của bạn. Đường dẫn là trường hợp nhạy cảm, vì vậy hãy chắc chắn sử dụng đúng trường hợp khi xác định các tập tin, các trang và thư mục.
Mẫu file robots.txt chuẩn cho blog WordPress
Đây là một trong những mẫu tập tin (file) robots.txt tối ưu nhất, được nhiều blogger WordPress nổi tiếng tin dùng. Bạn cũng có thể sử dụng nó cho blog/ website WordPress của mình.
Lưu ý: Thay https://wpcanban.com/sitemap_index.xml bằng đường link đến sitemap của bạn.
Đơn giản vậy thôi. Chúc các bạn thành công!
Bạn đang sử dụng mẫu file robots.txt nào cho blog/ website của mình? Theo bạn, mẫu file robots.txt đó có tối ưu không? Hãy chia sẻ nó với chúng tôi bằng cách sử dụng khung bình luận bên dưới.
Nếu bạn thích bài viết này, hãy subscribe blog của tôi để thường xuyên cập nhật những bài viết hay nhất, mới nhất qua email nhé. Cảm ơn rất nhiều. :)
Theo mình thì không nên chặn thư mục /wp-content/themes vì nó có chứa style.css nên khi kiểm tra Mobile Friendly sẽ bị Google báo lỗi. Nhớ là đã từng bị nhưng không biết có nhớ nhầm không thôi :)
Bài này mình viết từ tháng 7 năm ngoái rồi. Lúc đấy còn chưa có công cụ kiểm tra tính thân thiện với điện thoại di động. Mình chưa kịp sửa lại, nhưng mình đã cập nhật trong bài viết mới rồi còn gì. :)
Anh giúp em với. Trước đây file robots.txt của em khác. Giờ em muốn thay file giống như bài viết của anh nhưng không được mặc dù em đã xóa và upload file robots mới lên host rồi. Nhưng khi cập nhật search console với vào đường dẫn /robots.txt vẫn không cập nhật. Không biết nguyên nhân do đâu :(
Bạn paste nội dung của file robots.txt vào Google Search Console rồi click nút Gửi => Yêu cầu Google cập nhật => Chờ vài phút và reload để xem kết quả. :P
A Hiếu ơi, e có làm đúng với tất cả các bước như trên này. file robots.txt củng lấy trên kia của a. khi yêu cầu gửi xong rồi e chờ chờ tầm 30 phút load lại thì nó vẫn hiện bản cũ của e chứ không phải bản mới cập nhật. A có cách giải quyết cái này không ?
Cái này phải chờ Google cập nhật thôi bạn. Đã gửi yêu cầu mà nó vẫn chưa chịu cập nhật thì cũng bó tay thôi. :P
Bài viết mới đâu Hiếu
Mình đã cập nhật mẫu file robots.txt chuẩn nhất trong bài viết rồi đó. Bạn có thể theo dõi ngay bên trên. :P
Vậy bây giờ cấu hình chuẩn cho WP là như thế nào 2 bạn? Mình đặt thuộc tính Alow phía trên rồi cho Disalow bên dưới có đúng nguyên tắc của nó ko các bạn?
Đây là Blog du lịch của Văn Nguyễn: – Mong các bạn kiểm tra vì mình đã thay đổi nhiều lần file robot..text này rồi nhưng ko rõ có sai sót ko?
Bạn sử dụng file robots.txt có nội dung giống như trong bài viết là được. Mình vừa cập nhật lại hôm qua rồi đấy. :P
Chào anh!
anh cho em hỏi 1 chút là dù em đã chỉnh sửa lại file robots.txt nhưng khi kiểm tra trong web master tool thì nó vẫn báo file robots.txt vẫn chặn 115 trang tài nguyên, khi kiểm tra lại cụ thể từng trang thì nó lại báo được phép index. tình trạng này là như thế nào ạ? mong anh chỉ giúp
Bạn copy nội dung file robots.txt mới và paste vào khung “Bộ kiểm tra robots.txt” sau đó click nút “Gửi” và chọn “Yêu cầu Google cập nhật” nhé. :P
web mình tự nhiên GG báo truy cập robots.txt bị lỗi, ko tìm nạp được, tài nguyên bị chặn, mất hết từ khóa trên Google search rồi…. giờ làm sao đây Hiếu ơi
Bác kiểm tra CHMOD của file robots.txt xem đã đúng là 644 chưa? :P
Bên host sever báo thế này ” Hiện tại server này bên em đang chặn quốc tế do tình trạng DDOS gây ra “.. phải chuyển server #…. hic.. trang đã èo ọt rồi mà server toàn bị ddos..
Bơi qua đây em “care” cho nào. :D :P
mới xử lý xong cái server, giờ xử lý trong webmaster tool như thế nào nữa nhỉ ?
Minh đang làm site http://www.webdanba.com để giặt tít câu views, ít bữa nữa liên hệ bác mua host
Vào Webmaster Tools => Thu thập dữ liệu => Bộ kiểm tra robots.txt => Paste nội dung file robots.txt vào => Gửi => Yêu cầu Google cập nhật. :P
Bạn ơi mình xài host hỗ trợ nên không thể chỉnh sửa được flie robots , nhưng theo hướng dẫn của bản file robots của mình như vậy là ok phải không ? Không hiểu phần Crawl-delay: 1 là như thế nào (=_=)”
User-agent: *
Crawl-delay: 1
Disallow: /wp-content/plugins/
Disallow: /wp-adminmaps.
Giá trị 1 = Slow đó bạn. Tương tự, 5 = Very Slow, 10 = Extremely slow. Đây là giá trị quy định tốc độ re-index một trang nào đó. Nếu bỏ Crawl-delay thì sẽ re-index theo tốc độ mặc định của Bots tìm kiếm. :P
Cấu trúc Robot của mình như vậy có ảnh hưởng gì không nhỉ? Site: http://gaboshop.com
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /feed
Disallow: /*/feed
Disallow: /comments
Disallow: /author
Disallow: /archives
Disallow: /2015/*
Allow: /tag
Sitemap: http://gaboshop.com/sitemap.xml
Bạn nên bỏ đoạn này đi:
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Anh ơi em có tạo file robots y chang Anh. Nhưng google webmaster cảnh báo lỗi
/attachment-sitemap.xml và /page-sitemap.xml là sao anh. Anh có bị không.
vấn đề 2 không liên quan bài viết này nhưng cho em hỏi làm sao để chặn luôn mấy cái nó vào spam comment thế Anh. có Akismet nhưng kiểu như có máy nó vào spam em rất khó chịu. có plugin nào giúp chặn luôn k Anh ?
Cảm ơn Anh nhiều ạ !!!
Bạn sử dụng plugin gì để tạo XML sitemaps? Mình xài của Yoast SEO và không bị lỗi gì cả. Còn về vấn đề spam, bạn có thể tham khảo bài viết này: https://wpcanban.com/wordpress/wordpress-plugins/antispam-bee-su-thay-the-tuyet-voi-cho-akismet.html :P
Em cũng sài plugin luôn Yoast SEO
Đây là lỗi em chọn sitemap bằng Yoast, trong sitemap có tạo sitemap của đính kèm (attachment) nhưng trong file robots thì để chặn image nên webmaster mới báo như thế, em bỏ dòng Disallow: */attachment/* đi là hết nhé hoặc là tạo sitemap không có attachment
Bạn thử làm theo hướng dẫn như trong bài viết này xem sao: https://wpcanban.com/wordpress/thu-thuat-wordpress/huong-dan-tao-xml-sitemaps-voi-wordpress-seo-by-yoast.html :P
ok em cảm ơn Anh để Em thử… ủa mà sao dán icon zô cmt trên wp vậy Anh :3
Bạn dùng ký tự đặc biệt là nó tự chuyển thành icon thôi mà. Xem ở đây nhé: https://codex.wordpress.org/Using_Smilies :P
Chủ thớt nên bỏ cái dòng image đi, vì nhiều khi cũng kiếm được view từ việc index hình ảnh đó.
Hình ảnh upload thường nằm trong đường dẫn wp-content/uploads mà bạn. Cho nên nó không ảnh hưởng gì cả. :-)
Anh chị cho em hỏi vào đâu để sửa lại file robot ạ
Vào host thông qua Files Manager của cPanel/DirectAdmin hoặc FTP. File robots.txt nằm trong thư mục gốc, nơi chứa bộ cài WordPress. :P
Có cách nào khác để sửa ko bác….
Trước đây Yoast SEO (WordPress SEO by Yoast) có tính năng cho phép chỉnh sửa file .htaccess và robots.txt nhưng đã bị loại bỏ trong các bản cập nhật gần đây. :P Nhưng vào host là cách đơn giản nhất rồi mà. Bạn gặp khó khăn gì chăng? :P
Mình dùng hos godaddy thì vào đâu được nhỉ…. mình ko rõ lắm
Host của Godaddy thì có thể vào qua FTP mà. :)
Mình tạo web free bằng wordpress nhưng không biết vào đâu để sửa file robots.txt. Chủ thớt tư vấn ạ .
Nếu bạn tạo web miễn phí trên WordPress.com thì không thể tùy biến được file robots.txt đâu nhé. Nhưng đừng lo, WordPress.com sẽ tự tối ưu cho bạn. :P
Cấu trúc file Robots của mình thế này:
# This file was generated on Wed, 23 Dec 2015 13:07:41 +0000
# If you are regularly crawling WordPress.com sites, please use our firehose to receive real-time push updates instead.
# Please see http://en.wordpress.com/firehose/ for more details.
Sitemap: https://thietbiytetanlong.wordpress.com/sitemap.xml
Sitemap: https://thietbiytetanlong.wordpress.com/news-sitemap.xml
User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow: /next/
User-agent: *
Disallow: /mshots/v1/
# har har
User-agent: *
Disallow: /activate/
User-agent: *
Disallow: /public.api/
# MT refugees
User-agent: *
Disallow: /cgi-bin/
User-agent: *
Disallow: /wp-login.php
User-agent: *
Disallow: /wp-admin/
Bị báo lỗi ở phần: “Crawl-delay: 3600” (lỗi: Quy tắt bị Googlebot bỏ qua)
Bác xem khắc phục giúp e ạ. Mấy nay vật vả với nó quá.
Thanks !
Cái này không ảnh hưởng gì cả bạn nhé. Chỉ là Google Bots sẽ crawl dữ liệu luôn mà không delay 1 (3600s) tiếng như trong file robots.txt viết thôi. :)
Vậy hả. Thanks bác nha !
Hơn nữa, cái thông báo lỗi kia nó áp dụng cho Bots của IRLbot chứ không phải cho Bots của Google. :)
Vào FPT… link nào ạ…. bạn có thể nói mình bắt đầu từ đâu ko
Bạn ra Google tìm hướng dẫn sử dụng của một số phần mềm FTP nhé. :P
em cài rồi..đăng nhập rồi…thấy file robot.txt rồi nhưng không thể sửa… chức năng sửa bị ẩn khi chuột phải..bác biết lí do ko
Bạn đăng nhập qua FTP à? Sử dụng phần mềm gì? :P
anh cho e hỏi có cách nào chặc được việc upload file .txt trong wordpress ko ạ
Tạo file .htaccess với nội dung:
https://gist.github.com/Kaiderella/0c2e6236898fea0fac6a
Trang http://namsonauto.vn/ mình nên đặt file robot.txt thế nào bạn, bạn chỉ mình cách đặt file robot hiệu qur luôn nhé
Trang của mình trước để dài nhiều quá có khi lại bị ảnh hưởng đến lượng tìm kiếm giờ cho về như này có ổn không bạn:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
trang mình đây: http://hoangvantan.com/
lượng tìm kiếm quá thấp nên hơi nản :)
Về cơ bản là ổn nhé. :)
Link này các bạn thấy thế nào?
http://www.mcanerin.com/en/search-engine/robots-txt.asp
robots.txt
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Chả cần dài dòng như thế làm gì. Chỉ cần như thế này là xong:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Chào bạn Hiếu. Bạn cho mình hỏi chút!
Có một số bài viết của mình đã viết bài xong, và cũng submit link lên google.
Tuy nhiên sau một tuần mình lên google gõ tìm kiếm tên bài viết và kèm theo cả tên site của mình những vẫn không hiện link bài viết của mình ra? Vậy có phải do google nó không index link của mình? Và nó có liên quan gì đến robots hay sitemap không vậy?
Site mình là: http://tiin24.net
Mình xin cảm ơn!
Cám ơn bạn nhé.
Mình đã cài đặt mẫu robot này trên website chia sẻ về kiếm tiền trên youtube
http://huutruong.com/
Chào bạn Hiếu. Bạn cho mình hỏi chút!
Mình mới chuyển sang dùng wordpress, mới up lại các bài viết. đã đăng ký lên google
Tuy nhiên sau một tuần mình lên google gõ tìm kiếm tên bài viết và kèm theo cả tên site của mình những vẫn không hiện link bài viết của mình ra (toàn hiện cái link cũ)? Vậy có phải do google nó không index link của mình? Và nó có liên quan gì đến robots hay sitemap không vậy?
Site mình là: http://www.oktot.com/
Mình xin cảm ơn!
Mình đã kiểm tra và nhận thấy robots.txt cũng như sitemap_index.xml của bạn hoàn toàn không gặp vấn đề gì cả. :) Bạn đã thực hiện việc submit link trang chủ và yêu cầu index tất cả các link liên kết trực tiếp với nó chưa? :)
ok thanks nó index rồi, mà chậm quá :)
A ơi. Làm thế nào để đưa web xuất hiện trên google hả anh. chỉ e với
Khai báo nó với Google Webmaster Tools (hay còn gọi là Google Search Console) nhé. :P
E dung Yoast SEO Khai báo với google nhưng toàn báo lỗi thôi a
Sao bạn không nhập luôn địa chỉ web vào Google Webmaster mà phải khai báo thông qua Yoast SEO? :P Yoast SEO chỉ giúp bạn tạo sitemaps thôi. :P
A có thể hướng dẫn e được ko ạ
E thử. Nó thông báo là. Chúng tôi không thể xác định được thuộc tính của bạn
Web của bạn sử dụng tên miền miễn phí à? Chụp cho mình xem thông báo lỗi được không? :P
Chúng tôi không thể xác minh thuộc tính của bạn:
Trợ giúp
Xác minh không thành công cho bằng phương thức Tệp HTML (ít hơn 1 phút trước). Không tìm thấy tệp xác minh của bạn.
Xác minh quyền sở hữu của bạn đối với . Tìm hiểu thêm.
Phương thức khuyến nghị Các phương thức thay thế Lịch sử
Khuyến nghị: Tải lên tệp HTML
Tải tệp HTML lên trang web của bạn.
1. Tải xuống tệp xác minh HTML này. [google5a8c4b1f0a8b2e3b.html]
2. Tải lên tệp vào
3. Xác nhận tải lên thành công bằng cách truy cập trong trình duyệt của bạn.
4. Nhấp Xác minh dưới đây.
Để được xác minh, không xóa các tập HTML, ngay cả sau khi xác minh thành công.
Link của bạn bị lỗi “Access denied.” rồi kìa. Có vẻ bạn chưa upload nó vào thư mục gốc của WordPress hoặc chưa phân quyền (CHMOD) 644 cho nó?
Vang e sẽ thử .
Anh cho em xin tên facebook của anh để em liên lạc với anh . Chắc e còn phải cần sự giúp đỡ của anh nhiều
E nghĩ seo là đưa bài viết lên google
Cảm ơn Hiếu nhé.
Chào bạn Hiếu web của mình để robot.txt như này:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://cantieulygiare.net/post-sitemap.xml
nhưng hiện tịa khi kiểm tra trong tài nguyên bị chặn thì nó lại chặn chủ yếu những file dạng jquery không biết có ảnh hưởng gì không ạ
Bạn thêm 2 dòng này vào là sẽ hết lỗi đó:
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
cảm ơn bạn ạ, mình hỏi thêm chút là web của mình: http://cantieulygiare.net/ mình dùng theme avada mình tìm mãi mà không thấy chỗ sửa nút details sang thành tiếng việt ở trang chủ của sản phẩm ạ ở chỗ nào ạ, bạn có thể xem giúp mình đc k ạ
Bạn kiểm tra xem theme có file language không? Nếu có thì mở ra bên trong sẽ thấy vị trí cần chỉnh. Mình không dùng theme này nên cũng chỉ có thể gợi ý cho bạn vậy thôi. :P
Dòng này
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Dấu * nếu để trước / sau chữ images thì nó có giá trị gì so với để ngoài vậy bạn?
Dấu * ở cuối dùng để thay thế cho các file và folder nằm bên trong folder images bạn ạ. :P
Bạn ơi cho mình hỏi chút với, tại sao web mình không được index nội dung vậy bạn, mình không spam hay nội dung trùng lập gì cảm ngay cả mình submit trong webmaster tool mà nó cũng không nhận là sao bạn ơi, mình không rõ về web lắm
Bạn kiểm tra file robots.txt và .htaccess xem có đang chặn bots tìm kiếm không? :)
Mình hiện đang để config như sau
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Sitemap: http://karofivietnam.vn/sitemap.xml
Bỗng dưng dạo này xuất hiện lỗi trong WMT dạng như này
“wp-login.php?redirect_to=https%3A%2F%2Fkarofivietnam.vn%2Fmua-may-loc-nuoc-karofi-chinh-hang-o-dau”
không hiểu có phải do robots.txt điều hướng hay ko nữa. Chạy nửa năm nay rồi tự dưng tuần nay bị -_-
Không phải do file robots.txt nhé. Bạn “Disallow: /wp-content/” là Google Bots khỏi index ảnh luôn đó. :P
Mình sẽ sửa lại.
Nhưng Ad có biết lý do tại sao thằng WMT nó báo lỗi kia ko -_-
Chạy cả năm trời ko sao tự dưng nay bị, sitemap indexed tụt ầm ầm -_-
Cái link này hoàn toàn không bị chặn bởi nội dung có trong file robots.txt của bạn nên Google Bots vẫn theo dõi nó. Đó là nguyên nhân nó xuất hiện trong WMT. Lâu lâu Google Bots nó index lại toàn bộ trang 1 lần nên thấy tụt cũng là chuyện bình thường mà. Nó sẽ cập nhật lại thôi. :P
Hiếu ơi! check giúp mình robot của sitemap như thế này ổn ko hiếu:
website: https://pudy.vn
đây là file robots
User-agent: *
Disallow: /wp-admin/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://pudy.vn/sitemap.xml
Ok bạn nhé. :)
anh ơi anh chỉ giúp em cái thư mục gốc tìm nó ở đâu với
Thư mục gốc chính là thư mục chứa các thư mục như wp-content, wp-admin, wp-includes đó bạn. :P
Mình đã dùng file robot của bạn để áp dụng cho website bán hàng của mình, Nhưng ở dòng sở đồ trang web nó lại cảnh báo là
Sơ đồ trang web: hoatuoivannam.com/post-sitemap.xml
https://hoatuoivannam.com/wp-content/uploads/2016/09/hoa-khai-truong-hkt-01.jpg
lỗi này có ảnh hưởng gì không có cách nào khắc phụ không bạn, nó cảnh báo tới 258 lần nên mình thấy cũng hơi lo.
Url bị chặn bởi robots.txt.
Sơ đồ trang web chứa url bị chặn bởi robots.txt.
258
Lỗi này của bạn có vẻ là do cái đống Disallow dài dằng dặc ở phần bên dưới của file robots.txt của bạn gây ra. Bạn cứ tạo file robots.txt giống hệt trong bài mình hướng dẫn là được. :P
đây là mẫu robot của mình
User-agent: *
Disallow: /wp-admin/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://hoatuoivannam.com/sitemap_index.xml
mình đã làm theo y như bạn chỉ mà
Bạn xem lại đi: https://hoatuoivannam.com/robots.txt :P
mấy file đó bị lỗi 404 à bạn nên mình chặn không cho nó truy cập vào à. Có sao không bác giờ mình mà xóa nó thị bị lỗi 404
Sao bạn không thiết lập redirect các trang 404 về trang chủ. Thế là xong. :P
Ngày xưa mình nhớ có cài một plugin gì đó tự 301 toàn bộ link 404 về một trang như home, bạn có biết đó là plg gì tốt nhất ko, mà theo bạn nên 301 hết về trang chủ hay để 404 tùy chỉnh sẽ tốt hơn nhỉ
Bạn thử plugin All 404 Redirect to Homepage đi. :D
Cảm ơn Hiếu đã hỗ trợ. Mình hỏi thêm bạn chút, sau khi tạo file robot txt xong thì up vào thư mục nào của root VPS nginx nhỉ, mình chưa từng làm thao tác này bao giờ cả? Up vào thư mục wp-content hay ngang với nó?
Bạn up ngang với thư mục wp-content nhé. :P
mà hình như cái cảnh báo này mới bị đây à bác, lúc trước mình dùng cái file robot của wordpress tự tạo ra à
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
chỉ có các thành phần này thôi mình vẫn chặn các file 404 bình thường nhưng nó không có báo lỗi.
kể từ khi mình chuyển sang sử dụng file của bác thì bị vậy à. bác có cách nào không ?
File của mình không hề chặn index thư mục /wp-content/ nên nếu bạn nói nó làm lỗi ảnh là không đúng. Bạn thử kiểm tra lại xem những đường link đó có thực sự tồn tại không? Và lưu ý giữ nguyên mẫu file như mình hướng dẫn chứ không tự ý chỉnh sửa. Cách nhanh nhất để kiểm tra là copy link bị lỗi và sử dụng công cụ kiểm tra file robots trong Google Search Console để test. Nếu nó không bị chặn thì bạn phải đợi một thời gian khá lâu trước khi Google cập nhật và xóa cảnh báo.
mình kiếm tra link vẫn tồn tại đấy ạ. mình cũng không biết sao để thời gian coi xem nó có hết không. mà xóa cảnh báo chỗ nào vậy bác mình tìm mãi cũng không thấy ạ. :P
Cảnh báo trong sitemaps thì không xóa được bạn nhé. Phải đợi Google tự xóa. :P
à mình nhớ rồi. trước khi mình sử dụng của bác thì mình có sử dụng file của bên blog kia chỉ nó có chặn phần image nên chắc giờ nó bị luôn. để thời gian sau xem thế nào thanks bác nhé
có nên chặn luôn /wp-includes không nhỉ ?
Không nhé. Bạn chặn luôn /wp-includes sẽ bị Google Bots báo lỗi. :P
Mình đang đi tìm cái plugin tạo file robot txt này mà ko biết nên xài cái nào tốt nhất, bạn có thể tư vấn giúp
Xời, tạo file robots thôi mà cần gì plugin bạn :D
Bạn cứ tạo 1 file .txt trên máy tính và đặt tên là “robots.txt” rồi up nó lên thư mục cài đặt website là được :D À quên, trong file đó bạn copy cái đoạn trên và thay sitemap là được. Mình cũng đang dùng ntn.
Nếu bạn cần plugin tạo file robots.txt thì Yoast SEO có thể giúp bạn làm điều đó. :P
anh ơi em hỏi chút file robots.txt này có dùng như bên blogger không anh nhi
Không bạn. Đây là file robots.txt dành cho WordPress.
I love it when people come together and share opinions, great blog, keep it up.
Đổi link đăng nhập admin nên sử dụng plugins nào bạn?
Bạn có thể sử dụng một trong các plugin như: Custom Login URL, HC Custom WP-admin URL hoặc WPS Hide Login. :P
Hôm nay soi lại thì mình thấy file của bạn có vẻ kỳ kỳ gì đó
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://wpcanban.com/sitemap_index.xml
Đã disavow toàn bộ wp-admin thì các dòng alow ở dưới đâu có tác dụng gì nữa nhỉ
Vì bot nó không vào được wp-admin mà
Không kỳ đâu bạn. Nó hoàn toàn chính xác đấy. :) 2 dòng allow sẽ giúp loại trừ 2 thành phần kia ra khỏi lệnh disallow. Bạn không tin có thể dùng “Bộ kiểm tra robots.txt” của Google Search Console để test thử. :)
Thêm cái này để fix lỗi “Loại bỏ JavaScript và CSS chặn hiển thị trong nội dung trong màn hình đầu tiên” khi test pagespeed có vấn đề gì không a :P
Allow: /*.js$
Allow: /*.css$
User-agent: *
Disallow: /cgi-bin/
Anh xem giup e file robot.txt nay co anh hưởng nhiều đến SEO ko nha?
thanks anh
Bạn nên bổ sung thêm link XML Sitemaps vào trong file robots.txt. :)
Cám ơn bác quên cấu trúc này hoài mỗi lần dựng web lại lên đây lấy :D