Mẫu file robots.txt chuẩn dành cho blog/ website WordPress.
Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ blog/ website của họ. Nó hoạt động theo cách tương tự như các robot meta tag. Điểm khác biệt chính giữa chúng là các file robots.txt sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các robot meta tag chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).
Đặt một file robots.txt trong thư mục gốc của tên miền cho phép bạn ngăn chặn công cụ tìm kiếm lập chỉ mục các tập tin và thư mục nhạy cảm. Ví dụ, bạn có thể ngăn chặn một công cụ tìm kiếm thu thập dữ liệu từ thư mục hình ảnh của bạn hoặc lập chỉ mục một tập tin PDF nằm trong một thư mục bí mật.
Các công cụ tìm kiếm “lớn” sẽ thực hiện theo các quy tắc mà bạn thiết lập. Tuy nhiên, không phải lúc nào các quy tắc mà bạn xác định trong tập tin robots.txt cũng được thi hành. Trình thu thập dữ liệu của các phần mềm độc hại và các công cụ tìm kiếm “nhỏ” có thể không tuân thủ các quy tắc và index bất cứ điều gì họ muốn. Rất may, các công cụ tìm kiếm “lớn” hoạt động theo các tiêu chuẩn này, bao gồm cả Google, Bing, Yandex, Ask và Baidu.
Các quy tắc cơ bản của Robots Exclusion Standard
Một tập tin robots.txt có thể được tạo ra trong vài giây. Tất cả những gì bạn phải làm là mở một trình soạn thảo văn bản (NotePad hoặc NotePad++) và lưu một tập tin trống với tên robots.txt. Sau khi thêm một số “quy tắc” vào tập tin, lưu nó lại và upload lên thư mục gốc của tên miền, tức là tại địa chỉ http://yourwebsite.com/robots.txt. Hãy đảm bảo bạn đã upload tập tin robots.txt vào thư mục gốc của tên miền, ngay cả khi WordPress được cài đặt trong một thư mục con.
Công cụ tìm kiếm sẽ kiểm tra tập tin robots.txt ở thư mục gốc của tên miền mỗi khi chúng bắt đầu tiến hành thu thập thông tin từ blog/ website của bạn. Lưu ý, bạn cần phải tạo các file robots.txt riêng biệt cho mỗi tên miền phụ và các giao thức khác nhau.
Không mất quá nhiều thời gian để có được một sự hiểu biết đầy đủ về Robots Exclusion Standard. Chỉ có một vài quy tắc để bạn tìm hiểu. Những quy tắc này thường được gọi là “chỉ thị”.
Ba chỉ thị chính của Robots Exclusion Standard là:
- User-agent: xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
- Disallow: ngăn cản các công cụ tìm kiếm thu thập thông tin và lập chỉ mục.
- Allow: cho phép các công cụ tìm kiếm thu thập thông tin và lập chỉ mục.
Dấu hoa thị (*) có thể được sử dụng như một ký tự đại diện cho tất cả các công cụ tìm kiếm. Ví dụ, bạn có thể thêm dòng sau vào file robots.txt để ngăn chặn các công cụ tìm kiếm thu thập thông tin trên toàn bộ blog/ website của bạn.
User-agent: *
Disallow: /
Các chỉ thị trên là hữu ích nếu bạn đang phát triển một blog/ website mới và không muốn các công cụ tìm kiếm lập chỉ mục khi nó chưa được hoàn thiện.
Một số blog/ website sử dụng chỉ thị Disallow mà không có dấu gạch chéo (/) để biểu thị một trang web có thể được thu thập dữ liệu. Điều này cho phép các công cụ tìm kiếm có đầy đủ quyền truy cập vào toàn bộ blog/ website của bạn.
User-agent: *
Disallow:
Để ngăn chặn việc thu thập dữ liệu với các thư mục hoặc đường dẫn cụ thể, bạn chỉ cần thêm đường dẫn hoặc tên thư mục vào sau chữ Disallow . Trong ví dụ dưới đây, tôi đã quy định các công cụ tìm kiếm không được phép thu thập thông tin của thư mục /images/ và toàn bộ các tập tin cũng như thư mục con chứa trong nó:
User-agent: *
Disallow: /images/
Điều này có được là do robots.txt sử dụng đường dẫn tương đối, không sử dụng đường dẫn tuyệt đối. Các dấu gạch chéo (/) thay thế cho thư mục gốc của tên miền và do đó áp dụng quy tắc cho toàn bộ blog/ website của bạn. Đường dẫn là trường hợp nhạy cảm, vì vậy hãy chắc chắn sử dụng đúng trường hợp khi xác định các tập tin, các trang và thư mục.
Mẫu file robots.txt chuẩn dành cho WordPress
Đây là một trong những mẫu file robots.txt chuẩn nhất, tối ưu nhất, được nhiều blogger WordPress nổi tiếng tin dùng. Bạn cũng có thể sử dụng nó cho blog/ website WordPress của mình. Tuy nhiên, hãy nhớ tùy biến nó cho phù hợp với từng hoàn cảnh cụ thể.
Lưu ý:
- Thay
https://wpcanban.com/sitemap_index.xmlbằng đường link đến XML sitemap của bạn. - Không nên chặn Google và các công cụ tìm kiếm khác thu thập dữ liệu trong các thư mục
/wp-content/themes/và/wp-content/plugins/. Điều đó sẽ cản trở việc Google có một cái nhìn chính xác nhất về giao diện blog/ website của bạn.
Bạn đang sử dụng mẫu file robots.txt nào cho blog/ website của mình? Theo bạn, mẫu file robots.txt đó có tối ưu không? Hãy chia sẻ nó với chúng tôi bằng cách sử dụng khung bình luận bên dưới.
Nếu bạn thích bài viết này, hãy subscribe blog của tôi để thường xuyên cập nhật những bài viết hay nhất, mới nhất qua email nhé. Cảm ơn rất nhiều. :)
Theo mình thì không nên chặn thư mục /wp-content/themes vì nó có chứa style.css nên khi kiểm tra Mobile Friendly sẽ bị Google báo lỗi. Nhớ là đã từng bị nhưng không biết có nhớ nhầm không thôi :)
Bài này mình viết từ tháng 7 năm ngoái rồi. Lúc đấy còn chưa có công cụ kiểm tra tính thân thiện với điện thoại di động. Mình chưa kịp sửa lại, nhưng mình đã cập nhật trong bài viết mới rồi còn gì. :)
Anh giúp em với. Trước đây file robots.txt của em khác. Giờ em muốn thay file giống như bài viết của anh nhưng không được mặc dù em đã xóa và upload file robots mới lên host rồi. Nhưng khi cập nhật search console với vào đường dẫn /robots.txt vẫn không cập nhật. Không biết nguyên nhân do đâu :(
Bạn paste nội dung của file robots.txt vào Google Search Console rồi click nút Gửi => Yêu cầu Google cập nhật => Chờ vài phút và reload để xem kết quả. :P
A Hiếu ơi, e có làm đúng với tất cả các bước như trên này. file robots.txt củng lấy trên kia của a. khi yêu cầu gửi xong rồi e chờ chờ tầm 30 phút load lại thì nó vẫn hiện bản cũ của e chứ không phải bản mới cập nhật. A có cách giải quyết cái này không ?
Cái này phải chờ Google cập nhật thôi bạn. Đã gửi yêu cầu mà nó vẫn chưa chịu cập nhật thì cũng bó tay thôi. :P
Bài viết mới đâu Hiếu
Mình đã cập nhật mẫu file robots.txt chuẩn nhất trong bài viết rồi đó. Bạn có thể theo dõi ngay bên trên. :P
thím chưa thấy à
Vậy bây giờ cấu hình chuẩn cho WP là như thế nào 2 bạn? Mình đặt thuộc tính Alow phía trên rồi cho Disalow bên dưới có đúng nguyên tắc của nó ko các bạn?
Đây là Blog du lịch của Văn Nguyễn: – Mong các bạn kiểm tra vì mình đã thay đổi nhiều lần file robot..text này rồi nhưng ko rõ có sai sót ko?
Bạn sử dụng file robots.txt có nội dung giống như trong bài viết là được. Mình vừa cập nhật lại hôm qua rồi đấy. :P
Chào anh!
anh cho em hỏi 1 chút là dù em đã chỉnh sửa lại file robots.txt nhưng khi kiểm tra trong web master tool thì nó vẫn báo file robots.txt vẫn chặn 115 trang tài nguyên, khi kiểm tra lại cụ thể từng trang thì nó lại báo được phép index. tình trạng này là như thế nào ạ? mong anh chỉ giúp
Bạn copy nội dung file robots.txt mới và paste vào khung “Bộ kiểm tra robots.txt” sau đó click nút “Gửi” và chọn “Yêu cầu Google cập nhật” nhé. :P
web mình tự nhiên GG báo truy cập robots.txt bị lỗi, ko tìm nạp được, tài nguyên bị chặn, mất hết từ khóa trên Google search rồi…. giờ làm sao đây Hiếu ơi
Bác kiểm tra CHMOD của file robots.txt xem đã đúng là 644 chưa? :P
Bên host sever báo thế này ” Hiện tại server này bên em đang chặn quốc tế do tình trạng DDOS gây ra “.. phải chuyển server #…. hic.. trang đã èo ọt rồi mà server toàn bị ddos..
Bơi qua đây em “care” cho nào. :D :P
mới xử lý xong cái server, giờ xử lý trong webmaster tool như thế nào nữa nhỉ ?
Minh đang làm site http://www.webdanba.com để giặt tít câu views, ít bữa nữa liên hệ bác mua host
Vào Webmaster Tools => Thu thập dữ liệu => Bộ kiểm tra robots.txt => Paste nội dung file robots.txt vào => Gửi => Yêu cầu Google cập nhật. :P
Bạn ơi mình xài host hỗ trợ nên không thể chỉnh sửa được flie robots , nhưng theo hướng dẫn của bản file robots của mình như vậy là ok phải không ? Không hiểu phần Crawl-delay: 1 là như thế nào (=_=)”
User-agent: *
Crawl-delay: 1
Disallow: /wp-content/plugins/
Disallow: /wp-adminmaps.
Giá trị 1 = Slow đó bạn. Tương tự, 5 = Very Slow, 10 = Extremely slow. Đây là giá trị quy định tốc độ re-index một trang nào đó. Nếu bỏ Crawl-delay thì sẽ re-index theo tốc độ mặc định của Bots tìm kiếm. :P
Cấu trúc Robot của mình như vậy có ảnh hưởng gì không nhỉ? Site: http://gaboshop.com
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /feed
Disallow: /*/feed
Disallow: /comments
Disallow: /author
Disallow: /archives
Disallow: /2015/*
Allow: /tag
Sitemap: http://gaboshop.com/sitemap.xml
Bạn nên bỏ đoạn này đi:
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Anh ơi em có tạo file robots y chang Anh. Nhưng google webmaster cảnh báo lỗi
/attachment-sitemap.xml và /page-sitemap.xml là sao anh. Anh có bị không.
vấn đề 2 không liên quan bài viết này nhưng cho em hỏi làm sao để chặn luôn mấy cái nó vào spam comment thế Anh. có Akismet nhưng kiểu như có máy nó vào spam em rất khó chịu. có plugin nào giúp chặn luôn k Anh ?
Cảm ơn Anh nhiều ạ !!!
Bạn sử dụng plugin gì để tạo XML sitemaps? Mình xài của Yoast SEO và không bị lỗi gì cả. Còn về vấn đề spam, bạn có thể tham khảo bài viết này: https://wpcanban.com/wordpress/wordpress-plugins/antispam-bee-su-thay-the-tuyet-voi-cho-akismet.html :P
Em cũng sài plugin luôn Yoast SEO
Đây là lỗi em chọn sitemap bằng Yoast, trong sitemap có tạo sitemap của đính kèm (attachment) nhưng trong file robots thì để chặn image nên webmaster mới báo như thế, em bỏ dòng Disallow: */attachment/* đi là hết nhé hoặc là tạo sitemap không có attachment
Bạn thử làm theo hướng dẫn như trong bài viết này xem sao: https://wpcanban.com/wordpress/thu-thuat-wordpress/huong-dan-tao-xml-sitemaps-voi-wordpress-seo-by-yoast.html :P
ok em cảm ơn Anh để Em thử… ủa mà sao dán icon zô cmt trên wp vậy Anh :3
Bạn dùng ký tự đặc biệt là nó tự chuyển thành icon thôi mà. Xem ở đây nhé: https://codex.wordpress.org/Using_Smilies :P
Chủ thớt nên bỏ cái dòng image đi, vì nhiều khi cũng kiếm được view từ việc index hình ảnh đó.
Hình ảnh upload thường nằm trong đường dẫn wp-content/uploads mà bạn. Cho nên nó không ảnh hưởng gì cả. :-)
Anh chị cho em hỏi vào đâu để sửa lại file robot ạ
Vào host thông qua Files Manager của cPanel/DirectAdmin hoặc FTP. File robots.txt nằm trong thư mục gốc, nơi chứa bộ cài WordPress. :P
Có cách nào khác để sửa ko bác….
Trước đây Yoast SEO (WordPress SEO by Yoast) có tính năng cho phép chỉnh sửa file .htaccess và robots.txt nhưng đã bị loại bỏ trong các bản cập nhật gần đây. :P Nhưng vào host là cách đơn giản nhất rồi mà. Bạn gặp khó khăn gì chăng? :P
Mình dùng hos godaddy thì vào đâu được nhỉ…. mình ko rõ lắm
Host của Godaddy thì có thể vào qua FTP mà. :)
Mình tạo web free bằng wordpress nhưng không biết vào đâu để sửa file robots.txt. Chủ thớt tư vấn ạ .
Nếu bạn tạo web miễn phí trên WordPress.com thì không thể tùy biến được file robots.txt đâu nhé. Nhưng đừng lo, WordPress.com sẽ tự tối ưu cho bạn. :P
Cấu trúc file Robots của mình thế này:
# This file was generated on Wed, 23 Dec 2015 13:07:41 +0000
# If you are regularly crawling WordPress.com sites, please use our firehose to receive real-time push updates instead.
# Please see http://en.wordpress.com/firehose/ for more details.
Sitemap: https://thietbiytetanlong.wordpress.com/sitemap.xml
Sitemap: https://thietbiytetanlong.wordpress.com/news-sitemap.xml
User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow: /next/
User-agent: *
Disallow: /mshots/v1/
# har har
User-agent: *
Disallow: /activate/
User-agent: *
Disallow: /public.api/
# MT refugees
User-agent: *
Disallow: /cgi-bin/
User-agent: *
Disallow: /wp-login.php
User-agent: *
Disallow: /wp-admin/
Bị báo lỗi ở phần: “Crawl-delay: 3600” (lỗi: Quy tắt bị Googlebot bỏ qua)
Bác xem khắc phục giúp e ạ. Mấy nay vật vả với nó quá.
Thanks !
Cái này không ảnh hưởng gì cả bạn nhé. Chỉ là Google Bots sẽ crawl dữ liệu luôn mà không delay 1 (3600s) tiếng như trong file robots.txt viết thôi. :)
Vậy hả. Thanks bác nha !
Hơn nữa, cái thông báo lỗi kia nó áp dụng cho Bots của IRLbot chứ không phải cho Bots của Google. :)
Vào FPT… link nào ạ…. bạn có thể nói mình bắt đầu từ đâu ko
Bạn ra Google tìm hướng dẫn sử dụng của một số phần mềm FTP nhé. :P
em cài rồi..đăng nhập rồi…thấy file robot.txt rồi nhưng không thể sửa… chức năng sửa bị ẩn khi chuột phải..bác biết lí do ko
Bạn đăng nhập qua FTP à? Sử dụng phần mềm gì? :P
anh cho e hỏi có cách nào chặc được việc upload file .txt trong wordpress ko ạ
Tạo file .htaccess với nội dung:
https://gist.github.com/Kaiderella/0c2e6236898fea0fac6a
Trang http://namsonauto.vn/ mình nên đặt file robot.txt thế nào bạn, bạn chỉ mình cách đặt file robot hiệu qur luôn nhé
Trang của mình trước để dài nhiều quá có khi lại bị ảnh hưởng đến lượng tìm kiếm giờ cho về như này có ổn không bạn:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
trang mình đây: http://hoangvantan.com/
lượng tìm kiếm quá thấp nên hơi nản :)
Về cơ bản là ổn nhé. :)
Link này các bạn thấy thế nào?
http://www.mcanerin.com/en/search-engine/robots-txt.asp
robots.txt
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Chả cần dài dòng như thế làm gì. Chỉ cần như thế này là xong:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Chào bạn Hiếu. Bạn cho mình hỏi chút!
Có một số bài viết của mình đã viết bài xong, và cũng submit link lên google.
Tuy nhiên sau một tuần mình lên google gõ tìm kiếm tên bài viết và kèm theo cả tên site của mình những vẫn không hiện link bài viết của mình ra? Vậy có phải do google nó không index link của mình? Và nó có liên quan gì đến robots hay sitemap không vậy?
Site mình là: http://tiin24.net
Mình xin cảm ơn!
Cám ơn bạn nhé.
Mình đã cài đặt mẫu robot này trên website chia sẻ về kiếm tiền trên youtube
http://huutruong.com/
Chào bạn Hiếu. Bạn cho mình hỏi chút!
Mình mới chuyển sang dùng wordpress, mới up lại các bài viết. đã đăng ký lên google
Tuy nhiên sau một tuần mình lên google gõ tìm kiếm tên bài viết và kèm theo cả tên site của mình những vẫn không hiện link bài viết của mình ra (toàn hiện cái link cũ)? Vậy có phải do google nó không index link của mình? Và nó có liên quan gì đến robots hay sitemap không vậy?
Site mình là: http://www.oktot.com/
Mình xin cảm ơn!
Mình đã kiểm tra và nhận thấy robots.txt cũng như sitemap_index.xml của bạn hoàn toàn không gặp vấn đề gì cả. :) Bạn đã thực hiện việc submit link trang chủ và yêu cầu index tất cả các link liên kết trực tiếp với nó chưa? :)
ok thanks nó index rồi, mà chậm quá :)
A ơi. Làm thế nào để đưa web xuất hiện trên google hả anh. chỉ e với
Khai báo nó với Google Webmaster Tools (hay còn gọi là Google Search Console) nhé. :P
E dung Yoast SEO Khai báo với google nhưng toàn báo lỗi thôi a
Sao bạn không nhập luôn địa chỉ web vào Google Webmaster mà phải khai báo thông qua Yoast SEO? :P Yoast SEO chỉ giúp bạn tạo sitemaps thôi. :P
A có thể hướng dẫn e được ko ạ
E thử. Nó thông báo là. Chúng tôi không thể xác định được thuộc tính của bạn
Web của bạn sử dụng tên miền miễn phí à? Chụp cho mình xem thông báo lỗi được không? :P
Chúng tôi không thể xác minh thuộc tính của bạn:
Trợ giúp
Xác minh không thành công cho bằng phương thức Tệp HTML (ít hơn 1 phút trước). Không tìm thấy tệp xác minh của bạn.
Xác minh quyền sở hữu của bạn đối với . Tìm hiểu thêm.
Phương thức khuyến nghị Các phương thức thay thế Lịch sử
Khuyến nghị: Tải lên tệp HTML
Tải tệp HTML lên trang web của bạn.
1. Tải xuống tệp xác minh HTML này. [google5a8c4b1f0a8b2e3b.html]
2. Tải lên tệp vào
3. Xác nhận tải lên thành công bằng cách truy cập trong trình duyệt của bạn.
4. Nhấp Xác minh dưới đây.
Để được xác minh, không xóa các tập HTML, ngay cả sau khi xác minh thành công.
Link của bạn bị lỗi “Access denied.” rồi kìa. Có vẻ bạn chưa upload nó vào thư mục gốc của WordPress hoặc chưa phân quyền (CHMOD) 644 cho nó?
Vang e sẽ thử .
Anh cho em xin tên facebook của anh để em liên lạc với anh . Chắc e còn phải cần sự giúp đỡ của anh nhiều
E nghĩ seo là đưa bài viết lên google
Cảm ơn Hiếu nhé.
Chào bạn Hiếu web của mình để robot.txt như này:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://cantieulygiare.net/post-sitemap.xml
nhưng hiện tịa khi kiểm tra trong tài nguyên bị chặn thì nó lại chặn chủ yếu những file dạng jquery không biết có ảnh hưởng gì không ạ
Bạn thêm 2 dòng này vào là sẽ hết lỗi đó:
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
cảm ơn bạn ạ, mình hỏi thêm chút là web của mình: http://cantieulygiare.net/ mình dùng theme avada mình tìm mãi mà không thấy chỗ sửa nút details sang thành tiếng việt ở trang chủ của sản phẩm ạ ở chỗ nào ạ, bạn có thể xem giúp mình đc k ạ
Bạn kiểm tra xem theme có file language không? Nếu có thì mở ra bên trong sẽ thấy vị trí cần chỉnh. Mình không dùng theme này nên cũng chỉ có thể gợi ý cho bạn vậy thôi. :P
Dòng này
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Dấu * nếu để trước / sau chữ images thì nó có giá trị gì so với để ngoài vậy bạn?
Dấu * ở cuối dùng để thay thế cho các file và folder nằm bên trong folder images bạn ạ. :P
Bạn ơi cho mình hỏi chút với, tại sao web mình không được index nội dung vậy bạn, mình không spam hay nội dung trùng lập gì cảm ngay cả mình submit trong webmaster tool mà nó cũng không nhận là sao bạn ơi, mình không rõ về web lắm
Bạn kiểm tra file robots.txt và .htaccess xem có đang chặn bots tìm kiếm không? :)
Mình hiện đang để config như sau
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Sitemap: http://karofivietnam.vn/sitemap.xml
Bỗng dưng dạo này xuất hiện lỗi trong WMT dạng như này
“wp-login.php?redirect_to=https%3A%2F%2Fkarofivietnam.vn%2Fmua-may-loc-nuoc-karofi-chinh-hang-o-dau”
không hiểu có phải do robots.txt điều hướng hay ko nữa. Chạy nửa năm nay rồi tự dưng tuần nay bị -_-
Không phải do file robots.txt nhé. Bạn “Disallow: /wp-content/” là Google Bots khỏi index ảnh luôn đó. :P
Mình sẽ sửa lại.
Nhưng Ad có biết lý do tại sao thằng WMT nó báo lỗi kia ko -_-
Chạy cả năm trời ko sao tự dưng nay bị, sitemap indexed tụt ầm ầm -_-
Cái link này hoàn toàn không bị chặn bởi nội dung có trong file robots.txt của bạn nên Google Bots vẫn theo dõi nó. Đó là nguyên nhân nó xuất hiện trong WMT. Lâu lâu Google Bots nó index lại toàn bộ trang 1 lần nên thấy tụt cũng là chuyện bình thường mà. Nó sẽ cập nhật lại thôi. :P
Hiếu ơi! check giúp mình robot của sitemap như thế này ổn ko hiếu:
website: https://pudy.vn
đây là file robots
User-agent: *
Disallow: /wp-admin/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://pudy.vn/sitemap.xml
Ok bạn nhé. :)
anh ơi anh chỉ giúp em cái thư mục gốc tìm nó ở đâu với
Thư mục gốc chính là thư mục chứa các thư mục như wp-content, wp-admin, wp-includes đó bạn. :P
Mình đã dùng file robot của bạn để áp dụng cho website bán hàng của mình, Nhưng ở dòng sở đồ trang web nó lại cảnh báo là
Sơ đồ trang web: hoatuoivannam.com/post-sitemap.xml
https://hoatuoivannam.com/wp-content/uploads/2016/09/hoa-khai-truong-hkt-01.jpg
lỗi này có ảnh hưởng gì không có cách nào khắc phụ không bạn, nó cảnh báo tới 258 lần nên mình thấy cũng hơi lo.
Url bị chặn bởi robots.txt.
Sơ đồ trang web chứa url bị chặn bởi robots.txt.
258
Lỗi này của bạn có vẻ là do cái đống Disallow dài dằng dặc ở phần bên dưới của file robots.txt của bạn gây ra. Bạn cứ tạo file robots.txt giống hệt trong bài mình hướng dẫn là được. :P
đây là mẫu robot của mình
User-agent: *
Disallow: /wp-admin/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://hoatuoivannam.com/sitemap_index.xml
mình đã làm theo y như bạn chỉ mà
Bạn xem lại đi: https://hoatuoivannam.com/robots.txt :P
mấy file đó bị lỗi 404 à bạn nên mình chặn không cho nó truy cập vào à. Có sao không bác giờ mình mà xóa nó thị bị lỗi 404
Sao bạn không thiết lập redirect các trang 404 về trang chủ. Thế là xong. :P
Ngày xưa mình nhớ có cài một plugin gì đó tự 301 toàn bộ link 404 về một trang như home, bạn có biết đó là plg gì tốt nhất ko, mà theo bạn nên 301 hết về trang chủ hay để 404 tùy chỉnh sẽ tốt hơn nhỉ
Bạn thử plugin All 404 Redirect to Homepage đi. :D
Cảm ơn Hiếu đã hỗ trợ. Mình hỏi thêm bạn chút, sau khi tạo file robot txt xong thì up vào thư mục nào của root VPS nginx nhỉ, mình chưa từng làm thao tác này bao giờ cả? Up vào thư mục wp-content hay ngang với nó?
Bạn up ngang với thư mục wp-content nhé. :P
mà hình như cái cảnh báo này mới bị đây à bác, lúc trước mình dùng cái file robot của wordpress tự tạo ra à
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
chỉ có các thành phần này thôi mình vẫn chặn các file 404 bình thường nhưng nó không có báo lỗi.
kể từ khi mình chuyển sang sử dụng file của bác thì bị vậy à. bác có cách nào không ?
File của mình không hề chặn index thư mục /wp-content/ nên nếu bạn nói nó làm lỗi ảnh là không đúng. Bạn thử kiểm tra lại xem những đường link đó có thực sự tồn tại không? Và lưu ý giữ nguyên mẫu file như mình hướng dẫn chứ không tự ý chỉnh sửa. Cách nhanh nhất để kiểm tra là copy link bị lỗi và sử dụng công cụ kiểm tra file robots trong Google Search Console để test. Nếu nó không bị chặn thì bạn phải đợi một thời gian khá lâu trước khi Google cập nhật và xóa cảnh báo.
mình kiếm tra link vẫn tồn tại đấy ạ. mình cũng không biết sao để thời gian coi xem nó có hết không. mà xóa cảnh báo chỗ nào vậy bác mình tìm mãi cũng không thấy ạ. :P
Cảnh báo trong sitemaps thì không xóa được bạn nhé. Phải đợi Google tự xóa. :P
à mình nhớ rồi. trước khi mình sử dụng của bác thì mình có sử dụng file của bên blog kia chỉ nó có chặn phần image nên chắc giờ nó bị luôn. để thời gian sau xem thế nào thanks bác nhé
có nên chặn luôn /wp-includes không nhỉ ?
Không nhé. Bạn chặn luôn /wp-includes sẽ bị Google Bots báo lỗi. :P
Mình đang đi tìm cái plugin tạo file robot txt này mà ko biết nên xài cái nào tốt nhất, bạn có thể tư vấn giúp
Xời, tạo file robots thôi mà cần gì plugin bạn :D
Bạn cứ tạo 1 file .txt trên máy tính và đặt tên là “robots.txt” rồi up nó lên thư mục cài đặt website là được :D À quên, trong file đó bạn copy cái đoạn trên và thay sitemap là được. Mình cũng đang dùng ntn.
Nếu bạn cần plugin tạo file robots.txt thì Yoast SEO có thể giúp bạn làm điều đó. :P
anh ơi em hỏi chút file robots.txt này có dùng như bên blogger không anh nhi
Không bạn. Đây là file robots.txt dành cho WordPress.
I love it when people come together and share opinions, great blog, keep it up.
Đổi link đăng nhập admin nên sử dụng plugins nào bạn?
Bạn có thể sử dụng một trong các plugin như: Custom Login URL, HC Custom WP-admin URL hoặc WPS Hide Login. :P
Hôm nay soi lại thì mình thấy file của bạn có vẻ kỳ kỳ gì đó
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://wpcanban.com/sitemap_index.xml
Đã disavow toàn bộ wp-admin thì các dòng alow ở dưới đâu có tác dụng gì nữa nhỉ
Vì bot nó không vào được wp-admin mà
Không kỳ đâu bạn. Nó hoàn toàn chính xác đấy. :) 2 dòng allow sẽ giúp loại trừ 2 thành phần kia ra khỏi lệnh disallow. Bạn không tin có thể dùng “Bộ kiểm tra robots.txt” của Google Search Console để test thử. :)
Thêm cái này để fix lỗi “Loại bỏ JavaScript và CSS chặn hiển thị trong nội dung trong màn hình đầu tiên” khi test pagespeed có vấn đề gì không a :P
Allow: /*.js$
Allow: /*.css$
User-agent: *
Disallow: /cgi-bin/
Anh xem giup e file robot.txt nay co anh hưởng nhiều đến SEO ko nha?
thanks anh
Bạn nên bổ sung thêm link XML Sitemaps vào trong file robots.txt. :)
Cám ơn bác quên cấu trúc này hoài mỗi lần dựng web lại lên đây lấy :D
Em đã paste nội dung của file robots.txt vào Google Search Console rồi click nút Gửi => Yêu cầu Google cập nhật => Chờ vài phút và reload để xem kết quả như bác hướng dẫn. Nhưng file robots của em vẫn không được cập nhật. Bác kiểm tra site giùm em với nhé
Mình thấy file robots.txt gốc của bạn trên site chỉ có nội dung thế này:
User-agent: *Nội dung bạn paste vào Google Search Console và nội dung của file robots.txt gốc phải giống nhau nhé. :P
Chào a! Em muốn hỏi là khi em cài SSL thì http sẽ chuyển thành https lúc đó e sẽ phải khai báo lại với Google search console. Nếu như vậy thì sitemap của e cũng phải thay đổi lại thành https, vậy a chỉ cách e làm sao thay đổi sitemap thành https (cả nội dung sitemap), đồng thời robots.txt cũng phải được đổi lại https, vậy robots.txt (của http cũ) sẽ để nguyên hay xóa cài cái https?
Hi vọng a trả lời sớm nhất. Nếu được a có thể làm 1 bài viết về đề tài này thì tốt quá. Cảm ơn a :D
Mình đã có bài viết về vấn đề này rồi mà bạn. Bạn tham khảo “Hướng dẫn chuyển từ HTTP sang HTTPS không bị mất thứ hạng” nhé. :P
trong file robots.txt của website bán hàng có nên Disallow: /images/ k bạn nhỉ?
Website nào thì cũng không nên chặn index hình ảnh bạn nhé. Thay vào đó bạn có thể dùng Yoast SEO để redirect từ link của hình ảnh về link của bài viết/ sản phẩm khi bots tìm kiếm thu thập dữ liệu. :)
Anh Hiếu cho em hỏi sitemap của e như thế này có ổn không ạ?
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/js/
E thấy google webmasters tool báo lỗi tài nguyên bị chặn:
/wp-admin/js/password-strength-meter.min.js?ver=4.8.1
Nên E có thêm /wp-admin/js/ để bỏ chặn mục này ạ. Em cám ơn anh!
Được bạn nhé. Không vấn đề gì. :)
Dạ. E cám ơn anh!
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://wpcanban.com/sitemap_index.xml
Vì hiện tại mình đang làm web bán hàng nên có seo cả ảnh nữa. Nên mình bỏ
Allow: /wp-admin/images/*
đi để google có thể index ảnh đúng không hiếu?
Bạn nhầm rồi. Allow: /wp-admin/images/* là cho phép index ảnh trong thư mục /wp-admin/. Nó ghi đè lên dòng Disallow: /wp-admin/. Nên bạn không cần phải bỏ gì cả. :P
À à rồi, cảm ơn bạn nhiều nhé :))
Rât nhiệt tình! (y)
Cho mình hỏi thêm cái này nữa với. cái này tức là mình chặn những trang mà không cần gg index. Có phải là mục đích giúp gg làm việc hiệu quả hơn trên site của mình? vậy mình có những trang như liên hệ, chính sách… mình cũng cần chặn luôn đúng không bạn?
Mấy trang như liên hệ, chính sách… thì nên chặn index bạn nhé. :P
OK cảm ơn bạn nhiều.
Tình hình là mình đã tải file lên thư mục gốc trong host. Nhưng 2 ngày kiểm tra lại trên Webmaster tool vẫn không thấy nó cập nhật Hiếu ơi. Tư vấn cho mình với
Bạn upload đúng thư mục chứa mã nguồn web chưa? Sau khi upload, bạn đã thử truy cập link robots.txt chưa? Bạn đã vào Google Search Console và yêu cầu cập nhật file robots.txt chưa? :P
Link ảnh bạn xem giúp mình. Mình cũng up lên chỗ tệp Html. Xong vào Webmaster tool nhấp vào gửi -> nhấp vào cái thứ 3 là yêu cầu google cập nhật rồi. mà sao vẫn không được nhỉ?
http://www.upsieutoc.com/image/p9bRwb
http://www.upsieutoc.com/image/p9bDpL
Xin chào Ad!
Mình có thêm file robot.txt theo như cách của bạn nhưng không thấy hiển thị mà nó chỉ lặp đi lặp lại đúng như file này & không thể thêm gì
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Và mình test sitemap cho trang http://www.vinacom.biz/sitemap.xml
Bị báo lỗi nhưng mình không tìm ra cách để khắc phục
Mong được AD giúp đỡ. Hix
Mục feed có cần chặn không anh ơi!
Không cần chặn Feed đâu bạn nhé. :P
Vâng anh, nhưng trong Search Console nó báo bị loại bởi thẻ noindex nghe khó chịu quá, mặc dụ nó vẫn không index :D
Mình muốn không cho robots index hình ảnh trong bài viết. Vậy làm thế nào hả admin..
Thanks
Yoast SEO có tính năng chặn index hình ảnh và redirect link hình ảnh về link bài viết mà bạn. :P Hoặc bạn có thể disallow thư mục /wp-content/uploads/
Bữa đang tạo, sẵn lên Website của bạn lấy y cái của bạn về dùng ! Cho tất cá các Website !
Phải chỉnh sửa tí cho phù hợp với từng site chứ. Bê y nguyên không tốt lắm đâu. :)
Hi hi … Mình cũng có tùy chỉnh của mình vào đó, chứ không Copy y nguyên !!!
Kiểu như vầy nè ! AD thấy có đúng không?
” User-agent: *
Disallow: /wp-admin/
Disallow: /search/?q=*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: http:// fontviet.com / sitemap_index.xml
Thực ra cái dòng
Disallow: /search/?q=*là dành riêng cho blog của mình. Mình dùng Google Custom Search và hiển thị kết quả tìm kiếm trên trang /search/ nên mới có cái đó. :PÀ, mình hiểu rồi, để sửa lại! Mà không sửa, cũng đâu ảnh hưởng gì đến vì có cấm cái không tồn tại cũng như không cấm vậy thôi !
Thank anh. Trước h e toàn để nguyên, thỉnh thoảng check thì thấy google index những trang đâu đâu.
Admin cho e hỏi.. Nếu mình không cho google index website của mình thì có bị google phạt ko ạ..
User-agent: *
Disallow: /
Cám ơn admin.
Không bạn nhé. Vì chặn index đâu có phải là vi phạm chính sách của Google. :)
Em định cập nhật lại tất cả url bài viết và chuyên mục
Nếu vậy thì bạn nên dùng plugin redirect 301 từ link cũ về link mới sẽ tốt hơn. Dùng tính năng Redirect của Yoast SEO Premium chẳng hạn.
Em cũng làm tương tự nhưng trong WMT vẫn chặn file css và js, không biết do host hay do robots.txt nữa. Hay do cấu hình sai chỗ nào :(
Bạn sửa file robots.txt xong đã submit lên Google Search Console để yêu cầu cập nhật chưa?
Em sửa trực tiếp trên host và đã yêu cầu cập nhật. Hình như số file chặn đang giảm dần à.
Em có thêm:
Allow: /*.js$
Allow: /*.css$
ko biết có ảnh hưởng gì không a nhỉ?
Thêm cái đó là không cần thiết nếu sử dụng mẫu file robots.txt giống như trong bài viết.
Vâng anh, cảm ơn anh tư vấn nhiều!
Theo kinh nghiệm 26 năm làm Website của admin thì.. Mình cập nhật file robos.txt xong, khi nào google mới cập nhật lại tất cả các url trong website của mình..
Ví dụ: không cho index chuyên mục: Video clip và các bài viết trong chuyên mục Video clip
User-agent: *
Allow: /
Disallow: /video-clip/*
Đẻ ra đã biết làm website rồi à bạn? Thần thánh quá. =)) Câu hỏi này sẽ không có câu trả lời chính xác nhé. Nó tùy thuộc vào lượng dữ liệu có trên site và mức độ uy tín của site nữa. :)
Hay quá mình đã tạo robots cho site https://www.top5hcm.com nhưng sao google vẫn báo là không có nhỉ :(
Bạn tạo xong đã submit file robots.txt lên Google Search Console chưa? Nó nằm trong mục Thu thập dữ liệu => Bộ kiểm tra robots.txt ấy.
Cho mình hỏi, mình bị google báo về trong WMT google bot bị chặn tìm kiếm ở các js thì mình nên cấu hình như thế nào cho file Robots?
Cụ thể thì bạn bị chặn file nào nhỉ?
/wp-includes/js/ mà mình đã bỏ chặn includes mà vẫn chưa hết lỗi nhĩ?
Google Search Console nó đâu có cập nhật real-time. Bạn phải chờ nó index lại dữ liệu thì mới thấy sự thay đổi.
Mình dùng sitemap của yoast seo phiên bản mới nhất bị lỗi, ko biết có ai bị ko.
Và sau đó mình phải cài google xml sitemap. Google XML sitemap sẽ có đường dẫn sitemap là: “sitemap.xml”. và trong file robots.txt là “sitemap_index.xml”.
vậy mình cũng phải sửa trong file robots.txt thành “sitemap.xml” đúng ko bác?
và có cách nào để sửa đc cái sitemap trên yoast seo mà ko cần cài plugin google xml sitemap kia ko.
giúp mình với, thanks
Bạn không nói rõ là nó bị lỗi gì, cũng không đưa link web thì ai biết đường nào mà hỗ trợ? Mình dùng bản mới nhất thấy vẫn bình thường, không lỗi gì cả. Nếu bạn đổi XML sitemap thì nhớ đổi luôn cả link sitemap trong file robots.txt và tiến hành khai báo lại sitemap trên Google Search Console.
User-agent: *
Allow: /
Disallow: */order/*
Disallow: */user/*
Disallow: */message/*
Disallow: */seo/*
cái của mình vậy có sao ko bạn
Site của bạn hình như không phải bằng WordPress nên mình không thể đưa ra lời khuyên chính xác được. Nhưng bạn nên bổ sung link XML sitemap (nếu có) vào file robots.txt.
Bác có biết ai ko nhờ giúp với ..vì web mình đang top 7 từ khóa dây rút nhựa..nhưng tự nhiên mới 1 tuần nay từ đó bị đánh bay khỏi google luôn , những từ khác thì mình vẫn top bình thường
Mình chỉ rành về mảng WordPress thôi bạn ạ. Mà rớt top từ khóa cũng chưa chắc liên quan đến file robots.txt mà. Nếu từ trước đến giờ bạn không hề chỉnh sửa gì trong file robots.txt thì mình nghĩ là do nguyên nhân khác. :)
bạn ơi cho mình hỏi file robot.txt nằm ở đâu ạ. mình tìm trong yoast seo ko thấy. nếu dùng nó trong webmaster tool đc ko ạ
File robots.txt thường nằm trong thư mục bạn cài đặt WordPress (public_html) chẳng hạn. Và mặc định WordPress không có sẵn file robots.txt đâu nhé. Bạn phải tạo thủ công rồi upload lên host hoặc sử dụng Tools của Yoast SEO để tạo. Nó nằm trong SEO => Tools => File Editor. Tất nhiên, nếu bạn tắt tính năng chỉnh sửa file của WordPress thì sẽ không nhìn thấy mục File Editor trong Yoast SEO đâu. Lúc đó bạn sẽ phải tạo thủ công bằng cách tạo file trên máy tính rồi upload lên hoặc thông qua File Manager của cPanel/ DirectAdmin.
Anh giúp em với. Trước đây file robots.txt của em khác. Giờ em muốn thay file giống như bài viết của anh nhưng không được mặc dù em đã xóa và upload file robots mới lên host rồi. Nhưng khi cập nhật search console với vào đường dẫn /robots.txt vẫn không cập nhật.
Anh ơi cho em hỏi chút ạ.
Em vào webmaster tools => Thu thập dữ liệu => Bộ kiểm tra robots.txt thì thấy hiện tại là như thế này ạ:
# robots.txt generated at http://www.mcanerin.com
User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: */page/*
Sitemap: http://duhocvietnhat.edu.vn/sitemap.gz
Trong khi sitemap của em là như này ạ: http://duhocviethan.edu.vn/sitemap_index.xml
Nếu em sửa lại thành:
User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: http://duhocviethan.edu.vn/sitemap_index.xml
thì có được không ạ? Em cảm ơn anh nhiều ạ.
Được bạn nhé. Cái file robots.txt cũ của bạn không tối ưu cho WordPress đâu, nên đổi ngay. :)
Dạ vâng em cảm ơn ạ :D
Bạn cho mh hỏi về chặn index phân trang web thì mh cấu hình như thế nào trong file robots.txt
Trước đây Yoast SEO có tính năng này. Nhưng kể từ phiên bản 6.3 họ đã loại bỏ nó đi. Nguyên nhân được giải thích là do Google đã tự nhận biết, chỉ index trang chính, không index subpages nữa.
sau mình check index vẫn thấy google nhận vậy bạn ? có cách nào chặn hay không bạn ?
Cái này mình chịu. Mình cũng không biết làm cách nào để chặn nên cứ để tự nhiên vậy thôi. Bạn có thể cài các phiên bản Yoast SEO cũ hơn bản 6.3 để có tính năng chặn index subpages. :P
Thanks bạn nhiều