Mẫu file robots.txt chuẩn dành cho blog/ website WordPress.
Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ blog/ website của họ. Nó hoạt động theo cách tương tự như các robot meta tag. Điểm khác biệt chính giữa chúng là các file robots.txt sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các robot meta tag chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).
Đặt một file robots.txt trong thư mục gốc của tên miền cho phép bạn ngăn chặn công cụ tìm kiếm lập chỉ mục các tập tin và thư mục nhạy cảm. Ví dụ, bạn có thể ngăn chặn một công cụ tìm kiếm thu thập dữ liệu từ thư mục hình ảnh của bạn hoặc lập chỉ mục một tập tin PDF nằm trong một thư mục bí mật.
Các công cụ tìm kiếm “lớn” sẽ thực hiện theo các quy tắc mà bạn thiết lập. Tuy nhiên, không phải lúc nào các quy tắc mà bạn xác định trong tập tin robots.txt cũng được thi hành. Trình thu thập dữ liệu của các phần mềm độc hại và các công cụ tìm kiếm “nhỏ” có thể không tuân thủ các quy tắc và index bất cứ điều gì họ muốn. Rất may, các công cụ tìm kiếm “lớn” hoạt động theo các tiêu chuẩn này, bao gồm cả Google, Bing, Yandex, Ask và Baidu.
Các quy tắc cơ bản của Robots Exclusion Standard
Một tập tin robots.txt có thể được tạo ra trong vài giây. Tất cả những gì bạn phải làm là mở một trình soạn thảo văn bản (NotePad hoặc NotePad++) và lưu một tập tin trống với tên robots.txt. Sau khi thêm một số “quy tắc” vào tập tin, lưu nó lại và upload lên thư mục gốc của tên miền, tức là tại địa chỉ http://yourwebsite.com/robots.txt. Hãy đảm bảo bạn đã upload tập tin robots.txt vào thư mục gốc của tên miền, ngay cả khi WordPress được cài đặt trong một thư mục con.
Công cụ tìm kiếm sẽ kiểm tra tập tin robots.txt ở thư mục gốc của tên miền mỗi khi chúng bắt đầu tiến hành thu thập thông tin từ blog/ website của bạn. Lưu ý, bạn cần phải tạo các file robots.txt riêng biệt cho mỗi tên miền phụ và các giao thức khác nhau.
Không mất quá nhiều thời gian để có được một sự hiểu biết đầy đủ về Robots Exclusion Standard. Chỉ có một vài quy tắc để bạn tìm hiểu. Những quy tắc này thường được gọi là “chỉ thị”.
Ba chỉ thị chính của Robots Exclusion Standard là:
- User-agent: xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
- Disallow: ngăn cản các công cụ tìm kiếm thu thập thông tin và lập chỉ mục.
- Allow: cho phép các công cụ tìm kiếm thu thập thông tin và lập chỉ mục.
Dấu hoa thị (*) có thể được sử dụng như một ký tự đại diện cho tất cả các công cụ tìm kiếm. Ví dụ, bạn có thể thêm dòng sau vào file robots.txt để ngăn chặn các công cụ tìm kiếm thu thập thông tin trên toàn bộ blog/ website của bạn.
User-agent: *
Disallow: /
Các chỉ thị trên là hữu ích nếu bạn đang phát triển một blog/ website mới và không muốn các công cụ tìm kiếm lập chỉ mục khi nó chưa được hoàn thiện.
Một số blog/ website sử dụng chỉ thị Disallow mà không có dấu gạch chéo (/) để biểu thị một trang web có thể được thu thập dữ liệu. Điều này cho phép các công cụ tìm kiếm có đầy đủ quyền truy cập vào toàn bộ blog/ website của bạn.
User-agent: *
Disallow:
Để ngăn chặn việc thu thập dữ liệu với các thư mục hoặc đường dẫn cụ thể, bạn chỉ cần thêm đường dẫn hoặc tên thư mục vào sau chữ Disallow . Trong ví dụ dưới đây, tôi đã quy định các công cụ tìm kiếm không được phép thu thập thông tin của thư mục /images/ và toàn bộ các tập tin cũng như thư mục con chứa trong nó:
User-agent: *
Disallow: /images/
Điều này có được là do robots.txt sử dụng đường dẫn tương đối, không sử dụng đường dẫn tuyệt đối. Các dấu gạch chéo (/) thay thế cho thư mục gốc của tên miền và do đó áp dụng quy tắc cho toàn bộ blog/ website của bạn. Đường dẫn là trường hợp nhạy cảm, vì vậy hãy chắc chắn sử dụng đúng trường hợp khi xác định các tập tin, các trang và thư mục.
Mẫu file robots.txt chuẩn dành cho WordPress
Đây là một trong những mẫu file robots.txt chuẩn nhất, tối ưu nhất, được nhiều blogger WordPress nổi tiếng tin dùng. Bạn cũng có thể sử dụng nó cho blog/ website WordPress của mình. Tuy nhiên, hãy nhớ tùy biến nó cho phù hợp với từng hoàn cảnh cụ thể.
Lưu ý:
- Thay
https://wpcanban.com/sitemap_index.xmlbằng đường link đến XML sitemap của bạn. - Không nên chặn Google và các công cụ tìm kiếm khác thu thập dữ liệu trong các thư mục
/wp-content/themes/và/wp-content/plugins/. Điều đó sẽ cản trở việc Google có một cái nhìn chính xác nhất về giao diện blog/ website của bạn.
Bạn đang sử dụng mẫu file robots.txt nào cho blog/ website của mình? Theo bạn, mẫu file robots.txt đó có tối ưu không? Hãy chia sẻ nó với chúng tôi bằng cách sử dụng khung bình luận bên dưới.
Nếu bạn thích bài viết này, hãy subscribe blog của tôi để thường xuyên cập nhật những bài viết hay nhất, mới nhất qua email nhé. Cảm ơn rất nhiều. :)
Ivan đã bình luận:
07/04/2015 at 08:00Theo mình thì không nên chặn thư mục /wp-content/themes vì nó có chứa style.css nên khi kiểm tra Mobile Friendly sẽ bị Google báo lỗi. Nhớ là đã từng bị nhưng không biết có nhớ nhầm không thôi :)
Trung Hiếu đã bình luận:
07/04/2015 at 08:16Bài này mình viết từ tháng 7 năm ngoái rồi. Lúc đấy còn chưa có công cụ kiểm tra tính thân thiện với điện thoại di động. Mình chưa kịp sửa lại, nhưng mình đã cập nhật trong bài viết mới rồi còn gì. :)
Nguyễn Cao Tiến đã bình luận:
12/11/2016 at 08:23Anh giúp em với. Trước đây file robots.txt của em khác. Giờ em muốn thay file giống như bài viết của anh nhưng không được mặc dù em đã xóa và upload file robots mới lên host rồi. Nhưng khi cập nhật search console với vào đường dẫn /robots.txt vẫn không cập nhật. Không biết nguyên nhân do đâu :(
Trung Hiếu đã bình luận:
12/11/2016 at 08:40Bạn paste nội dung của file robots.txt vào Google Search Console rồi click nút Gửi => Yêu cầu Google cập nhật => Chờ vài phút và reload để xem kết quả. :P
Hoang đã bình luận:
19/02/2017 at 10:48A Hiếu ơi, e có làm đúng với tất cả các bước như trên này. file robots.txt củng lấy trên kia của a. khi yêu cầu gửi xong rồi e chờ chờ tầm 30 phút load lại thì nó vẫn hiện bản cũ của e chứ không phải bản mới cập nhật. A có cách giải quyết cái này không ?
Trung Hiếu đã bình luận:
19/02/2017 at 18:34Cái này phải chờ Google cập nhật thôi bạn. Đã gửi yêu cầu mà nó vẫn chưa chịu cập nhật thì cũng bó tay thôi. :P
Nhiệm đã bình luận:
07/01/2017 at 15:30Bài viết mới đâu Hiếu
Trung Hiếu đã bình luận:
08/01/2017 at 09:20Mình đã cập nhật mẫu file robots.txt chuẩn nhất trong bài viết rồi đó. Bạn có thể theo dõi ngay bên trên. :P
thùng carton đã bình luận:
28/06/2017 at 11:08thím chưa thấy à
Văn Nguyễn đã bình luận:
08/04/2015 at 21:27Vậy bây giờ cấu hình chuẩn cho WP là như thế nào 2 bạn? Mình đặt thuộc tính Alow phía trên rồi cho Disalow bên dưới có đúng nguyên tắc của nó ko các bạn?
Đây là Blog du lịch của Văn Nguyễn: – Mong các bạn kiểm tra vì mình đã thay đổi nhiều lần file robot..text này rồi nhưng ko rõ có sai sót ko?
Trung Hiếu đã bình luận:
08/04/2015 at 21:48Bạn sử dụng file robots.txt có nội dung giống như trong bài viết là được. Mình vừa cập nhật lại hôm qua rồi đấy. :P
tonyvu đã bình luận:
26/05/2015 at 09:04Chào anh!
anh cho em hỏi 1 chút là dù em đã chỉnh sửa lại file robots.txt nhưng khi kiểm tra trong web master tool thì nó vẫn báo file robots.txt vẫn chặn 115 trang tài nguyên, khi kiểm tra lại cụ thể từng trang thì nó lại báo được phép index. tình trạng này là như thế nào ạ? mong anh chỉ giúp
Trung Hiếu đã bình luận:
26/05/2015 at 09:17Bạn copy nội dung file robots.txt mới và paste vào khung “Bộ kiểm tra robots.txt” sau đó click nút “Gửi” và chọn “Yêu cầu Google cập nhật” nhé. :P
Hoàng Thiện đã bình luận:
19/05/2016 at 12:41web mình tự nhiên GG báo truy cập robots.txt bị lỗi, ko tìm nạp được, tài nguyên bị chặn, mất hết từ khóa trên Google search rồi…. giờ làm sao đây Hiếu ơi
Trung Hiếu đã bình luận:
19/05/2016 at 13:22Bác kiểm tra CHMOD của file robots.txt xem đã đúng là 644 chưa? :P
Hoàng Thiện đã bình luận:
19/05/2016 at 14:19Bên host sever báo thế này ” Hiện tại server này bên em đang chặn quốc tế do tình trạng DDOS gây ra “.. phải chuyển server #…. hic.. trang đã èo ọt rồi mà server toàn bị ddos..
Trung Hiếu đã bình luận:
19/05/2016 at 14:32Bơi qua đây em “care” cho nào. :D :P
Hoàng Thiện đã bình luận:
19/05/2016 at 15:38mới xử lý xong cái server, giờ xử lý trong webmaster tool như thế nào nữa nhỉ ?
Minh đang làm site http://www.webdanba.com để giặt tít câu views, ít bữa nữa liên hệ bác mua host
Trung Hiếu đã bình luận:
19/05/2016 at 15:42Vào Webmaster Tools => Thu thập dữ liệu => Bộ kiểm tra robots.txt => Paste nội dung file robots.txt vào => Gửi => Yêu cầu Google cập nhật. :P
Thành đã bình luận:
01/09/2015 at 19:06Bạn ơi mình xài host hỗ trợ nên không thể chỉnh sửa được flie robots , nhưng theo hướng dẫn của bản file robots của mình như vậy là ok phải không ? Không hiểu phần Crawl-delay: 1 là như thế nào (=_=)”
User-agent: *
Crawl-delay: 1
Disallow: /wp-content/plugins/
Disallow: /wp-adminmaps.
Trung Hiếu đã bình luận:
02/09/2015 at 10:04Giá trị 1 = Slow đó bạn. Tương tự, 5 = Very Slow, 10 = Extremely slow. Đây là giá trị quy định tốc độ re-index một trang nào đó. Nếu bỏ Crawl-delay thì sẽ re-index theo tốc độ mặc định của Bots tìm kiếm. :P
Gau bong đã bình luận:
23/09/2015 at 14:10Cấu trúc Robot của mình như vậy có ảnh hưởng gì không nhỉ? Site: http://gaboshop.com
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /feed
Disallow: /*/feed
Disallow: /comments
Disallow: /author
Disallow: /archives
Disallow: /2015/*
Allow: /tag
Sitemap: http://gaboshop.com/sitemap.xml
Trung Hiếu đã bình luận:
23/09/2015 at 15:21Bạn nên bỏ đoạn này đi:
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
TSC Groups đã bình luận:
24/09/2015 at 11:19Anh ơi em có tạo file robots y chang Anh. Nhưng google webmaster cảnh báo lỗi
/attachment-sitemap.xml và /page-sitemap.xml là sao anh. Anh có bị không.
vấn đề 2 không liên quan bài viết này nhưng cho em hỏi làm sao để chặn luôn mấy cái nó vào spam comment thế Anh. có Akismet nhưng kiểu như có máy nó vào spam em rất khó chịu. có plugin nào giúp chặn luôn k Anh ?
Cảm ơn Anh nhiều ạ !!!
Trung Hiếu đã bình luận:
24/09/2015 at 11:57Bạn sử dụng plugin gì để tạo XML sitemaps? Mình xài của Yoast SEO và không bị lỗi gì cả. Còn về vấn đề spam, bạn có thể tham khảo bài viết này: https://wpcanban.com/wordpress/wordpress-plugins/antispam-bee-su-thay-the-tuyet-voi-cho-akismet.html :P
TSC Groups đã bình luận:
24/09/2015 at 12:12Em cũng sài plugin luôn Yoast SEO
vtkong đã bình luận:
28/09/2015 at 18:06Đây là lỗi em chọn sitemap bằng Yoast, trong sitemap có tạo sitemap của đính kèm (attachment) nhưng trong file robots thì để chặn image nên webmaster mới báo như thế, em bỏ dòng Disallow: */attachment/* đi là hết nhé hoặc là tạo sitemap không có attachment
Trung Hiếu đã bình luận:
24/09/2015 at 12:37Bạn thử làm theo hướng dẫn như trong bài viết này xem sao: https://wpcanban.com/wordpress/thu-thuat-wordpress/huong-dan-tao-xml-sitemaps-voi-wordpress-seo-by-yoast.html :P
TSC Groups đã bình luận:
24/09/2015 at 13:43ok em cảm ơn Anh để Em thử… ủa mà sao dán icon zô cmt trên wp vậy Anh :3
Trung Hiếu đã bình luận:
24/09/2015 at 14:01Bạn dùng ký tự đặc biệt là nó tự chuyển thành icon thôi mà. Xem ở đây nhé: https://codex.wordpress.org/Using_Smilies :P
vtkong đã bình luận:
28/09/2015 at 18:07Chủ thớt nên bỏ cái dòng image đi, vì nhiều khi cũng kiếm được view từ việc index hình ảnh đó.
Trung Hiếu đã bình luận:
28/09/2015 at 19:04Hình ảnh upload thường nằm trong đường dẫn wp-content/uploads mà bạn. Cho nên nó không ảnh hưởng gì cả. :-)
Minh đã bình luận:
01/12/2015 at 09:02Anh chị cho em hỏi vào đâu để sửa lại file robot ạ
Trung Hiếu đã bình luận:
01/12/2015 at 09:12Vào host thông qua Files Manager của cPanel/DirectAdmin hoặc FTP. File robots.txt nằm trong thư mục gốc, nơi chứa bộ cài WordPress. :P
Minh đã bình luận:
01/12/2015 at 09:16Có cách nào khác để sửa ko bác….
Trung Hiếu đã bình luận:
01/12/2015 at 09:19Trước đây Yoast SEO (WordPress SEO by Yoast) có tính năng cho phép chỉnh sửa file .htaccess và robots.txt nhưng đã bị loại bỏ trong các bản cập nhật gần đây. :P Nhưng vào host là cách đơn giản nhất rồi mà. Bạn gặp khó khăn gì chăng? :P
Minh đã bình luận:
01/12/2015 at 09:25Mình dùng hos godaddy thì vào đâu được nhỉ…. mình ko rõ lắm
Trung Hiếu đã bình luận:
01/12/2015 at 09:26Host của Godaddy thì có thể vào qua FTP mà. :)
Hoang Huy đã bình luận:
12/01/2016 at 14:36Mình tạo web free bằng wordpress nhưng không biết vào đâu để sửa file robots.txt. Chủ thớt tư vấn ạ .
Trung Hiếu đã bình luận:
12/01/2016 at 14:39Nếu bạn tạo web miễn phí trên WordPress.com thì không thể tùy biến được file robots.txt đâu nhé. Nhưng đừng lo, WordPress.com sẽ tự tối ưu cho bạn. :P
Hoang Huy đã bình luận:
12/01/2016 at 15:38Cấu trúc file Robots của mình thế này:
# This file was generated on Wed, 23 Dec 2015 13:07:41 +0000
# If you are regularly crawling WordPress.com sites, please use our firehose to receive real-time push updates instead.
# Please see http://en.wordpress.com/firehose/ for more details.
Sitemap: https://thietbiytetanlong.wordpress.com/sitemap.xml
Sitemap: https://thietbiytetanlong.wordpress.com/news-sitemap.xml
User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow: /next/
User-agent: *
Disallow: /mshots/v1/
# har har
User-agent: *
Disallow: /activate/
User-agent: *
Disallow: /public.api/
# MT refugees
User-agent: *
Disallow: /cgi-bin/
User-agent: *
Disallow: /wp-login.php
User-agent: *
Disallow: /wp-admin/
Bị báo lỗi ở phần: “Crawl-delay: 3600” (lỗi: Quy tắt bị Googlebot bỏ qua)
Bác xem khắc phục giúp e ạ. Mấy nay vật vả với nó quá.
Thanks !
Trung Hiếu đã bình luận:
12/01/2016 at 16:09Cái này không ảnh hưởng gì cả bạn nhé. Chỉ là Google Bots sẽ crawl dữ liệu luôn mà không delay 1 (3600s) tiếng như trong file robots.txt viết thôi. :)
Hoang Huy đã bình luận:
12/01/2016 at 16:25Vậy hả. Thanks bác nha !
Trung Hiếu đã bình luận:
12/01/2016 at 16:27Hơn nữa, cái thông báo lỗi kia nó áp dụng cho Bots của IRLbot chứ không phải cho Bots của Google. :)
Minh đã bình luận:
01/12/2015 at 09:28Vào FPT… link nào ạ…. bạn có thể nói mình bắt đầu từ đâu ko
Trung Hiếu đã bình luận:
01/12/2015 at 11:25Bạn ra Google tìm hướng dẫn sử dụng của một số phần mềm FTP nhé. :P
Minh đã bình luận:
01/12/2015 at 15:13em cài rồi..đăng nhập rồi…thấy file robot.txt rồi nhưng không thể sửa… chức năng sửa bị ẩn khi chuột phải..bác biết lí do ko
Trung Hiếu đã bình luận:
01/12/2015 at 15:32Bạn đăng nhập qua FTP à? Sử dụng phần mềm gì? :P
khu đã bình luận:
22/12/2015 at 08:54anh cho e hỏi có cách nào chặc được việc upload file .txt trong wordpress ko ạ
Trung Hiếu đã bình luận:
22/12/2015 at 09:29Tạo file .htaccess với nội dung:
https://gist.github.com/Kaiderella/0c2e6236898fea0fac6a
Duy đã bình luận:
04/01/2016 at 17:16Trang http://namsonauto.vn/ mình nên đặt file robot.txt thế nào bạn, bạn chỉ mình cách đặt file robot hiệu qur luôn nhé
Hoang Tan đã bình luận:
05/01/2016 at 16:25Trang của mình trước để dài nhiều quá có khi lại bị ảnh hưởng đến lượng tìm kiếm giờ cho về như này có ổn không bạn:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
trang mình đây: http://hoangvantan.com/
lượng tìm kiếm quá thấp nên hơi nản :)
Trung Hiếu đã bình luận:
05/01/2016 at 17:11Về cơ bản là ổn nhé. :)
Tam Đào đã bình luận:
13/01/2016 at 14:34Link này các bạn thấy thế nào?
http://www.mcanerin.com/en/search-engine/robots-txt.asp
robots.txt
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Trung Hiếu đã bình luận:
13/01/2016 at 14:40Chả cần dài dòng như thế làm gì. Chỉ cần như thế này là xong:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Phạm Tất Thành đã bình luận:
30/03/2016 at 21:36Chào bạn Hiếu. Bạn cho mình hỏi chút!
Có một số bài viết của mình đã viết bài xong, và cũng submit link lên google.
Tuy nhiên sau một tuần mình lên google gõ tìm kiếm tên bài viết và kèm theo cả tên site của mình những vẫn không hiện link bài viết của mình ra? Vậy có phải do google nó không index link của mình? Và nó có liên quan gì đến robots hay sitemap không vậy?
Site mình là: http://tiin24.net
Mình xin cảm ơn!
Hữu Trượng đã bình luận:
31/03/2016 at 23:28Cám ơn bạn nhé.
Mình đã cài đặt mẫu robot này trên website chia sẻ về kiếm tiền trên youtube
http://huutruong.com/
oktot.com đã bình luận:
26/04/2016 at 20:49Chào bạn Hiếu. Bạn cho mình hỏi chút!
Mình mới chuyển sang dùng wordpress, mới up lại các bài viết. đã đăng ký lên google
Tuy nhiên sau một tuần mình lên google gõ tìm kiếm tên bài viết và kèm theo cả tên site của mình những vẫn không hiện link bài viết của mình ra (toàn hiện cái link cũ)? Vậy có phải do google nó không index link của mình? Và nó có liên quan gì đến robots hay sitemap không vậy?
Site mình là: http://www.oktot.com/
Mình xin cảm ơn!
Trung Hiếu đã bình luận:
27/04/2016 at 08:27Mình đã kiểm tra và nhận thấy robots.txt cũng như sitemap_index.xml của bạn hoàn toàn không gặp vấn đề gì cả. :) Bạn đã thực hiện việc submit link trang chủ và yêu cầu index tất cả các link liên kết trực tiếp với nó chưa? :)
oktot.com đã bình luận:
13/05/2016 at 20:07ok thanks nó index rồi, mà chậm quá :)
Nguyễn Văn Liêm đã bình luận:
04/06/2016 at 21:30A ơi. Làm thế nào để đưa web xuất hiện trên google hả anh. chỉ e với
Trung Hiếu đã bình luận:
04/06/2016 at 21:34Khai báo nó với Google Webmaster Tools (hay còn gọi là Google Search Console) nhé. :P
Nguyễn Văn Liêm đã bình luận:
04/06/2016 at 21:42E dung Yoast SEO Khai báo với google nhưng toàn báo lỗi thôi a
Trung Hiếu đã bình luận:
04/06/2016 at 21:44Sao bạn không nhập luôn địa chỉ web vào Google Webmaster mà phải khai báo thông qua Yoast SEO? :P Yoast SEO chỉ giúp bạn tạo sitemaps thôi. :P
Nguyễn Văn Liêm đã bình luận:
04/06/2016 at 21:52A có thể hướng dẫn e được ko ạ
Nguyễn Văn Liêm đã bình luận:
04/06/2016 at 22:04E thử. Nó thông báo là. Chúng tôi không thể xác định được thuộc tính của bạn
Trung Hiếu đã bình luận:
05/06/2016 at 07:51Web của bạn sử dụng tên miền miễn phí à? Chụp cho mình xem thông báo lỗi được không? :P
Nguyễn Văn Liêm đã bình luận:
05/06/2016 at 08:40Chúng tôi không thể xác minh thuộc tính của bạn:
Trợ giúp
Xác minh không thành công cho bằng phương thức Tệp HTML (ít hơn 1 phút trước). Không tìm thấy tệp xác minh của bạn.
Xác minh quyền sở hữu của bạn đối với . Tìm hiểu thêm.
Phương thức khuyến nghị Các phương thức thay thế Lịch sử
Khuyến nghị: Tải lên tệp HTML
Tải tệp HTML lên trang web của bạn.
1. Tải xuống tệp xác minh HTML này. [google5a8c4b1f0a8b2e3b.html]
2. Tải lên tệp vào
3. Xác nhận tải lên thành công bằng cách truy cập trong trình duyệt của bạn.
4. Nhấp Xác minh dưới đây.
Để được xác minh, không xóa các tập HTML, ngay cả sau khi xác minh thành công.
Trung Hiếu đã bình luận:
05/06/2016 at 08:46Link của bạn bị lỗi “Access denied.” rồi kìa. Có vẻ bạn chưa upload nó vào thư mục gốc của WordPress hoặc chưa phân quyền (CHMOD) 644 cho nó?
Nguyễn Văn Liêm đã bình luận:
05/06/2016 at 09:31Vang e sẽ thử .
Anh cho em xin tên facebook của anh để em liên lạc với anh . Chắc e còn phải cần sự giúp đỡ của anh nhiều
Nguyễn Văn Liêm đã bình luận:
04/06/2016 at 21:51E nghĩ seo là đưa bài viết lên google
Hải đã bình luận:
16/09/2016 at 16:41Cảm ơn Hiếu nhé.
Hiệp đã bình luận:
20/09/2016 at 10:48Chào bạn Hiếu web của mình để robot.txt như này:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://cantieulygiare.net/post-sitemap.xml
nhưng hiện tịa khi kiểm tra trong tài nguyên bị chặn thì nó lại chặn chủ yếu những file dạng jquery không biết có ảnh hưởng gì không ạ
Trung Hiếu đã bình luận:
20/09/2016 at 10:50Bạn thêm 2 dòng này vào là sẽ hết lỗi đó:
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Hiệp đã bình luận:
20/09/2016 at 14:18cảm ơn bạn ạ, mình hỏi thêm chút là web của mình: http://cantieulygiare.net/ mình dùng theme avada mình tìm mãi mà không thấy chỗ sửa nút details sang thành tiếng việt ở trang chủ của sản phẩm ạ ở chỗ nào ạ, bạn có thể xem giúp mình đc k ạ
Trung Hiếu đã bình luận:
20/09/2016 at 14:25Bạn kiểm tra xem theme có file language không? Nếu có thì mở ra bên trong sẽ thấy vị trí cần chỉnh. Mình không dùng theme này nên cũng chỉ có thể gợi ý cho bạn vậy thôi. :P
vannguyen đã bình luận:
26/03/2017 at 16:30Dòng này
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Dấu * nếu để trước / sau chữ images thì nó có giá trị gì so với để ngoài vậy bạn?
Trung Hiếu đã bình luận:
26/03/2017 at 17:04Dấu * ở cuối dùng để thay thế cho các file và folder nằm bên trong folder images bạn ạ. :P
Thành Đạt Bee đã bình luận:
10/10/2016 at 19:57Bạn ơi cho mình hỏi chút với, tại sao web mình không được index nội dung vậy bạn, mình không spam hay nội dung trùng lập gì cảm ngay cả mình submit trong webmaster tool mà nó cũng không nhận là sao bạn ơi, mình không rõ về web lắm
Trung Hiếu đã bình luận:
10/10/2016 at 21:18Bạn kiểm tra file robots.txt và .htaccess xem có đang chặn bots tìm kiếm không? :)
Xù đã bình luận:
22/10/2016 at 09:45Mình hiện đang để config như sau
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Sitemap: http://karofivietnam.vn/sitemap.xml
Bỗng dưng dạo này xuất hiện lỗi trong WMT dạng như này
“wp-login.php?redirect_to=https%3A%2F%2Fkarofivietnam.vn%2Fmua-may-loc-nuoc-karofi-chinh-hang-o-dau”
không hiểu có phải do robots.txt điều hướng hay ko nữa. Chạy nửa năm nay rồi tự dưng tuần nay bị -_-
Trung Hiếu đã bình luận:
22/10/2016 at 09:48Không phải do file robots.txt nhé. Bạn “Disallow: /wp-content/” là Google Bots khỏi index ảnh luôn đó. :P
Xù đã bình luận:
22/10/2016 at 09:49Mình sẽ sửa lại.
Nhưng Ad có biết lý do tại sao thằng WMT nó báo lỗi kia ko -_-
Chạy cả năm trời ko sao tự dưng nay bị, sitemap indexed tụt ầm ầm -_-
Trung Hiếu đã bình luận:
22/10/2016 at 09:52Cái link này hoàn toàn không bị chặn bởi nội dung có trong file robots.txt của bạn nên Google Bots vẫn theo dõi nó. Đó là nguyên nhân nó xuất hiện trong WMT. Lâu lâu Google Bots nó index lại toàn bộ trang 1 lần nên thấy tụt cũng là chuyện bình thường mà. Nó sẽ cập nhật lại thôi. :P
Duy đã bình luận:
23/10/2016 at 22:06Hiếu ơi! check giúp mình robot của sitemap như thế này ổn ko hiếu:
website: https://pudy.vn
đây là file robots
User-agent: *
Disallow: /wp-admin/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://pudy.vn/sitemap.xml
Trung Hiếu đã bình luận:
23/10/2016 at 22:27Ok bạn nhé. :)
phát phạm đã bình luận:
09/11/2016 at 00:09anh ơi anh chỉ giúp em cái thư mục gốc tìm nó ở đâu với
Trung Hiếu đã bình luận:
09/11/2016 at 08:30Thư mục gốc chính là thư mục chứa các thư mục như wp-content, wp-admin, wp-includes đó bạn. :P
Bùi Văn Nam đã bình luận:
21/11/2016 at 17:02Mình đã dùng file robot của bạn để áp dụng cho website bán hàng của mình, Nhưng ở dòng sở đồ trang web nó lại cảnh báo là
Sơ đồ trang web: hoatuoivannam.com/post-sitemap.xml
https://hoatuoivannam.com/wp-content/uploads/2016/09/hoa-khai-truong-hkt-01.jpg
lỗi này có ảnh hưởng gì không có cách nào khắc phụ không bạn, nó cảnh báo tới 258 lần nên mình thấy cũng hơi lo.
Url bị chặn bởi robots.txt.
Sơ đồ trang web chứa url bị chặn bởi robots.txt.
258
Trung Hiếu đã bình luận:
21/11/2016 at 17:06Lỗi này của bạn có vẻ là do cái đống Disallow dài dằng dặc ở phần bên dưới của file robots.txt của bạn gây ra. Bạn cứ tạo file robots.txt giống hệt trong bài mình hướng dẫn là được. :P
Bùi Văn Nam đã bình luận:
21/11/2016 at 17:12đây là mẫu robot của mình
User-agent: *
Disallow: /wp-admin/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://hoatuoivannam.com/sitemap_index.xml
mình đã làm theo y như bạn chỉ mà
Trung Hiếu đã bình luận:
21/11/2016 at 17:16Bạn xem lại đi: https://hoatuoivannam.com/robots.txt :P
Bùi Văn Nam đã bình luận:
21/11/2016 at 17:18mấy file đó bị lỗi 404 à bạn nên mình chặn không cho nó truy cập vào à. Có sao không bác giờ mình mà xóa nó thị bị lỗi 404
Trung Hiếu đã bình luận:
21/11/2016 at 17:23Sao bạn không thiết lập redirect các trang 404 về trang chủ. Thế là xong. :P
Vannguyen đã bình luận:
01/01/2017 at 15:38Ngày xưa mình nhớ có cài một plugin gì đó tự 301 toàn bộ link 404 về một trang như home, bạn có biết đó là plg gì tốt nhất ko, mà theo bạn nên 301 hết về trang chủ hay để 404 tùy chỉnh sẽ tốt hơn nhỉ
Trung Hiếu đã bình luận:
03/01/2017 at 08:09Bạn thử plugin All 404 Redirect to Homepage đi. :D
vannguyen đã bình luận:
03/01/2017 at 12:29Cảm ơn Hiếu đã hỗ trợ. Mình hỏi thêm bạn chút, sau khi tạo file robot txt xong thì up vào thư mục nào của root VPS nginx nhỉ, mình chưa từng làm thao tác này bao giờ cả? Up vào thư mục wp-content hay ngang với nó?
Trung Hiếu đã bình luận:
03/01/2017 at 12:30Bạn up ngang với thư mục wp-content nhé. :P
Bùi Văn Nam đã bình luận:
21/11/2016 at 17:27mà hình như cái cảnh báo này mới bị đây à bác, lúc trước mình dùng cái file robot của wordpress tự tạo ra à
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
chỉ có các thành phần này thôi mình vẫn chặn các file 404 bình thường nhưng nó không có báo lỗi.
kể từ khi mình chuyển sang sử dụng file của bác thì bị vậy à. bác có cách nào không ?
Trung Hiếu đã bình luận:
21/11/2016 at 17:34File của mình không hề chặn index thư mục /wp-content/ nên nếu bạn nói nó làm lỗi ảnh là không đúng. Bạn thử kiểm tra lại xem những đường link đó có thực sự tồn tại không? Và lưu ý giữ nguyên mẫu file như mình hướng dẫn chứ không tự ý chỉnh sửa. Cách nhanh nhất để kiểm tra là copy link bị lỗi và sử dụng công cụ kiểm tra file robots trong Google Search Console để test. Nếu nó không bị chặn thì bạn phải đợi một thời gian khá lâu trước khi Google cập nhật và xóa cảnh báo.
Bùi Văn Nam đã bình luận:
21/11/2016 at 17:38mình kiếm tra link vẫn tồn tại đấy ạ. mình cũng không biết sao để thời gian coi xem nó có hết không. mà xóa cảnh báo chỗ nào vậy bác mình tìm mãi cũng không thấy ạ. :P
Trung Hiếu đã bình luận:
21/11/2016 at 17:41Cảnh báo trong sitemaps thì không xóa được bạn nhé. Phải đợi Google tự xóa. :P
Bùi Văn Nam đã bình luận:
21/11/2016 at 18:07à mình nhớ rồi. trước khi mình sử dụng của bác thì mình có sử dụng file của bên blog kia chỉ nó có chặn phần image nên chắc giờ nó bị luôn. để thời gian sau xem thế nào thanks bác nhé
Linh đã bình luận:
02/12/2016 at 10:55có nên chặn luôn /wp-includes không nhỉ ?
Trung Hiếu đã bình luận:
02/12/2016 at 11:18Không nhé. Bạn chặn luôn /wp-includes sẽ bị Google Bots báo lỗi. :P
vannguyen đã bình luận:
31/12/2016 at 21:55Mình đang đi tìm cái plugin tạo file robot txt này mà ko biết nên xài cái nào tốt nhất, bạn có thể tư vấn giúp
Vy Spirit đã bình luận:
01/01/2017 at 10:19Xời, tạo file robots thôi mà cần gì plugin bạn :D
Bạn cứ tạo 1 file .txt trên máy tính và đặt tên là “robots.txt” rồi up nó lên thư mục cài đặt website là được :D À quên, trong file đó bạn copy cái đoạn trên và thay sitemap là được. Mình cũng đang dùng ntn.
Trung Hiếu đã bình luận:
03/01/2017 at 08:13Nếu bạn cần plugin tạo file robots.txt thì Yoast SEO có thể giúp bạn làm điều đó. :P
Đào Văn tiến đã bình luận:
20/02/2017 at 10:11anh ơi em hỏi chút file robots.txt này có dùng như bên blogger không anh nhi
Trung Hiếu đã bình luận:
20/02/2017 at 10:12Không bạn. Đây là file robots.txt dành cho WordPress.
Kurtis Lenberg đã bình luận:
25/02/2017 at 00:52I love it when people come together and share opinions, great blog, keep it up.
Văn Luận đã bình luận:
10/03/2017 at 23:11Đổi link đăng nhập admin nên sử dụng plugins nào bạn?
Trung Hiếu đã bình luận:
11/03/2017 at 08:23Bạn có thể sử dụng một trong các plugin như: Custom Login URL, HC Custom WP-admin URL hoặc WPS Hide Login. :P
Vannguyen đã bình luận:
16/03/2017 at 17:17Hôm nay soi lại thì mình thấy file của bạn có vẻ kỳ kỳ gì đó
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://wpcanban.com/sitemap_index.xml
Đã disavow toàn bộ wp-admin thì các dòng alow ở dưới đâu có tác dụng gì nữa nhỉ
Vì bot nó không vào được wp-admin mà
Trung Hiếu đã bình luận:
17/03/2017 at 08:17Không kỳ đâu bạn. Nó hoàn toàn chính xác đấy. :) 2 dòng allow sẽ giúp loại trừ 2 thành phần kia ra khỏi lệnh disallow. Bạn không tin có thể dùng “Bộ kiểm tra robots.txt” của Google Search Console để test thử. :)
Soju đã bình luận:
03/04/2017 at 23:52Thêm cái này để fix lỗi “Loại bỏ JavaScript và CSS chặn hiển thị trong nội dung trong màn hình đầu tiên” khi test pagespeed có vấn đề gì không a :P
Allow: /*.js$
Allow: /*.css$
lam đã bình luận:
29/04/2017 at 09:48User-agent: *
Disallow: /cgi-bin/
Anh xem giup e file robot.txt nay co anh hưởng nhiều đến SEO ko nha?
thanks anh
Trung Hiếu đã bình luận:
01/05/2017 at 17:37Bạn nên bổ sung thêm link XML Sitemaps vào trong file robots.txt. :)
Hung Soi Cầu đã bình luận:
23/05/2017 at 13:44Cám ơn bác quên cấu trúc này hoài mỗi lần dựng web lại lên đây lấy :D
Nguyễn Văn Thịnh đã bình luận:
26/08/2017 at 11:53Em đã paste nội dung của file robots.txt vào Google Search Console rồi click nút Gửi => Yêu cầu Google cập nhật => Chờ vài phút và reload để xem kết quả như bác hướng dẫn. Nhưng file robots của em vẫn không được cập nhật. Bác kiểm tra site giùm em với nhé
Trung Hiếu đã bình luận:
27/08/2017 at 08:55Mình thấy file robots.txt gốc của bạn trên site chỉ có nội dung thế này:
User-agent: *Nội dung bạn paste vào Google Search Console và nội dung của file robots.txt gốc phải giống nhau nhé. :P
Hoàng Long đã bình luận:
15/09/2017 at 11:59Chào a! Em muốn hỏi là khi em cài SSL thì http sẽ chuyển thành https lúc đó e sẽ phải khai báo lại với Google search console. Nếu như vậy thì sitemap của e cũng phải thay đổi lại thành https, vậy a chỉ cách e làm sao thay đổi sitemap thành https (cả nội dung sitemap), đồng thời robots.txt cũng phải được đổi lại https, vậy robots.txt (của http cũ) sẽ để nguyên hay xóa cài cái https?
Hi vọng a trả lời sớm nhất. Nếu được a có thể làm 1 bài viết về đề tài này thì tốt quá. Cảm ơn a :D
Trung Hiếu đã bình luận:
16/09/2017 at 07:52Mình đã có bài viết về vấn đề này rồi mà bạn. Bạn tham khảo “Hướng dẫn chuyển từ HTTP sang HTTPS không bị mất thứ hạng” nhé. :P
Nguyễn Cửu Hiếu đã bình luận:
21/09/2017 at 19:38trong file robots.txt của website bán hàng có nên Disallow: /images/ k bạn nhỉ?
Trung Hiếu đã bình luận:
22/09/2017 at 07:38Website nào thì cũng không nên chặn index hình ảnh bạn nhé. Thay vào đó bạn có thể dùng Yoast SEO để redirect từ link của hình ảnh về link của bài viết/ sản phẩm khi bots tìm kiếm thu thập dữ liệu. :)
Hòa đã bình luận:
27/09/2017 at 11:43Anh Hiếu cho em hỏi sitemap của e như thế này có ổn không ạ?
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/js/
E thấy google webmasters tool báo lỗi tài nguyên bị chặn:
/wp-admin/js/password-strength-meter.min.js?ver=4.8.1
Nên E có thêm /wp-admin/js/ để bỏ chặn mục này ạ. Em cám ơn anh!
Trung Hiếu đã bình luận:
28/09/2017 at 15:36Được bạn nhé. Không vấn đề gì. :)
Hòa đã bình luận:
29/09/2017 at 12:01Dạ. E cám ơn anh!
Võ Khắc Hạnh đã bình luận:
20/11/2017 at 01:03User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://wpcanban.com/sitemap_index.xml
Vì hiện tại mình đang làm web bán hàng nên có seo cả ảnh nữa. Nên mình bỏ
Allow: /wp-admin/images/*
đi để google có thể index ảnh đúng không hiếu?
Trung Hiếu đã bình luận:
20/11/2017 at 01:16Bạn nhầm rồi. Allow: /wp-admin/images/* là cho phép index ảnh trong thư mục /wp-admin/. Nó ghi đè lên dòng Disallow: /wp-admin/. Nên bạn không cần phải bỏ gì cả. :P
Khac hanh đã bình luận:
20/11/2017 at 22:38À à rồi, cảm ơn bạn nhiều nhé :))
Rât nhiệt tình! (y)
Khac hanh đã bình luận:
20/11/2017 at 23:00Cho mình hỏi thêm cái này nữa với. cái này tức là mình chặn những trang mà không cần gg index. Có phải là mục đích giúp gg làm việc hiệu quả hơn trên site của mình? vậy mình có những trang như liên hệ, chính sách… mình cũng cần chặn luôn đúng không bạn?
Trung Hiếu đã bình luận:
20/11/2017 at 23:01Mấy trang như liên hệ, chính sách… thì nên chặn index bạn nhé. :P
Khac hanh đã bình luận:
20/11/2017 at 23:37OK cảm ơn bạn nhiều.
khachanh đã bình luận:
22/11/2017 at 23:12Tình hình là mình đã tải file lên thư mục gốc trong host. Nhưng 2 ngày kiểm tra lại trên Webmaster tool vẫn không thấy nó cập nhật Hiếu ơi. Tư vấn cho mình với
Trung Hiếu đã bình luận:
23/11/2017 at 07:29Bạn upload đúng thư mục chứa mã nguồn web chưa? Sau khi upload, bạn đã thử truy cập link robots.txt chưa? Bạn đã vào Google Search Console và yêu cầu cập nhật file robots.txt chưa? :P
khachanh đã bình luận:
23/11/2017 at 12:21Link ảnh bạn xem giúp mình. Mình cũng up lên chỗ tệp Html. Xong vào Webmaster tool nhấp vào gửi -> nhấp vào cái thứ 3 là yêu cầu google cập nhật rồi. mà sao vẫn không được nhỉ?
http://www.upsieutoc.com/image/p9bRwb
http://www.upsieutoc.com/image/p9bDpL
Huy Đỗ đã bình luận:
27/01/2018 at 09:03Xin chào Ad!
Mình có thêm file robot.txt theo như cách của bạn nhưng không thấy hiển thị mà nó chỉ lặp đi lặp lại đúng như file này & không thể thêm gì
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Và mình test sitemap cho trang http://www.vinacom.biz/sitemap.xml
Bị báo lỗi nhưng mình không tìm ra cách để khắc phục
Mong được AD giúp đỡ. Hix
Hiếu Lê đã bình luận:
10/03/2018 at 14:21Mục feed có cần chặn không anh ơi!
Trung Hiếu đã bình luận:
10/03/2018 at 14:23Không cần chặn Feed đâu bạn nhé. :P
Hiếu Lê đã bình luận:
10/03/2018 at 14:37Vâng anh, nhưng trong Search Console nó báo bị loại bởi thẻ noindex nghe khó chịu quá, mặc dụ nó vẫn không index :D
Đầy Phạm đã bình luận:
14/03/2018 at 17:13Mình muốn không cho robots index hình ảnh trong bài viết. Vậy làm thế nào hả admin..
Thanks
Trung Hiếu đã bình luận:
14/03/2018 at 18:41Yoast SEO có tính năng chặn index hình ảnh và redirect link hình ảnh về link bài viết mà bạn. :P Hoặc bạn có thể disallow thư mục /wp-content/uploads/
Nguyen Khanh đã bình luận:
27/03/2018 at 18:16Bữa đang tạo, sẵn lên Website của bạn lấy y cái của bạn về dùng ! Cho tất cá các Website !
Trung Hiếu đã bình luận:
28/03/2018 at 08:53Phải chỉnh sửa tí cho phù hợp với từng site chứ. Bê y nguyên không tốt lắm đâu. :)
Nguyen Khanh đã bình luận:
28/03/2018 at 09:40Hi hi … Mình cũng có tùy chỉnh của mình vào đó, chứ không Copy y nguyên !!!
Kiểu như vầy nè ! AD thấy có đúng không?
” User-agent: *
Disallow: /wp-admin/
Disallow: /search/?q=*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: http:// fontviet.com / sitemap_index.xml
Trung Hiếu đã bình luận:
28/03/2018 at 11:36Thực ra cái dòng
Disallow: /search/?q=*là dành riêng cho blog của mình. Mình dùng Google Custom Search và hiển thị kết quả tìm kiếm trên trang /search/ nên mới có cái đó. :P
Nguyen Khanh đã bình luận:
28/03/2018 at 12:00À, mình hiểu rồi, để sửa lại! Mà không sửa, cũng đâu ảnh hưởng gì đến vì có cấm cái không tồn tại cũng như không cấm vậy thôi !
Nam Nguyễn đã bình luận:
02/04/2018 at 09:20Thank anh. Trước h e toàn để nguyên, thỉnh thoảng check thì thấy google index những trang đâu đâu.
Trí Đầy đã bình luận:
02/04/2018 at 12:40Admin cho e hỏi.. Nếu mình không cho google index website của mình thì có bị google phạt ko ạ..
User-agent: *
Disallow: /
Cám ơn admin.
Trung Hiếu đã bình luận:
02/04/2018 at 13:11Không bạn nhé. Vì chặn index đâu có phải là vi phạm chính sách của Google. :)
Trí Đầy đã bình luận:
02/04/2018 at 13:56Em định cập nhật lại tất cả url bài viết và chuyên mục
Trung Hiếu đã bình luận:
02/04/2018 at 14:48Nếu vậy thì bạn nên dùng plugin redirect 301 từ link cũ về link mới sẽ tốt hơn. Dùng tính năng Redirect của Yoast SEO Premium chẳng hạn.
Hiếu Lê đã bình luận:
02/04/2018 at 22:10Em cũng làm tương tự nhưng trong WMT vẫn chặn file css và js, không biết do host hay do robots.txt nữa. Hay do cấu hình sai chỗ nào :(
Trung Hiếu đã bình luận:
03/04/2018 at 07:24Bạn sửa file robots.txt xong đã submit lên Google Search Console để yêu cầu cập nhật chưa?
Hiếu Lê đã bình luận:
03/04/2018 at 11:26Em sửa trực tiếp trên host và đã yêu cầu cập nhật. Hình như số file chặn đang giảm dần à.
Em có thêm:
Allow: /*.js$
Allow: /*.css$
ko biết có ảnh hưởng gì không a nhỉ?
Trung Hiếu đã bình luận:
03/04/2018 at 11:41Thêm cái đó là không cần thiết nếu sử dụng mẫu file robots.txt giống như trong bài viết.
Hiếu Lê đã bình luận:
03/04/2018 at 11:43Vâng anh, cảm ơn anh tư vấn nhiều!
Trung Hậu đã bình luận:
03/04/2018 at 10:15Theo kinh nghiệm 26 năm làm Website của admin thì.. Mình cập nhật file robos.txt xong, khi nào google mới cập nhật lại tất cả các url trong website của mình..
Ví dụ: không cho index chuyên mục: Video clip và các bài viết trong chuyên mục Video clip
User-agent: *
Allow: /
Disallow: /video-clip/*
Trung Hiếu đã bình luận:
03/04/2018 at 10:36Đẻ ra đã biết làm website rồi à bạn? Thần thánh quá. =)) Câu hỏi này sẽ không có câu trả lời chính xác nhé. Nó tùy thuộc vào lượng dữ liệu có trên site và mức độ uy tín của site nữa. :)
Vu Hai đã bình luận:
05/04/2018 at 15:43Hay quá mình đã tạo robots cho site https://www.top5hcm.com nhưng sao google vẫn báo là không có nhỉ :(
Trung Hiếu đã bình luận:
05/04/2018 at 16:09Bạn tạo xong đã submit file robots.txt lên Google Search Console chưa? Nó nằm trong mục Thu thập dữ liệu => Bộ kiểm tra robots.txt ấy.
Tấn Thảo đã bình luận:
13/04/2018 at 06:11Cho mình hỏi, mình bị google báo về trong WMT google bot bị chặn tìm kiếm ở các js thì mình nên cấu hình như thế nào cho file Robots?
Trung Hiếu đã bình luận:
13/04/2018 at 08:37Cụ thể thì bạn bị chặn file nào nhỉ?
Tấn Thảo đã bình luận:
13/04/2018 at 08:42/wp-includes/js/ mà mình đã bỏ chặn includes mà vẫn chưa hết lỗi nhĩ?
Trung Hiếu đã bình luận:
13/04/2018 at 08:43Google Search Console nó đâu có cập nhật real-time. Bạn phải chờ nó index lại dữ liệu thì mới thấy sự thay đổi.
Hu đã bình luận:
17/04/2018 at 12:01Mình dùng sitemap của yoast seo phiên bản mới nhất bị lỗi, ko biết có ai bị ko.
Và sau đó mình phải cài google xml sitemap. Google XML sitemap sẽ có đường dẫn sitemap là: “sitemap.xml”. và trong file robots.txt là “sitemap_index.xml”.
vậy mình cũng phải sửa trong file robots.txt thành “sitemap.xml” đúng ko bác?
và có cách nào để sửa đc cái sitemap trên yoast seo mà ko cần cài plugin google xml sitemap kia ko.
giúp mình với, thanks
Trung Hiếu đã bình luận:
17/04/2018 at 12:07Bạn không nói rõ là nó bị lỗi gì, cũng không đưa link web thì ai biết đường nào mà hỗ trợ? Mình dùng bản mới nhất thấy vẫn bình thường, không lỗi gì cả. Nếu bạn đổi XML sitemap thì nhớ đổi luôn cả link sitemap trong file robots.txt và tiến hành khai báo lại sitemap trên Google Search Console.
trung tín đã bình luận:
17/05/2018 at 09:26User-agent: *
Allow: /
Disallow: */order/*
Disallow: */user/*
Disallow: */message/*
Disallow: */seo/*
cái của mình vậy có sao ko bạn
Trung Hiếu đã bình luận:
17/05/2018 at 09:35Site của bạn hình như không phải bằng WordPress nên mình không thể đưa ra lời khuyên chính xác được. Nhưng bạn nên bổ sung link XML sitemap (nếu có) vào file robots.txt.
trung tín đã bình luận:
17/05/2018 at 09:42Bác có biết ai ko nhờ giúp với ..vì web mình đang top 7 từ khóa dây rút nhựa..nhưng tự nhiên mới 1 tuần nay từ đó bị đánh bay khỏi google luôn , những từ khác thì mình vẫn top bình thường
Trung Hiếu đã bình luận:
17/05/2018 at 09:51Mình chỉ rành về mảng WordPress thôi bạn ạ. Mà rớt top từ khóa cũng chưa chắc liên quan đến file robots.txt mà. Nếu từ trước đến giờ bạn không hề chỉnh sửa gì trong file robots.txt thì mình nghĩ là do nguyên nhân khác. :)
Bách đã bình luận:
26/05/2018 at 11:58bạn ơi cho mình hỏi file robot.txt nằm ở đâu ạ. mình tìm trong yoast seo ko thấy. nếu dùng nó trong webmaster tool đc ko ạ
Trung Hiếu đã bình luận:
26/05/2018 at 12:02File robots.txt thường nằm trong thư mục bạn cài đặt WordPress (public_html) chẳng hạn. Và mặc định WordPress không có sẵn file robots.txt đâu nhé. Bạn phải tạo thủ công rồi upload lên host hoặc sử dụng Tools của Yoast SEO để tạo. Nó nằm trong SEO => Tools => File Editor. Tất nhiên, nếu bạn tắt tính năng chỉnh sửa file của WordPress thì sẽ không nhìn thấy mục File Editor trong Yoast SEO đâu. Lúc đó bạn sẽ phải tạo thủ công bằng cách tạo file trên máy tính rồi upload lên hoặc thông qua File Manager của cPanel/ DirectAdmin.
vua câu cá đã bình luận:
01/06/2018 at 17:02Anh giúp em với. Trước đây file robots.txt của em khác. Giờ em muốn thay file giống như bài viết của anh nhưng không được mặc dù em đã xóa và upload file robots mới lên host rồi. Nhưng khi cập nhật search console với vào đường dẫn /robots.txt vẫn không cập nhật.
Jellyfish đã bình luận:
19/06/2018 at 10:12Anh ơi cho em hỏi chút ạ.
Em vào webmaster tools => Thu thập dữ liệu => Bộ kiểm tra robots.txt thì thấy hiện tại là như thế này ạ:
# robots.txt generated at http://www.mcanerin.com
User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: */page/*
Sitemap: http://duhocvietnhat.edu.vn/sitemap.gz
Trong khi sitemap của em là như này ạ: http://duhocviethan.edu.vn/sitemap_index.xml
Nếu em sửa lại thành:
User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: http://duhocviethan.edu.vn/sitemap_index.xml
thì có được không ạ? Em cảm ơn anh nhiều ạ.
Trung Hiếu đã bình luận:
19/06/2018 at 10:15Được bạn nhé. Cái file robots.txt cũ của bạn không tối ưu cho WordPress đâu, nên đổi ngay. :)
Jellyfish đã bình luận:
19/06/2018 at 10:32Dạ vâng em cảm ơn ạ :D
Gia Khánh đã bình luận:
23/06/2018 at 15:05Bạn cho mh hỏi về chặn index phân trang web thì mh cấu hình như thế nào trong file robots.txt
Trung Hiếu đã bình luận:
23/06/2018 at 16:27Trước đây Yoast SEO có tính năng này. Nhưng kể từ phiên bản 6.3 họ đã loại bỏ nó đi. Nguyên nhân được giải thích là do Google đã tự nhận biết, chỉ index trang chính, không index subpages nữa.
Gia Khánh đã bình luận:
24/06/2018 at 19:53sau mình check index vẫn thấy google nhận vậy bạn ? có cách nào chặn hay không bạn ?
Trung Hiếu đã bình luận:
24/06/2018 at 21:14Cái này mình chịu. Mình cũng không biết làm cách nào để chặn nên cứ để tự nhiên vậy thôi. Bạn có thể cài các phiên bản Yoast SEO cũ hơn bản 6.3 để có tính năng chặn index subpages. :P
Gia Khánh đã bình luận:
25/06/2018 at 09:14Thanks bạn nhiều
Hiếu đã bình luận:
21/09/2018 at 19:17Bác Neil Patel cũng có cái guide về phần này mà thấy không cụ thể như file của wpcanban. Có anh em nào chuột bạch chưa cho mình xin ít phản hồi nhỉ?! :D
Tuấn Đức Designer đã bình luận:
22/09/2018 at 01:48em thấy cái này chuẩn hơn nè anh Hiếu :P
User-agent: Mediapartners-Google
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
User-agent: Bingbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
User-agent: Googlebot
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
User-agent: Twitterbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
User-agent: Mediapartners-Google
Allow: /*.js$
Allow: /*.css$
Sitemap: https://wpcanban.com/sitemap_index.xml
User-agent: Bingbot
Allow: /*.js$
Allow: /*.css$
Sitemap: https://wpcanban.com/sitemap_index.xml
User-agent: Googlebot
Allow: /*.js$
Allow: /*.css$
Sitemap: https://wpcanban.com/sitemap_index.xml
User-agent: Twitterbot
Allow: /*.js$
Allow: /*.css$
Sitemap: https://wpcanban.com/sitemap_index.xml
User-agent: Yandex
Allow: /*.js$
Allow: /*.css$
Sitemap: https://wpcanban.com/sitemap_index.xml
User-agent: *
Allow: /*.js$
Allow: /*.css$
Sitemap: https://wpcanban.com/sitemap_index.xml
đoạn này em trộm từ file robots.txt của facebook ạ :3
Trung Hiếu đã bình luận:
22/09/2018 at 07:22Để mình phân tích cho bạn nghe:
1. Chỉ cần
User-agent: *là đủ, nó đại diện cho tất cả các bot tìm kiếm. Do đó bạn không cần phải phân riêng ra từng bot như vậy, trừ khi chỉ thị cho chúng là khác nhau.2.
Disallow: /wp-includes/là không ổn rồi. Nhiều website vẫn load các file từ thư mục /wp-includes/ để phục vụ cho việc hiển thị giao diện. Do đó chặn truy cập /wp-includes/ sẽ khiến cho bots tìm kiếm có một cái nhìn không hoàn thiện và đầy đủ về website.3.
Disallow: *?replytocomcái này cũng không nên chặn, do nó sẽ ảnh hưởng đến việc bots tìm kiếm index dữ liệu bình luận. Bạn có biết bình luận cũng là một trong số các yếu tố quan trọng giúp website lên top tìm kiếm?Vậy thì cái mà bạn nói là chuẩn hơn thì chuẩn ở đâu? :P
Trung Hiếu đã bình luận:
22/09/2018 at 07:26P/s: WordPress mặc định không dùng đường dẫn
/search?q=*trong tìm kiếm đâu nhé. Phải là/?s=*mới đúng.
nguyễn thanh tú đã bình luận:
12/10/2018 at 23:24mình thấy bất kỳ web site nào nếu thêm dấu ? vào thì đường link sẽ là abc,com/bai-viet thành abc,com/bai-viet? như vậy có ảnh hưởng gì không hiếu. Có nên chặn không
Trung Hiếu đã bình luận:
13/10/2018 at 09:57Không cần quan tâm bạn nhé. Bình thường chả ai tự dưng đi thêm dấu hỏi vào cuối đường link cả, nên Google cũng sẽ không index chúng.
Kim Linh đã bình luận:
15/10/2018 at 13:54A ơi file robots.txt của em có chuẩn chưa ạ?
User-agent: *
Allow: /*.js$
Allow: /*.css$
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /images/
Disallow: /author/
Trung Hiếu đã bình luận:
15/10/2018 at 19:58Bạn tự so sánh với mẫu ở trong bài viết là có câu trả lời mà. :P
Tước Hảo đã bình luận:
16/10/2018 at 22:46Tên miền 1:
User-agent: googlebot
Disallow: /
User-agent: *
Allow: /
Sitemap: http://abc.com/sitemap_index.xml
Ý nghĩa: trang web abc.com, bot google bị chặn không dc index, tất cả các bot còn lại được phép.
—
Tên miền 2:
User-agent: Baiduspider
Allow: /
Sitemap: http://edf.com/sitemap_index.xml
Ý nghĩa: trang web edf.com, chỉ có bot Baidu được index, tất cả các bot còn lại không được phép index.
Admin cho mình hỏi thiết lập hai file robots.txt ở 2 trang web như vậy có đúng với phần ý nghĩa của nó không? Thanks, mong sự hồi âm
Trung Hiếu đã bình luận:
17/10/2018 at 07:15Bạn muốn chặn index bot nào thì phải ghi cụ thể tên của bot đó ra. Nếu không ghi thì nó vẫn index như thường.
Pháp đã bình luận:
03/12/2018 at 21:18Anh @Trung Hiếu cho em hỏi:
Các câu lệnh này nghĩa là gì vậy anh?
Disallow: /?s=*
Disallow: /search?q=*
Disallow: *?replytocom
Nên xài cho file robots.txt không anh?
Trung Hiếu đã bình luận:
04/12/2018 at 07:43Disallow: /?s=* => chặn index trang kết quả tìm kiếm mặc định của WordPress. Dấu * tương ứng với từ khóa tìm kiếm.
Disallow: /search?q=* => chặn index trang kết quả tìm kiếm tùy chỉnh của WordPress. Ví dụ bên mình dùng Google Custom Search thì sẽ có link trang kết quả tìm kiếm là https://wpcanban.com/search?q=* (dấu * tương ứng với từ khóa tìm kiếm).
Disallow: *?replytocom => chặn index link reply bình luận. Trước đây Yoast SEO trang bị sẵn tính năng cho phép xóa bỏ link reply-to-comment nhưng từ phiên bản 7.0 trở đi thì họ đã loại bỏ nó. Sở dĩ người ta chặn index link này vì nó gây ra lỗi trùng lặp nội dung. Nhưng có vẻ hiện tại vấn đề này đã được khắc phục mà không cần phải chặn index bằng robots.txt hay loại bỏ bằng plugin nữa.
Pháp đã bình luận:
04/12/2018 at 07:49Cảm ơn anh rất nhiều ạ.
Ngoc Tran đã bình luận:
25/01/2019 at 15:19Anh cho em hỏi. Những cái nào mình không khai báo thì mặc định sẽ Allow có đúng ko ạ?
Ví dụ của em là:
User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /?s=*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Em không khai báo wp-content thì mặc định wp-content sẽ Allow có đúng không ạ?
Trung Hiếu đã bình luận:
25/01/2019 at 15:46Đúng rồi bạn.
Nam Blog đã bình luận:
31/01/2019 at 17:07hay lắm cảm ơn bạn
Ngọc lan đã bình luận:
11/03/2019 at 16:51Mình đã thêm file robots.txt giống như bạn hướng dẫn, bài viết rất hay.
Ngô Văn Cương đã bình luận:
11/03/2019 at 22:18Mẫu này cần chặn thêm vài con bot nữa ad à
nhathongminh đã bình luận:
13/03/2019 at 11:46Cảm ơn bạn đã đóng góp cho cộng đồng WP 1 bài viết bổ ích
Trí đã bình luận:
15/03/2019 at 15:28Chào AD, thanks vì bài viết. Mình vừa tạo web mới. Đăng viết bài và design. Vậy có nên cho robot thu thập ko?? Nếu không cho, thì liệu bài viết sẽ bị copy không?? Nếu cho thì trong giai đoạn này có ảnh hưởng gì web ko??
Mình hơi gà, nên xin được học hỏi thêm. Thanks AD
Trung Hiếu đã bình luận:
15/03/2019 at 16:11Chào bạn,
1. Nếu website chưa hoàn thiện về thiết kế và nội dung thì không nên cho index dữ liệu nhé. Công cụ tìm kiếm có thể sẽ có những đánh giá sai lệch về website của bạn.
2. Bạn cho hay không cho bots thu thập dữ liệu thì bài viết vẫn bị copy như thường. Hai vấn đề này đâu có liên quan đến nhau?
IT Ha Noi đã bình luận:
27/03/2019 at 17:20Cảm ơn a nhé!
Nguyễn Lộc đã bình luận:
15/05/2019 at 09:00Cái dòng này có ngĩa và có tác dụng như thế nào vậy ạ?
Disallow: /?s=*
Trung Hiếu đã bình luận:
15/05/2019 at 09:05Không cho index trang kết quả tìm kiếm (mặc định) của WordPress đấy bạn.