Hãy tạo file robots.txt cho blog
File robots.txt dùng để hướng dẫn cho các con robot của các bộ máy tìm kiếm biết trang hoặc phần nào trên website hay blog của bạn nên đọc và thường xuyên đến để đánh chỉ mục, trang hoặc phần nào không nên đọc. Hầu hết các website và các blog đều có các thư mục chẳng liên quan gì hoặc chẳng có tác dụng gì cho các bộ máy tìm kiếm như là các file ảnh và các file admin. Vì thế việc tạo một file robots.txt hoàn toàn có thể cải thiện được việc đánh chỉ mục cho website hay blog của bạn.
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
“User-agent: *”: câu lệnh này có nghĩa là cho phép tất cả các con bot tìm kiếm (từ Google, Yahoo, MSN và các bộ máy tìm kiếm khác) sẽ dùng lệnh hướng dẫn này để đọc website hay blog của bạn. Trừ khi website hay blog của bạn quá phức tap, nếu không bạn không cần đặt các chỉ dẫn khác nhau cho các spider khác nhau. Bạn chỉ cần đặt y như trên là đủ.
User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
Disallow: /bất cứ file hay folder nào mà bạn không muốn crawler đọc/
Sau khi bạn đã tạo xong file robots.txt, hãy upload nó lên thư mục gốc trên web host của bạn. Thế là xong thôi. Bây giờ thì bạn có thể an tâm là các con robot của các bộ máy tìm kiếm chỉ đọc nội dung trên blog của bạn chứ không đọc nội dung của các file Wordpress. Điều này là thực sự quan trọng vì nó giúp nội dung trên blog của bạn sẽ không bị trùng lặp, và các thông tin của các file nhạy cảm cần bảo mật trên web host sẽ không bị chúng nhòm ngó.
25 Ý kiến cho bài viết này.
November 17th, 2007 lúc 12:56 pm
Cảm ơn anh, cái này hay mà giờ em mới biết. Em đang làm thử, có gì em sẽ hỏi anh tiếp nhé!
November 17th, 2007 lúc 2:03 pm
Thanks bác. Em cũng phải làm cái, không biết thì thôi chứ biết thì phải làm
.
November 21st, 2007 lúc 1:14 pm
thanks, mình copy về nhà để mai mốt dùng hihihi, vì bây giờ mình chưa áp dụng nó.
November 28th, 2007 lúc 2:32 pm
BÀI VIẾT NÓI CHUNG CHUNG QUÁ!NÓI THẾ HIỂU ĐƯOC CHẾT LIỀN.TẠO NÓ RA RÒI UP LEN TRNG GỐC CỦA BLOG U? VẬY XIN CHO HỎI TRANG GÓC CỦA BLOG LA Ở ĐÂU VẬY TA?
VÀ TÁC DỤNG CỦA NÓ LA LÀM NHỮNG GI VÂY?
November 28th, 2007 lúc 4:00 pm
Thưa bạn Hồng Thịnh,
Trước hết, Phamen cảm ơn bạn đã ghé thăm và cho ý kiến. Nếu bạn muốn hỏi hay bạn đã biết và muốn thử kiểm tra trình độ của Phamen thì xin bạn cứ nói rõ, không nên comment như thế
Thứ hai, bạn hãy đọc lại, Phamen không nói là upload lên trang gốc, mà Phamen nói là upload lên thư mục gốc.
Tác dụng của nó thì Phamen đã nói rồi.
December 6th, 2007 lúc 10:29 am
Anh ơi anh có thể gửi mail dạy em cặn kẽ hơn chút xíu không ạ,em bíết ít về các lệnh này lắm và cũng không biết jì nhiều em rất mong được anh chỉ dạy,em cảm ơn anh rất nhiều.
December 6th, 2007 lúc 10:34 am
ah` anh ui có phải mình chèn thêm đoạn lệnh này vào CSS ko ạ vì em ko dùng website mà dùng blog ạ anh cho em biết sớm nha.
December 6th, 2007 lúc 10:55 am
To: Hà Kim Dung,
Bạn không phải chèn gì vào cả, chỉ cần dùng mẫu như ở trên thôi và save lại với tên là robots.txt và upload lên root directory của webhost thôi.
December 6th, 2007 lúc 1:53 pm
Nhưng anh ơi em dùng opera thi phải up ở đâu ạ em làm như anh day rồi nhưng em ko biết phải up ở đâu trong phần cài đặt nữa anh làm ơn chỉ giúp em nha.Em xin lỗi đã hỏi anh nhiều wa’ nhưng từ sáng sớm đến giờ lang thang ở đây em học được rất nhiều em cảm ơn anh nghe
December 6th, 2007 lúc 2:30 pm
Rất tiếc
, blog opera thì bạn không có quyền quản lý host do đó bạn không thể upload file robots.txt này lên được.
Tốt nhất bạn hãy chuyển sang sử dụng blog wordpress với tên miền riêng và rất chuyên nghiệp, bạn có toàn quyền quản lý nó. Wordpress.org có rất nhiều theme để bạn có thể chọn lựa. Khi đã sử dụng wordpress, bạn sẽ cảm thấy Opera như một em bé so với gã khổng lồ wordpress.
Bạn có thể tham khảo loạt bài của Phamen viết về tạo blog chuyên nghiệp với tên miền riêng
December 20th, 2007 lúc 10:23 am
thư con blógpot
January 6th, 2008 lúc 1:32 pm
sao lai chan /feed/ nhi ? Rat nhieu trang lam the nay ma thuc ra nen mo feed full text nua co
January 6th, 2008 lúc 2:03 pm
Chặn feed để tránh duplicated content. Lại là duplicated content. Nó thực sự cực kì quan trọng cho SEO.
January 6th, 2008 lúc 7:05 pm
@phamen:Hai cai nay ten giong nhau ten goi nhung ban chac khac nhau ma
). Mot cai cung ten mien, mot cai khac ten mien. Hi, gio neu mo rong tam mat hon nua thi sao nhi 
January 6th, 2008 lúc 7:40 pm
Ý của bạn là gì? Phamen chưa hiểu lắm.
March 1st, 2008 lúc 6:19 pm
Anh có thể nói chi tiết là thư mục gốc là thư mục nào được không, là thư mục nào của blog, em đang dùng wordpress host của byethost13, em sợ úp nhầm thì chết
September 1st, 2008 lúc 3:56 pm
Chà, chủ yếu là dùng cho wordpress thôi, blogspot hiện còn hạn chế quá.
September 11th, 2008 lúc 7:58 pm
Phamen cho mình hỏi: tại sao phải disalow feed, phải chăng để chống duplicate content?
Cả vụ trackback nữa, cho mình hỏi luôn tại sao phải disalow trackback.
Cảm ơn về bài viết bổ ích!
September 14th, 2008 lúc 9:33 pm
To: Fontchu.com,
Về cơ bản, một bài viết khi đăng lên sẽ có 4 link được tạo cho nó.
Ví dụ: Phamen viết bài: Hãy tạo file robots cho blog thì sẽ có các link sau:
http://www.phamen.com/hay-tao-file-robots-cho-blog
http://www.phamen.com/category/hay-tao-file-robots-cho-blog
http://www.phamen.com/tags/hay-tao-file-robots-cho-blog
http://www.phamen.com/feeds/hay-tao-file-robots-cho-blog
Và khi Google index tất cả những trang này, nó sẽ lưỡng lự không biết trả lại kết quả tìm kiếm như thế nào vì theo nó đây là 4 bài viết khác nhau nhưng lại có cùng một dung giống y hệt nhau.
Việc này sẽ làm mất Pagerank của bạn và sẽ đưa ít khách hơn đến bài viết này.
Không phải Google index càng nhiều bài viết trong blog càng tốt. Chất lượng tốt hơn số lượng. Vì vậy, tốt nhất chỉ để 1 URL cho 1 bài viết.
Đó chính là lí do tại sao Phamen đã block: feeds, tags và category trên blog của mình.
October 12th, 2008 lúc 11:03 pm
Đặt liên kết nhé cậu
VNIT’s Blog www.vnghiit.com
Tớ sẽ add link cậu nhé
March 21st, 2009 lúc 10:39 pm
cam on bai viet, rat hay
May 27th, 2009 lúc 9:15 am
Bài của anh đa phần dành cho wordpress. Nhưng bọn em sử dụng Blog Multiply thì đánh code để chèn trong Css thế nào anh. E muốn tăng thứ hạng của mình trên một số cỗ máy tìm kiếm thì nên làm thế nào?
May 29th, 2009 lúc 6:41 pm
Anh ơi, cho em hỏi cái URL ở trong blog có ý nghĩa gì? Công dụng ra sao? Và điền gì vào cái URL ở trong phần BLast? Em chưa hiểu mong anh bảo rõ:D. Cảm ơn anh trước!
June 4th, 2009 lúc 8:22 pm
Mình thấy cách này đc lắm. Mình sẽ thử sử dụng nó. Có gì nhờ a giúp đỡ sau nhé !
June 8th, 2009 lúc 12:02 pm
noi chung la` cung~ dc ,dau ai chi tu a~z
thang phammen no chiu viet la` cam on no di.