Hướng dẫn tạo file robots.txt cho WordPress


Quảng Cáo
Đặt Banner Quảng cáo, Textlink, Guest Post
Liên Hệ Ngay: 1900636343

Contents

  • WordPress robots.txt là gì (và căn do bạn đề xuất sử dụng nó)
  • File robots.txt WordPress nằm trong khu vực ở phần nào
  • Quy tắc nào đề xuất có thêm nữa trong file robots.txt WordPress
  • Làm ra sao để triển khai ra file robots.txt cho WordPress (3 cách)
  • Xử lý xem file WordPress robots.txt có hoạt động giải trí thư giãn không và gửi nó lên Google Search Console
  • Lời kết

Để chắc chắn rằng trang web của chúng ta cải cách và xuất hiện trên Trang thành tựu search kiếm tìm – Search Engine Result Pages (SERPs), bạn đề xuất để “bots” truy nhập vào những tđảo trọng đại trên trang web. File robots.txt được viết tốt công hiệu dùng làm thống trị truy nhập của những bots này tới trang bạn thích (để tránh nó quét những nơi không đề xuất phải có). Trong bài này, cửa hàng cửa hàng chúng tôi sẽ tập huấn tạo file robots.txt cho WordPress như sau:

  1. File robots.txt là gì và vì sao nó trọng đại
  2. File robots.txt WordPress được đặt tại phần nào.
  3. Làm ra sao để triển khai ra file robots.txt.
  4. Luật nào nên được dùng trong file robots.txt WordPress.
  5. Làm ra sao để nghiệm thu lại robots.txt file, và gửi nó lên Google Search Console.

Sau khi đọc xong bài này, cả nhà sẽ biết tất thảy tất thảy để cấu hình một file robots.txt tuyệt vời nhất cho WordPress trang web của chúng ta. Hãy bắt đầu bật nguồn thôi!

WordPress robots.txt là gì (và căn do bạn đề xuất sử dụng nó)

thí dụ robots

Khi bạn tạo mới một trang web, bộ máy kiếm tìm sẽ gửi những con bọ máy pc (bots) tới để ‘quét’ qua nó và cho ra một bản vẽ chứa các trang web trong nó. Bằng cách thức này, chúng tìm hiểu trang nào đề xuất cải cách và xuất hiện thành tựu khi ai đó tìm từ khóa bổ trợ tương quan. Cơ bản nếu mà thế nên là đã đủ.

Nhưng bị hư nảy sinh khi các trang web hiện chứa nhiều nguyên tố hơn là trang web. WordPress chất sẽ có được bạn tạo plugins, phổ biếng nó có thư mục riêng cho nó. Bạn sẽ không còn phải muốn những trang này hiện lên thành tựu search kiếm tìm, vì thực ra nó không còn mô tả giá trị.

File robots.txt cho ra một bộ chỉ huy cho bộ máy kiếm tìm bots. Nó nói với chúng: “Hey, mày công hãng xem tại đây, nhưng vẫn không lấn sân vào những phòng khác ở kia!”. File đó còn công hiệu rất chi li tùy từng chừng độ bạn thích. Nó cũng dễ làm và không hy vọng kiến thức chuyên viên chuyên môn gì nhiều.

Trên thực ra, trình search kiếm tìm sẽ quét site của chúng ta kể cả khi chúng ta không còn cài file robots.txt. Nhưng sẽ không còn còn đạt hiểu quả cao, do bot sẽ index tất thảy mô tả của chúng ta, và quét sâu đến độ công hiệu nó có kĩ năng sẽ bị hiển thị những nơi bạn không phải muốn người khác truy nhập vào.

Hơn nữa, còn nếu không còn file robots.txt, cả nhà sẽ dành được không phải ít đa mẫu mã kiểu loại bots quét tới quét lui tất thảy site của chúng ta. Vì vậy sẽ gây nên tổn thương kém cởi mở đến hiệu năng hoạt động giải trí thư giãn vui chơi giải trí thư giãn của site. Tốc độ trang là những nguyên tố trọng đại để được xem được đứng thứ hạng. Và như bạn biết, không còn ai thích vào một site truy nhập chậm khả (kể cả chủ trang web như các bạn!). Vì vậy, tạo một file robots.txt vừa lòng lý cho WordPress là cách thuần tuý nhưng đạt gấp gáp cao cho trang web của chúng ta.

File robots.txt WordPress nằm trong khu vực ở phần nào

Khi bạn lập 1 trang web mớisite WordPress, nó có kĩ năng sẽ bị tự động hóa hóa cho ra một file robots.txt đặt ngay phía bên dưới thư mục gốc của server. Ví dụ, nếu site của chúng ta đặt trong thư mục gốc của địa điểm yourfaketrang web.com, cả nhà sẽ dành được hiệu quả truy nhập file robots.txt ở đường dẫn yourfaketrang web.com/robots.txt, thành tựu ban sơ sẽ hao hao như sau:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

Đây là thí dụ file robots.txt cơ bản. Phần sau User-agent: Dấu * có có nghĩa là quy tắc được áp dụng cho mọi loại bots trên mọi địa điểm trên trang web. Trong trường vừa lòng này, file đó sẽ nói cho bots biết là chúng không được phép vào trong file thư mục wp-admin wp-includes. Rất vừa lòng lý phải không, vì 2 thư mục này chứa không phải ít file hiện trạng mẫn cảm.

Hãy nhớ, đây được nghĩ rằng một trong những file ảo, do WordPress tự tùy chỉnh mặc định khi lắp đặt và không chỉ cónh sửa được (mặc dầu nó vẫn hoạt động giải trí thư giãn). Thường thì, địa thế file robots.txt WordPress chuẩn được đặt trong thư mục gốc, thường được cho gần giống với public_html www (hoặc tên trang web). Và để triển khai ra file robots.txt cho riêng bạn thì bạn đề xuất tạo một file mới để hoán đổi file cũ đặt trong thư mục gốc đó.

thư mục gốc của trang web

Ở tập huấn tiếp tiếp đến đó, cửa hàng cửa hàng chúng tôi sẽ chỉ bạn biết bao phương pháp để triển khai ra mới file robots.txt cho WordPress chỉ trong một phút. Giờ thì, hãy thanh tra và thanh tra nghiên cứu và phân tích về các quy tắc (rules) mà các bạn nên sử dụng trong file này.

Quy tắc nào đề xuất có thêm nữa trong file robots.txt WordPress

Ở phần trước, bạn đã sẽ có được thức thấy thí dụ một file WordPress robots.txt. Nó chỉ có 2 rules ngắn, nhưng đông đảo các trang web đều có tùy chỉnh cứng cáp hơn nếu mà thế. Hãy nhìn vào 2 file robots.txt sau để cửa hàng cửa hàng chúng tôi chỉ cho bạn sự không gần giống với của chính nó nhé.

Ví dụ file WordPress robots.txt trước mắt:

User-agent: * Allow: / # Disallowed Sub-Directories Disallow: /checkout/ Disallow: /images/ Disallow: /forum/

Đây là file robots.txt vừa lòng lý cho trang web với cùng 1 diễn đàn. Search engine sẽ thường index những vấn đề trong forum. Tùy vào loại forum là gì, nhưng lại, phổ biếng các bạn nên disallow it (quán triệt phép quét). Bằng cách thức này, Googles sẽ không còn còn hẳn index hằng trăm threads (vấn đề) mà người dùng cho ra mỗi sáng cho các câu truyện bên lề. Bạn công hiệu lắp đặt rules để kiên quyết loại sub-forum nào đề xuất tránh, và để bộ máy kiếm tìms quét phần còn lại.

Bạn sẽ thấy có dòng Allow: / trên cùng của file. Dòng này cho bots (bọ máy pc) biết là chúng công hiệu quét tất thảy các trang trên trang web, ngoại trừ các trang phía bên dưới đặt trong phần Disallow:. Như bạn nhận ra, cửa hàng chúng mình cũng sử dụng dấu * để áp luật lên universal (tất thảy), gần giống với file mặc định ảo của robots.txt.

Giờ, hãy liếc qua thí dụ thứ hai về phong thái tạo file robots.txt cho WordPres:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ User-agent: Bingbot Disallow: /

Trong file này, cửa hàng cửa hàng chúng tôi sử dụng rules gần giống với file mặc định của WordPress. Tuy nhiên, cửa hàng cửa hàng chúng tôi còn đặt thêm 1 trong những các những rules để chặn Bing’s search bot quét trang web của chúng ta. Bingbot là tên gọi của Bot của Bing bộ máy kiếm tìm.

Bạn công hiệu tùy chỉnh đúng loại bot của trình search kiếm tìm nào công hiệu truy nhập trang web của chúng ta, và loại nào không được. Trên thực ra, Bingbot cũng tốt (mặc dầu không bảo đảm bằng Googlebot). Nhưng có nhiều những bots ô nhiễm ngoài kia.

Một điều xấu không chỉ có thế là chúng cũng không quyên âm đến chỉ huy trong file robots.txt của chúng ta (chúng ô nhiễm mà đề xuất gì bắt trước luật). Điều đó còn có có nghĩa là bots chỉ bắt trước tập huấn trong file robots.txt, nhưng vẫn không còn có nghĩa là file robots.txt đề xuất các bots phải bắt trước.

Nếu bạn tìm hiễu trên mạng internet, có không phải ít đề xuất rằng các bạn nên chặn bots nào và sẽ chất sẽ có được bots nào trên WordPress trang web của chúng ta. Tuy nhiên, với hiểu biết của cửa hàng cửa hàng chúng tôi, càng ít rules chừng nào càng tốt chừng đó. Đây là thí dụ các bạn nên sử dụng để triển khai ra file robots.txt vừa lòng lý cho WordPress:

User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/

Mặc định, WordPress sẽ chặn thư mục wp-admin wp-includes. Tuy nhiên, điều ấy không sẽ có được gọi bằng tốt nữa. Hơn nữa, nếu khách hàng thêm metada vào ảnh của chúng ta để tăng gấp gáp hóa search kiếm tìm (SEO), vậy thì đừng nên chặn bot truy nhập vào các hiện trạng đó phải không. Thay vào đó, 2 rules trên là tất thảy những gì cơ bản nhất mà một site bình dị đề xuất.

Bạn còn đề xuất thêm gì trong file robots.txt sẽ tùy thuộc vào loại mô tả và hy vọng của chúng ta. Giờ thì, hãy liếc qua phương pháp để triển khai ra file robots.txt cho WordPress trang web nhé!

Làm ra sao để triển khai ra file robots.txt cho WordPress (3 cách)

Sau khi chúng ta đã kiên quyết rule nào sẽ dành được đặt trong file robots.txt, phần còn lại là tạo nó thôi. Bạn công hiệu chỉnh sửa file robots.txt trong WordPress bằng plugin hoặc thuộc cấp bằng tay. Trong phần này, cửa hàng cửa hàng chúng tôi sẽ chỉ bạn dùng 2 plugin phổ cập để triển khai ra file robots.txt cho WordPress và cách thuộc cấp bằng tay để triển khai ra file robots.txt rồi upload lên host. Hãy bắt đầu bật nguồn thôi nào!

1. Sử dụng Yoast SEO

plugin yoast seo

Yoast SEO thì chắc không đề xuất phải giới thiệu nữa. Bất kỳ ai đề xuất SEO cho WordPress trang web chắc đang được cài plugin này. Nó tập huấn bạn gấp gáp bài viết và từng trang web bằng phương pháp thức tận dụng ưu điểm từ khóa gia công hơn. Ngoài ra, nó cũng giúp sức bạn tăng kĩ năng đọc dễ ợt của bài viết, mang lại lợi ích cho bài viết giữ chân người đọc lâu vững bền.

Đối với cửa hàng cửa hàng chúng tôi, cửa hàng cửa hàng chúng tôi là fan hâm mộ của Yoast SEO vì tính tiện dụng của chính nó. Cách tạo file robots.txt cũng thuần tuý nếu nhiều người đang được pluign này. Sau khi chúng ta lắp đặt plugin này xong chuyển tới tab SEO -> Tools trong dashboard của chúng ta, tìm về mục coi là File editor:

file editor

Click vào link đó sẽ gửi bạn tới page new, nơi bạn công hiệu chỉnh sửa file .htaccess mà đã không đề xuất thoát dashboard (trang admin WordPress). Có một nút coi là Create robots.txt file, sẽ hỗ trợ cho đỡ đỡ bạn tạo file robots.txt:

tạo robots.txt

Khi bạn click vào nút này, tab sẽ hiển thị editor mới nơi bạn công hiệu chỉnh sửa file robots.txt tại chỗ. Lưu ý là Yoast SEO sẽ đặt giá trị mặc định của chính nó, để ghi đè lên trên ở trên file ảo robots.txt.

Mỗi khi chúng ta thêm rules mới hoặc xóa rules cũ, nhớ click nút Save changes to robots.txt để tích lại:

lưu thay đổi robots

Vậy là xong, bạn đã tạo xong file robots.txt vừa lòng lý cho WordPress. Giờ hãy xem cách tạo bằng plugin khác, cũng công hiệu bom tấn không thua.

2. Qua bộ plugin All in One SEO Pack

all in one seo pack

All in One SEO Pack được nghĩ rằng một trong những plugin rất bom tấn trong giới WordPress SEO. Nó kể cả tất thảy các hiệu năng của Yoast SEO, nhưng mọi người thích nó hơn vì nó khối lượng nhẹ hơn. Cũng nếu mà thế với sự tạo file robots.txt cho WordPress, nếu khách hàng có plugin này thì mọi chuyện rất dễ ợt.

Sau khi chúng ta đã hoàn chỉnh set up plugin này, chuyển tới mục All in One SEO > Feature Manager Founder trong dashboard. Ở trong những số đó, hãy tìm tùy chọn lựa mang tên Robots.txt, với nút Activate ngay phía bên dưới. Click vào nó:

kích hoạt robots

Giờ, tab mới Robots.txt sẽ hiện phía bên dưới menu All in One SEO. Bạn click vào chỗ đó sẽ thấy nhiều lựa chọn để thêm rules mới cho file, lưu thay đổi hoặc xóa nó đi:

thêm rules mới

Lưu ý là bạn chưa thể thay đổi file robots.txt tại chỗ từ plugin này. Phần mô tả sẽ lại mờ đi, khác với Yoast SEO là cho bạn gõ tùy từng mùi vị vào file:

robots bị xám đi

Việc này có vẻ như hơi phiền phức nhưng nó có kĩ năng sẽ bị tránh giúp sức bạn việc ghi lỗi cho file robots khiến site bị thiệt hai. Thêm rules mới rất thuần tuý, All in One SEO Pack có đính kèm nhiều hiệu năng sẽ hỗ trợ cho đỡ đỡ bạn chặn ‘bad’ bots (bots ô nhiễm), chỉ có vào tab All in One SEO là thấy:

chặn bad bot

Vậy là xong. Giờ, hãy nói tiếp đến sự tạo file robots.txt vừa lòng lý cho WordPress thuộc cấp bằng tay nếu khách hàng không phải muốn cài thêm plugin.

3. Tạo rồi upload file robots.txt WordPress qua FTP

Không có gì dễ hơn tạo một file txt. Bạn chỉ việc mở text editor bạn thích (NotePad hoặc TextEdit), gõ vào vài dòng vào trong những số đó, đánh dấu dưới bất kỳ tên nào, chọn loại file là txt. Chỉ mất vài phút để triển khai bị hư này nên bạn công hiệu dễ ợt tạo file robots.txt trong WordPress mà đã không đề xuất tới plugin.

Đây được nghĩ rằng một trong những thí dụ của file robots.txt:

thí dụ file robots

Sau khi chúng ta tạo xong, bạn đề xuất kết nối tới trang web qua FTP. Nếu vẫn không được theo luồng hiện trạng đã có sẵn trước đến  làm, ko có gì, cửa hàng cửa hàng chúng tôi có bài tập luyện huấn chỉ kết nối tới trang web qua FileZilla tại đây.

Sau sau đây kết nối thành công, chuyển vào thư mục public_html. Tại đây, bạn chỉ có upload (kéo thả) file robots.txt từ máy pc sang tới server là được. Bạn cũng công hiệu công hiệu làm vậy bằng phương pháp thức bấm chuột (mouse) phải vào file và chọn upload:

upload robots file

Vậy là xong, thường chỉ có 1 giây để upload hoàn chỉnh vì file này rất nhẹ. Phương pháp công hiệu giúp sức bạn upload robots.txt wordpress mà đã không đề xuất kênh qua plugin.

Xử lý xem file WordPress robots.txt có hoạt động giải trí thư giãn không và gửi nó lên Google Search Console

Khi file chuẩn WordPress robots.txt đang được làm và upload thành công, bạn công hiệu dùng Google Search Console để kiểm thử nó xem có lỗi không. The Search Console là bộ tools mà Google cung cấp để nghiệm thu mô tả site của chúng ta hiển thị nếu mà ra sao với trình search kiếm tìm. Một trong số các tools này đây là để nghiệm thu robots.txt.  Để sử dụng, bạn đăng nhập vào console, và chuyển tới tab robots.txt Tester:

search consoxăng xáister robots

Bên trong, cả nhà sẽ thấy trường editor mà bạn công hiệu nhập code của file robots.txt vào, click vào nút Submit. Google Search Console sẽ hỏi bạn có mong muốn làm sử dụng code mới không, hoặc kéo file mới đi về nhà từ site của chúng ta. Nhấn vào nút Ask Google to Update để gửi lên Google:

gửi code robots lên google

Giờ, Google sẽ nghiệm thu file có lỗi không. Nếu có, nó có kĩ năng sẽ bị cho bạn biết. Tuy nhiên, giờ chắc bạn đã hiểu cách thức thức tạo file robots.txt vừa lòng lý cho WordPress, kĩ năng lớn là file của cả nhà sẽ tuyệt vời nhất!

Lời kết

Để tăng kĩ năng tiếp cận của site lên trình search kiếm tìm, bạn đề xuất chắc chắn rằng bot của bộ máy kiếm tìm khỏi bị chặn, và công hiệu crawl (quét) đúng những độ rộng hoạt động giải trí thư giãn nó đề xuất, đúng các hiện trạng trọng đại. Như bạn thấy, một file robots.txt chuẩn sẽ hỗ trợ cho đỡ bots liên hệ tốt với site của chúng ta ra sao. Từ đó, hiện trạng của cả nhà sẽ dành được hiển thị đúng ra hơn, bổ ích hơn cho tất thảy các người search kiếm tìm.

Nếu bạn có bất kỳ câu hỏi nào về sự việc việc tạo file robots.txt cho WordPress, hãy để lại bình luận phía bên dưới nhé!

Sưu Tầm: Internet

Bài Viết Liên Quan


Bài Viết Khác


Quảng Cáo
Đặt Banner Quảng cáo, Textlink, Guest Post
Liên Hệ Ngay: 1900636343