جهت طراحی وب سایت خود در این زمینه با ما تماس بگیرید
طراحی سایت وسئو

فایل robots.txt چیست و چه کاربردی دارد؟ بخش سه

فایل robots.txt چیست و چه کاربردی دارد؟ بخش سه

 246    0

در این مقاله در ادامه ی فایل robots.txt چیست و چه کاربردی دارد؟ بخش دو در مورد متا تگ و دستورات آن از جمله دستور index و دستور noindex و دستور...

 

قبل از مطالعه ی این مقاله حتما فایل robots.txt چیست و چه کاربردی دارد؟ بخش دو را مطالعه بفرمایید:

 

آیا به جز فایل robots.txt راه دیگری برای برقراری ارتباط با خزنده های موتور های جستجو وجود دارد؟

 

 

برای جواب این سوال باید گفت بله. فقط فایل robots.txt نیست که به شما کمک می‌کند تا با خزنده ها ارتباط برقرار کنید، بلکه Meta Robots Tag و X Robots Tag نیز می‌توانند این ارتباط را برقرار کنند. ولی حتما تفاوت‌هایی در چگونگی ارتباط این سه وجود خواهد داشت و هر سه مورد به یک نوع ارتباط و کنترل را بر روی خزنده ها نخواهند داشت. در ادامه می خواهیم به مقایسه این سه مورد با هم بپردازیم.


در مورد فایل robots.txt بسیار بحث کردیم و در بخش های قبلی همین مقاله برای شما ارائه نمودیم و در صورت نیاز به مطالعه در مورد این فایل می توانید به بخش ۱ و ۲ این مقاله مراجعه نمایید.


حال نوبت به معرفی متا تگ Robots رسیده است.

 

 

متا تگ Robots چیست؟

 

 

متا تگ

 

 

این متاتگ نیز دستور مشابهی با فایل robots.txt دارد. در واقع این متاتگ به خزنده ها جهت مجاز بودن یا مجاز نبودن برای خزش در صفحات سایت دستور می دهد. فقط همانطور که از نامش پیداست این یک متا تگ می باشد، بنابراین محل قرارگیری آن در تگ head می باشد. این مطالعه متاتگ یک تگ html میباشد.


همانطور که میدانید تمامی متا تگ ها به خاطر این ایجاد می‌شوند که خزنده های موتورهای جستجو را جهت درک محتوا و اطلاعات وب سایت ها و ایندکس کردن صفحات وب سایت راهنمایی نمایند. در واقع با این متا تگ ها قصد این را داریم که محتوای وب سایت مورد نظر را برای این خزنده ها توصیف نماییم. همه متاتگ ها به نوعی برای موتورهای جستجو مهم می باشند و متا تگ Robots نیز یکی از این متا تگ های مهم به شمار می آید.


دستوراتی که در این متا تگ نوشته میشود، به خزنده ها کمک می کند تا مسیر خزش خود را بداند و بداند که چه صفحاتی از وب سایت مورد نظر باید ایندکس شوند و چه صفحاتی نباید ایندکس شوند.


ولی بدانید که این دستوراتی را که قرار است در متا تگ بنویسید، باید به صورت صحیح و اصولی و به جا استفاده شوند وگرنه باعث ایجاد مشکلاتی برایتان خواهند شد. متاتگ Robots را برای کنترل نمودن چگونگی خزش ربات ها و فهرست سازی ایندکس موتورهای جستجو از آدرس url، استفاده می‌کنیم. در واقع به وسیله این متاتگ نحوه بررسی صفحات وب سایت و قرارگیری یا عدم قرارگیری صفحه مورد نظر در فهرست، توضیح داده میشود.

 

در ادامه می خواهیم انواع دستوراتی را که میتوان در متا تگ Robots نوشت، را بیان نماییم.

 

 

دستور index

 

این دستور جهت اعلام ایندکس کردن یک صفحه به موتورهای جستجوها می باشد که نوشتن آن ضرورت خاصی ندارد، چرا که ربات های موتورهای جستجو به طور پیش فرض این قابلیت را دارند که صفحات را ایندکس نمایند. درواقع روبات ها وظیفه اصلی خودشان همین ایندکس کردن صفحات می باشد. در صورتی این دستور برای نوشتن ضرورت پیدا می‌کند که شما فقط به یک موتور جستجوی خاص مجوز ایندکس کردن یک صفحه را بدهید و دیگر موتور های جستجو را جهت ایندکس کردن همین صفحه منع کنید.

 

 

دستور noindex 

 

 

noindex

 

این دستور نقطه مقابل دستور index می باشد. در واقع با این دستور، اجازه ایندکس کردن را از موتورهای جستجو میگیرید و به آنها اجازه ایندکس کردن را نمی‌دهید. در این دستور ربات ها جهت خزیدن در صفحات اجازه دارند ولی به آنها گفته می‌شود که این صفحات را در صفحه نتایج جستجوی موتورهای جستجو به نمایش کاربران در نیاورند.

 

 

دستور follow 

 

یکی دیگر از دستوراتی می باشد که به طور پیش فرض ربات ها به چنین قابلیتی مجهز می باشد و ضرورتی به دستور دادن دوباره در این مورد برای ربات ها دیده نمی شود. مانند دستور index با این دستور به ربات های موتورهای جستجو بیان می شود که لینک های داخلی یک صفحه را دنبال کنند. اگر نیاز باشد که فقط یک لینک خاص را دنبال کنند، مانند بک لینک‌ها، می‌توان از این دستور استفاده نمود.

 

 

دستور nofollow

 

این دستور نیز نقطه مقابل دستور follow می باشد و از ربات ها خواسته می شود که لینک های داخلی صفحه را دنبال نکنند. این دستور را هم می توان برای همه لینکهای موجود در صفحه اعلام کرد و یا فقط برای لینک خاصی این دستور را داد.

 

 

دستور no image index

 

همانطور که از نام این دستور نیز می‌توان دریافت، این دستور مربوط به تصاویر موجود در صفحات می باشد. در واقع با این دستور به ربات ها دستور داده می‌شود که تصاویر موجود در صفحه را ایندکس نکنند. ولی وقتی این دستور را می‌نویسید، حتما به این مورد توجه نمایید که به طور حتم نمی توان گفت که تصاویر موجود در صفحه ایندکس نخواهند شد، چرا که اگر این تصاویر در جای دیگری لینک شده باشند، ربات های موتور های جستجو این تصاویر را بررسی و ایندکس خواهند کرد.

 

 

دستور all

 

اگر میخواهید صفحه ای را هم ایندکس نماید و هم لینک های درون آن را دنبال کنید، می توانید به جای اینکه این دو دستور (follow, index) را به صورت جداگانه و تک تک برای این صفحه بنویسید، میتوانید فقط از یک دستور استفاده نمایید که این دستور همان دستور all می باشد. در واقع دستور all می تواند وظیفه دو دستور دیگر ( index، follow) را باهم انجام دهد.

 

 

دستور none

 

این دستور نیز نقطه مقابل دستور all می باشد. در واقع این دستور را نیز می توانید به جای دو دستور( nofollw, noindex) استفاده نمایید، یعنی زمانی که نمیخواهید صفحه تان ایندکس شود و همزمان نمی‌خواهید لینک های درون همان صفحه نیز دنبال شود، می توانید به جای نوشتن دو دستور جداگانه فقط از یک دستور واحد به نام none استفاده نمایید.

 

 

دستور nosnippet

 

این دستور مربوط به عدم نمایش متادیسکریپشن های صفحه مورد نظر در صفحه نتایج موتورهای جستجو می باشد. در واقع وقتی این دستور را نوشته میشود به ربات های موتور های جستجو دستور داده می شود که قسمتی از صفحه مورد نظر (توضیحات متا) را برای کاربران در صفحه نتایج جستجو به نمایش نگذارند.

 

 

دستور unavailable after

 

با این دستور این امکان برای تان فراهم می‌شود که تاریخ مشخصی را برای ربات اعلام کنید تا صفحه را بعد از آن تاریخ دیگر ایندکس نکنند. در برخی مواقع نیاز دارید که بعد از یک مدت مشخص دیگر صفحه شما ایندکس نشود، برای مثال وقتی که می خواهید اطلاعات موجود در صفحات سایتتان به روز باشد و از آنجاییکه بعد از یک مدت مشخصی اطلاعات موجود در صفحاتتان منقضی خواهند شد و دیگر به درد کاربرانتان نخواهند خورد، در این صورت برای ربات ها تاریخ مشخصی را اعلام می کنید که دیگر ربات های موتورهای جستجو بعد از آن تاریخ این صفحه را ایندکس نکنند، چرا که اگر ایندکس نمایند کاربرانتان با اطلاعات منقضی شده رو به رو خواهند شد.

 

 

دستور noarchive

 

یکی دیگر از دستوراتی که می‌توان به ربات های موتور های جستجو داد،دستور noarchive می باشد که با این دستور به ربات های موتور های جستجو گفته می‌شود که نسخه های ذخیره شده از این صفحه را نادیده بگیرند و آنها را در صفحه نتایج موتورهای جستجو به نمایش کاربران در نیاورند.

 

 

دستور nocache

 

این دستور مخصوص موتورهای جستجوی MSN و LIVE می باشد و در واقع همان کار دستور nocache را انجام می دهد با این تفاوت که مختص این دو موتور جستجویعنی MSN و LIVE می باشد.

 

 

دستور notranslate

 

این دستور فقط در موتورهای جستجوی گوگل کاربرد دارد. با این دستور به ربات های گوگل بیان می‌شود که ترجمه‌ای از صفحه مشخص شده انجام ندهند.


از آنجایی که گوگل در زمان مراجعه به صفحاتی که نیاز به ترجمه دارند تا با زبان کاربر وارد شده به سایت همخوانی پیدا کند. برای رضایت آن کاربر، دکمه ای را ارائه می دهد که با استفاده از آن دکمه کاربر می‌تواند صفحه مورد نظر را به زبان قابل فهم برای خودش ترجمه نماید. این ترجمه، گوگل را از انجام دادن چنین کاری منع می‌کند و به آن اعلام می دارد که به هیچ عنوان نمی‌خواهد صفحه موردنظرش ترجمه شود.

 

 

دستور no site links search box

 

ویژگی که گوگل دارد این است که فقط به فکر رضایت کاربران خود می باشد، از این رو برای آنها امکانات ویژه‌ای را با استفاده از  site links search box فراهم نموده است. کاربران زمانی که نام برند مدنظر خود را جستجو می کنند، گوگل در صفحه نتایج، زمانی که نتیجه جستجو را به آنها نمایش می دهد، در زیر نام و توضیحات وب سایت یک کادر جستجویی هم برای آنها به نمایش می‌گذارد که کاربران به وسیله این کادر می توانند مطلب مورد جستجوی خود را در آن جعبه بنویسند و جستجوی خود را در آن وب سایت نمایش داده شده، انجام دهند و زودتر به آنچه که مد نظرشان می باشد از وب سایت مورد نظر خود به آن برسند، میرسند.


با استفاده از این دستور گوگل را از این کار منع می کنیم و به وی دستور عدم نمایش کار جستجو را در مواقعی که صفحه مورد نظر برای کاربران به نمایش گذاشته می‌شود را می‌دهیم.

 

 

دستور no page read aloud

 

گوگل امکانات ویژه دیگری نیز دارد که معمولاً از این امکانات افراد نابینا بیشتر استفاده می کنند و آن این است که سرویس صوتی را برای کاربران خود فراهم نموده است. با استفاده از این سرویس صوتی گوگل می تواند محتوای صفحه را به صورت صوتی برای کاربرانی که درخواست استفاده از این سرویس را کرده اند، میخواند.


با استفاده از این دستور به گوگل این اجازه داده نمی شود که از سرویس صوتی خود برای صفحه مورد نظر استفاده کند و محتوا را برای کاربران بخواند. همچنین با این دستور اگر کاربران به جستجو های صوتی بپردازند، صفحه مورد نظر در صفحه نتایج جستجوی صوتی، نمایش داده نخواهد شد.

 

 

دستور max snippet

 

برای هر صفحه باید توضیحات متا یا متا دیسکریپشن داشته باشید و این دستور می تواند تعداد حداکثر کاراکتری که می تواند در این متا جای گیرد را مشخص نمایید.

 

 

دستور max video  preview

 

معمولاً در وب سایت ها و اپلیکیشن ها از پخش پیش نمایش خودکار ویدیو ها استفاده میشود تا کاربران بتوانند پیش‌نمایشی کوتاه در حد ۳۰ ثانیه از ویدیو را ببینند تا از محتوای آن ویدیو باخبر شوند و بدانند که آن ویدیو در مورد چه موضوعی می باشد و آیا این ویدیو می تواند برای جستجوی آنها مفید واقع شود یا نه. این پیش نمایش می‌تواند برای بسیاری از اهداف مفید واقع شود. در برخی مواقع از این پیش نمایش ها در تبلیغات کمک می گیرند.


با این دستور به موتورهای جستجو اعلام می‌داریم که حداکثر ثانیه ای که برای پیش نمایش ویدیوها باید داشته باشد، چه مدت زمانی می باشد.


در واقع عددی را به ثانیه وارد می کنیم و می گوییم که مثلاً دو ثانیه پیش نمایش از ویدیوی مربوطه، برای کاربران نمایش داده شود.

 

 

دستور rating adult

 

با استفاده از این دستور می توان به گوگل فهماند که موضوع این صفحه چیست و محتوایی که این صفحه دارد مخصوص بزرگسالان می باشد.

 

 

دستور noydir

 

دستوری از دستورات منقضی شده میباشد که قبلا از این دستور برای عدم استفاده از توضیحات صفحه دایرکتوری یاهو در اسنیپت استفاده میشد.

 

 

دستور No ODP

 

یکی دیگر از دستورات منقضی شده دستور No ODP می باشد. ODP نام همان انجمنی می باشد که دایرکتور های DMOZ را نگهداری می کنند.


یکی دیگر از دستورات منقضی شده، دستور No ODP می باشد که با استفاده از این دستور به سایت‌های ODP (سایتهای دایرکتوری) اعلام می‌شود که توضیحات سایت شما را در نتایج جستجو نمایش ندهند.


سایت های دایرکتوری همان سایت هایی می باشند که از هر سایت موجود در دنیای وب، اطلاعاتی جمع آوری می کنند و به احتمال زیاد در صفحه نتایج جستجو موتور های جستجو دیده می شوند.

 

این دو دستور آخر (No ODP, noydir) امروزه به دلیل عدم وجود دایرکتوری yahoo و DMOZ، دیگر استفاده ای ندارند و هیچ موتور جستجویی این دو دستور را پشتیبانی نمیکند.


با استفاده از دستورات معرفی شده میتوانید موتورهای جستجو را جهت بررسی و مطالعه و ایندکس کردن صفحات وب سایتتان راهنمایی نمایید. با توجه به نیازتان می‌توانید هر یک از دستورات بالا را برای صفحه وب سایت خود داشته باشید. داشتن این دستورات در متا تگ می تواند فوق العاده مفید باشد چرا که با استفاده از این متاتگ، ربات های گوگل درک درست و کاملی از صفحات وب سایت ها می توانند داشته باشند.


دستوراتی که در متاتگ Robots ایجاد می‌شوند، دستورالعمل های بسیار قدرتمند تری نسبت به فایل robots.txt و دستورات ایجاد شده در آن فایل می باشد. زمانی که دستورات نوشته شده در متاتگ Robots توسط ربات های موتور های جستجو یافته می شود، آنها در می یابند که این دستورات، دستوراتی قوی می باشد و بهتر است از آنها پیروی کنند ولی باز هم برای خزنده ها جهت پیروی کردن از این دستورات هیچ اجباری وجود ندارد و خزنده ها می توانند این دستورات یا بهتر بگوییم پیشنهادات را رد نمایند و به آنها عمل نکنند.

 

 

چرا متا تگ Robots را استفاده می‌کنیم؟

 

چرا از متا تگ ها استفاده می کنیم ؟

همانطور که زمان معرفی فایل robots.txt بیان شد، برخی مواقع نیاز است که به دلایل مختلفی صفحاتی از وب سایت از ایندکس شدن توسط ربات های موتور های جستجو در امان بمانند و در صفحه نتایج جستجوی موتورهای جستجو برای کاربران به نمایش گذاشته نشوند. در این صورت یکی دیگر از روش هایی که علاوه بر فایل robots.txt می توان استفاده کرد، استفاده از متا تگ Robots می‌باشد. با این متاتگ می توانید به موتورهای جستجو جهت ایندکس کردن یا نکردن صفحات وب سایت خود اطلاع رسانی نمایید.


این بحث در بخش بعدی ادامه خواهد داشت.

 

بعد از مطالعه ی این مقاله حتما فایل robots.txt چیست و چه کاربردی دارد؟ بخش چهار را مطالعه بفرمایید:


به نقل از:
جهت طراحی وب سایت خود در این زمینه با ما تماس بگیرید                        

با رزومه بسیار بالا در سطح کشور

                                 

طراحی سایت فروشگاهی آگهی ساخت بازی آنلاین


نظر خود را با ما درمیان بگذارید: