همانطور که قبلا نیز بیان شد، همه متا تگ ها برای بهینه سازی سایت ها و رساندن آنها به رتبه‌های بالا در صفحه نتایج میباشند، متاتگ Robots نیز تاثیر زیادی روی سئو داخلی وب‌سایت‌ها دارد و بهتر است از این متاتگ در وب‌سایت‌های خود استفاده نمایید.
از آنجایی که ایندکس کردن صفحات بی ارزش یا بهتر بگوییم صفحاتی با محتوای بدون کاربرد برای کاربران، نه تنها هیچ تاثیری روی سئوی سایت نخواهد داشت بلکه احتمالا باعث کاهش رتبه سایت ها نیز خواهند شد. بنابراین باید با استفاده از روش هایی از نمایش این صفحات به کاربران جلوگیری نمود که یکی از این روش‌ها متاتگ Robots میباشد. با این متاتگ می توانید فقط صفحات کاربردی و پر محتوا و مفید را برای کاربران تان به نمایش بگذارید و از این طریق بتوانید سایت خود را به سئو نزدیک نمایید.
با استفاده از این فایل می توانید فایل ها و صفحاتی را که فقط برای خودتان کاربرد دارند، مانند فایل ها و صفحات خصوصی را برای کاربرانتان به نمایش نگذارید و آنها را مسدود سازی نمایید. همچنین با استفاده از این متاتگ در بودجه خزش سایت شما صرفه جویی خواهد شد، چراکه این متاتگ باعث میشود که ربات های موتورهای جستجو به صورت بهینه و مفید به کراول کردن وب سایتتان بپردازند. با استفاده از این متاتگ می‌توانید صفحات بی ارزش را از کراول شدن مسدود نماید. در نتیجه ربات ها فقط سراغ کراول کردن صفحات با ارزش و مفید خواهند رفت. با این متاتگ می توانید خود صفحه را نوایندکس نماید و لینک های با ارزش و سودمند همان صفحه را از طریق دستور follow به صفحات دیگر سایت خود منتقل نمایید و از تاثیرات این لینک های با ارزش و مفید نیز بهره مند شوید و آن مزایا را از دست ندهید. در واقع با استفاده از این متاتگ می توانید از اطلاعات حساس و حیاتی وبسایت خود محافظت نمایید و آنها را دور از دسترس کاربران قرار دهید. البته همانطور که گفته شد استفاده از این متاتگ جهت محافظت از صفحات و فایلها، راه حل ۱۰۰% جوابگویی برایتان نخواهد بود، چرا که هیچ اجباری برای ربات ها جهت پیروی کردن از دستورات این متاتگ ها وجود ندارد. فقط نکته ای که باید به آن توجه نمایید این است که نباید در استفاده از این متاتگ دچار اشتباه شوید، چرا که با اشتباه کردن ممکن است عواقب خطرناکی وب سایت شما را تهدید نماید.
* برخی مواقع دستوراتی را در متاتگ Robots صفحاتی ایجاد می کنید که این صفحات توسط فایل robots.txt مسدود شده‌اند. بنابراین این صفحات توسط ربات های موتور های جستجو بررسی نمی شوند که بتوانند دستورات این متاتگ را نیز ببینند و از آن پیروی نمایند. بنابراین حتما به این نکته توجه نمایید که صفحاتی که برای این متاتگ ها انتخاب میکنید، از طریق فایل robots.txt مسدود نشوند.
* قبلاً برای اطمینان از ایندکس نشدن صفحات دستور noindex را نیز به فایل robots.txt سایت اضافه می کردند ولی امروزه این روش توسط موتورجستجوی گوگل پشتیبانی نمی شود و یک کار اشتباه محسوب می شود.
* احتمال این وجود دارد که موتورهای جستجو به ایندکس کردن وب سایت به صورت کامل اقدام نمایند.
* برخی مواقع نیاز است که وب سایت را به حالت noindex و nofollow در آورید. مثلاً زمانی که می‌خواهید تغییراتی را در صفحات وب سایتتان اعمال نمایید و در این زمان نمی خواهید موتورهای جستجو به بررسی وبسایتتان بپردازند. زمانی که این تغییرات را اعمال نمودید، نباید وبسایتتان را در همین حالت نگه دارید و باید دستورات noindex و nofollow را به دستور index و follow تغییر دهید. ولی برخی مواقع دیده میشود که این کار توسط افراد فراموش میشود و باعث می شود که وبسایتتان از بررسی ربات های خزنده محروم بمانند و این یعنی مشکلی بزرگ تا زمانی که علت ایندکس نشدن سایتتان پیدا شود و به رفع آن(تغییر دستوران به index و follow) اقدام شود.
۱) در مواقعی که تصمیم می گیریم صفحه ای از وب سایتمان در نتایج موتورهای جستجو قرار نگیرد.
۲) زمانی که نمی‌خواهیم لینک های داخلی صفحه از وب سایتمان دنبال شوند. همچنین زمانی که میخواهیم لینک های صفحه دنبال شوند، حتی اگر آن صفحه خودش از ایندکس شدن منع شده باشد.
۳) زمانی که تصمیم می گیریم تصاویر موجود در صفحات ایندکس شوند و یا ایندکس نشوند، در هر دو حالت می توانیم از این دستور استفاده کنیم و دستور مربوطه را به ربات های موتور های جستجو بدهیم.
۴) زمانی که نمی‌خواهیم صفحات کش شده در صفحه نتایج جستجو موتورهای جستجو نمایش داده شوند.
۵) زمانی که نمی خواهیم متادیسکریپشن صفحه در صفحه نتایج جستجو به کاربران نمایش داده شود.
هر موتور جستجوی برای خودش قوانین منحصر به فردی دارد و هر کدام از این موتورهای جستجو از برخی از دستورات متاتگ Robots پشتیبانی می کنند و از برخی از این دستورات پشتیبانی نمی کنند. بنابراین به طور قطع نمی توان گفت هر دستوری که در متاتگ Robots نوشته می شود، توسط همه موتور های جستجو پشتیبانی خواهند شد و باید در این زمینه مطالعاتی را داشته باشیم تا بدانیم که کدام دستورات برای کدام موتور های جستجو مناسب می باشند و موتور جستجو کدام یک از دستورات متتگ Robots را پشتیبانی میکند.
در ادامه می خواهیم برخی از دستورات مهم این متاتگ را بنویسیم و در مورد اینکه کدام یک از چهار موتور جستجوی معروف (ASK، گوگل، مایکروسافت، یاهو) آنها را پشتیبانی می کنند و کدام یک از موتورهای جستجو آنها را پشتیبانی نمیکنند، توضیحی ارائه دهیم.
این دستور، دستوری می باشد که توسط هر چهار موتور جستجوی نامبرده پشتیبانی می شود.
این دستور توسط موتور جستجوی ASK،گوگل، مایکروسافت و یاهو پشتیبانی می شود.
این دستور توسط هر چهار موتور جستجو فوق پشتیبانی می شود.
این دستور توسط موتور جستجوی گوگل پشتیبانی میشود ولی توسط سه موتور جستجوی دیگر یعنی ASK،مایکروسافت و یاهو پشتیبانی نمیشود.
حال این بررسی را برای سه موتور جستجوی دیگر یعنی گوگل و بینگ و یاهو انجام می‌دهیم.
هر سه موتور جستجوی نام برده این دستور را پشتیبانی می کنند.
این دستور توسط هر سه موتور جستجو پشتیبانی می شود.
این دستور را گوگل پشتیبانی میکند ولی دو موتور جستجوی دیگر آن را پشتیبانی نمی کنند.
گوگل و یاندکس این دستور را پشتیبانی میکنند ولی در مورد بینگ پشتیبانی شدن یا نشدن این دستور نامعلوم است.
این دستور نیز مانند دستور قبلی توسط دو موتور جستجوی گوگل و یاندکس پشتیبانی می شود ولی در مورد بینگ پشتیبانی شدن یا نشدن این دستور نامعلوم است.
هر سه موتور جستجو این دستور را پشتیبانی می کنند.
هر سه موتور جستجوی این دو دستور را پشتیبانی می کنند.
گوگل این دستور را پشتیبانی میکند ولی دو موتور جستجوی دیگر این دستور را پشتیبانی نمی کنند.
گوگل این دستور را پشتیبانی می کند ولی دو موتور جستجوی دیگر این دستور را پشتیبانی نمیکنند.
گوگل این دستور را پشتیبانی می کند ولی دو موتور جستجوی دیگر آن را پشتیبانی نمی کنند.
هیچ یک از سه موتورهای جستجو نامبرده، این دستور را پشتیبانی نمی کنند.
این دستور نیز توسط هیچ یک از ۳ موتور جستجو پشتیبانی نمی شود.
تقریباً مطالب مهمی را که می بایست در مورد متاتگ Robots می‌دانستید بیان شد. حال سراغ روش دیگر ارتباط با ربات‌هاو خزنده‌های موتور جستجو یعنی x-Robots می‌رویم.
همانطور که می‌دانید x-Robots-tag نیز یکی دیگر از روش هایی می باشد که با استفاده از آن می توانید دستوراتی مانند noindex, nofollow را به ربات های موتورهای جستجو بدهید. پس بیایید ببینیم این تگ چیست و چه کاربردی دارد؟
این تگ نیز به ربات ها دستور می دهد که چه صفحاتی را بخواند و آنها را ایندکس کنند و چه صفحاتی را از این عمل به دور نگه دارند. استفاده از این تگ بسادگی استفاده از متاتگ Robots نمی باشد و این تگ کمی پیچیده تر می باشد. با استفاده از این تگ می توانید جهت کنترل و بررسی و ایندکس کردن یا نکردن محتوای غیر HTML استفاده نمایید.
تگ X-Robots به عنوان پاسخ هدر HTML به یک URL، نمایه‌سازی کل صفحه و عناصر خاصی که در آن صفحه وجود دارد را کنترل میکند.
تمامی دستوراتی را که برای متاتگ Robots بیان کردیم، در تگ X-Robots نیز کاربرد دارند. تگ X-Robots بسیار منعطف تر از متاتگ Robots می باشد. با استفاده از این تگ می توانید به جای نوشتن چندین تگ در پاسخ های جداگانه، همه آنها را در یک پاسخ بنویسید و همچنین می توانید انواع دستورالعمل ها را به صورت لیست شده در آورید و با استفاده از کاما آن دستورات را از هم جدا نمایید.
وقتی که از این تگ برای دستورات خود استفاده می کنید، می توانید پارامتر های موجود در آن را در سطح بزرگتری استفاده کنید. در این تگ دستورات نوشته شده به صورت عبارت منظم برای اجرا شدن توسط خزنده ها به آنها ارائه می شود.
استفاده از این تگ x-robots نیز برای بهینه سازی سایت ها بسیار مفید میباشد، به شرطی که از این تگ به صورت صحیح و بهینه استفاده شود. ولی اگر از این تگ به صورت صحیح استفاده ننمایید، شما را با عواقب خطرناکی مثل خارج کردن کل سایتتان از فهرست، روبه‌رو خواهد کرد.
در کل اگر بخواهیم متا تگ Robots و تگ x-robots را باهم مقایسه کنیم، می‌توانیم بگوییم این دو دقیقا کاربردشان یکی می باشد ولی تفاوت‌هایی هم با هم دارند و آن این است که تگ x-robots در پاسخ هدر HTTP صفحه قرار می گیرد و این پاسخ هدر HTTP می‌تواند به جای یک برچسب html و هر دستورالعملی به عنوان یک برچسب متاتگ Robots یا x-robots استفاده می شود ولی متاتگ Robots در هدر کد HTML قرار می گیرد.
اکثراً از متاتگ Robots برای noindex کردن صفحات و همچنین فایل های html استفاده می شود. ولی از تگ x-Robots برای فایلهای غیر html مانند فایل های pdf استفاده می شود.
دسترسی به htaccess,php,header یا فایل تنظیمات سرور وب سایت خود از شروط استفاده از برچسب x-robots می باشد و در صورت عدم دسترسی به این فایل به جای استفاده از برچسب x-robots باید از برچسب متا ربات استفاده شود.
مهمترین موارد استفاده از فایل x-robots به شرح زیر می باشد:
* زمانی که به کنترل ربات های موتورهای جستجو و نحوه خزیدن و بررسی انواع فایلهای غیر html می‌پردازید.
* مواقعی که می خواهید دستورات ارائه شده توسط شما به جای اعمال روی یک صفحه در کل وب سایت اعمال شود.
با رزومه بسیار بالا در سطح کشور
طراحی سایت فروشگاهی آگهی ساخت بازی آنلاین
