همانطور که می‌دانید خزنده های موتورهای جستجو همیشه به دنبال خزیدن در صفحات سایت ها جهت بررسی و ایندکس کردن آن صفحات و میباشند، و گفتنی است که این دستور برای این خزنده ها می باشد و به آنها می‌گوید که این صفحه را ایندکس نکن.
ایندکس شدن صفحه توسط موتورهای جستجو بدین معنا میباشد که صفحه مورد نظر در صفحه نتایج موتورهای جستجو برای مخاطبان نمایش داده شود.
برای اینکه دستور نوایندکس را برای صفحه مورد نظر مان اضافه کنیم، باید آن را به بخش head در کد html همان صفحه اضافه کنیم. این تگ یکی از متاتگ های Robots میباشد. گفتنی است که استفاده از این متاتگ می تواند شما را در سئو تکنیکال یاری کند. چرا که از استراتژی های این نوع سئو به شمار می آید.
این سوال می تواند جواب های مختلفی داشته باشد، چرا که علت های بسیاری وجود دارد که باعث میشود صفحه ای را noindex نماییم که مهمترین آن دلایل کم اهمیت بودن صفحات می باشد. برای مثال نیازی نمیباشد که صفحه تایید و تشکر در صفحه SERP به کاربران نمایش داده شود. هر چقدر که تعداد صفحات یک سایت برای نمایش در صفحه SERP زیاد باشد، هزینه خزیدن ربات ها افزایش می یابد. بنابراین بهتر است که صفحات کم اهمیت و کمتر ارزش را noindex نمایید تا این هزینه کاهش یابد.
همچنین با استفاده از متاتگ noindex شما می‌توانید از شناسایی محتوای تکراری و مشکلات آن در امان بمانید. دیگر موردی که برخی افراد به این دلیل از تگ noindex استفاده می کنند این است که آن افراد نمی خواهند صفحه ای از سایتشان جز برای آن افرادی که وارد سایت شده اند قابل مشاهده باشد.
همچنین برخی صفحات را نیز به این دلیل نوایندکس می‌کنند که اطلاعاتش به روز نمی باشد و ممکن است با ایندکس شدن این صفحات رتبه سایت کاهش یابد و همچنین مایل نیستند این اطلاعات به روز نشده را از سایتشان حذف کنند، بنابراین ترجیح می‌دهند به جای حذف آن صفحه آن را نوایندکس نمایند تا این صفحات ایندکس نشوند. همچنین اگر در حال تکمیل صفحات خود می باشید و این صفحات را مناسب دیده شدن برای کاربران نمی بینید، می توانید از این تکنیک استفاده کنید و بعد از تکمیل شدن صفحه با حذف این متاتگ، صفحه را ایندکس نمایید.
برخی از این صفحات اگر ایندکس شوند ممکن است به سئوی سایت لطمه وارد شود، بنابراین بهتر است که از ایندکس شدن این صفحات به وسیله تگ noindex جلوگیری نماییم. بنابراین این متاتگ را میتوانیم از متاتگ های سئو به شمار آوریم که اگر از این متا تگ در مکان و زمان مناسب استفاده کنیم، می توانیم به سئوی سایت کمک زیادی نماییم.
گفتنی است که در صفحاتی که از متاتگ نوایندکس استفاده میکنیم و نمی‌خواهیم این صفحات در نتایج جستجو به کاربران نمایش داده شوند، به هیچ وجه نباید این صفحات را از طریق فایل robots.txt بلاک یا Disallowنماییم. اگر به چنین کاری اقدام نماییم رباتهای گوگل متاتگ noindex را نادیده خواهند گرفت و ما به هدفمان نخواهیم رسید.
۱) برخی از صفحات سایت به خاطر تخلف هایی که در آن صفحه انجام شده است، احتمال جریمه شدن سایت توسط موتورهای جستجو وجود خواهد داشت. برای مثال صفحاتی که دارای محتوای تکراری می باشند، برای این که چنین سایتی را از جریمه شدن محافظت نماییم، بهتر است این صفحات را نوایندکس نماییم.
۲) در سایتهای فروشگاهی ممکن است مدیر فروشگاه نخواهد که کالاهایی را که موجودی کم دارند در صفحه نتایج جستجو کاربران به آنها نمایش داده شود و در واقع این کالاها از کالاهای خاص به شمار می آیند. در این مورد نیز میتوان از متاتگ noindex استفاده نمود.
۳) در مواقعی، مدیر سایت می خواهد که صفحاتی را به صورت آزمایشی ایجاد و نمایش دهد و اگر از تگ noindex استفاده نکند, این صفحات آزمایشی که ممکن است هنوز به صورت کامل تکمیل نشده باشد، ایندکس شوند و برای کاربران به نمایش در آید که مدیر سایت نمیخواهد چنین رویدادی رخ دهد، بنابراین برای رفع این مشکل باید از متا تگ نوایندکس در صفحات آزمایشی استفاده نمود.
۴) همچنین صفحات ای هستند که اهمیت چندانی ندارند و مدیر سایت نیازی نمی بیند که این صفحات برای کاربران، در صفحه نتایج به نمایش درآید، در نتیجه استفاده از متاتگ noindex می تواند از نمایش این صفحات در صفحه نتایج جستجو جلوگیری نماید.
۵) مدیر سایت ها برای اینکه وب سایت خود را ساده و کارآمد نمایند و صفحات نامرتب یا صفحاتی که قرار نیست در صفحه SERP به کاربران نمایش داده شوند از متا تگ noindex برای این صفحات استفاده می کنند.
همانطور که گفته شد افراد به دلایل مختلفی تصمیم میگیرند که صفحاتی را نوایندکس نمایند که در فوق برخی از آنها بیان شد. حال می‌خواهیم بدانیم که کدام صفحات است بهتر است noindex شوند. البته صفحات نیز متنوع هستند و ما فقط به برخی از این صفحات می‌خواهیم اشاره‌ای داشته باشیم.
این صفحات همان صفحاتی می باشد که به دلایل مختلف و برای احترام به کاربر استفاده می‌شوند و در این صفحات از کاربرد تشکر و قدردانی می شود. مثلاً زمانی که در یک سایت فروشگاهی کاربری اقدام به خرید می کند و زمانی که خرید خود را تکمیل میکند، یک صفحه برای وی باز میشود که در آن صفحه از کاربر به خاطر خرید موفقیت آمیزش از وی تشکر می شود. این صفحات بجز این محتوا، محتوای دیگری ندارند و فقط برای این کاربران مفید خواهد بود و برای دیگر کاربران مفید نمیباشد. بنابراین این صفحات را بهتر است ایندکس کنید که برای همه کاربران قابل مشاهده نباشد.
همانطور که گفته شد همه صفحات نیاز نیست که برای همه کاربران قابل مشاهده باشد و صفحات ورود و ادمین نیز جزو همین صفحات می باشند. این صفحات به جز برای مدیر و کاربرانی که عضو سایت می باشند بهتر است که برای دیگر کاربران قابل مشاهده نباشند، چرا که هیچ استفاده ای برای این کاربران نخواهد داشت. بنابراین بهتر از این صفحات نیز نوایندکس شوند. در وردپرس به صورت پیش فرض این صفحات نوایندکس می شوند، ولی در سیستم‌های مدیریت محتوایی که به چنین قابلیت پیش فرضی مجهز نمی باشند، باید خودتان دست به کار شوید و این صفحات را نوایندکس نماید.
این صفحات از صفحاتی می باشند که موتورهای جستجو به چنین صفحاتی ارزش قائل نیستند و هیچ تأثیر مثبتی برای سئوی سایت ندارند و حتی ممکن است محتوای این صفحات توسط موتورهای جستجو به عنوان محتوای تکراری شناسایی شود و به این دلیل توسط این موتورهای جستجو جریمه شوند. در نتیجه باید این صفحات نوایندکس شوند تا به چنین عواقبی دچار نشوند. البته این روش زمانی کاربرد دارد که سایت فقط یک نویسنده داشته باشد و صفحه آرشیوی نویسنده با صفحه اصلی وبلاگ یکی باشد و محتوای این دو صفحه به عنوان محتوای تکراری شناسایی شود.
این صفحه نیز یکی از صفحاتی میباشد که نباید برای کاربران در زمان جستجو در موتورهای جستجو برای آنها به نمایش گذاشته شود، چرا که در این صورت تجربه کاربری کاهش خواهد یافت. درنتیجه این صفحات را نیز باید نوایندکس کنید. ولی مواظب این مورد باشید که لینک های درون این صفحات را نوایندکس نکنید، چرا که این لینک ها می توانند بسیار مهم و با ارزش باشند.
برخی از صفحات در سایت های مختلف وجود دارد که هیچ محتوای ارزشمندی برای کاربر و موتورهای جستجو ندارند و نمایش این صفحات در زمان جستجوی کاربر برای وی، نمی‌تواند در رسیدن کاربر به اهدافش کمک موثری داشته باشند. بنابراین بهتر است این صفحات نیز نوایندکس شوند. برای مثال صفحاتی از یک سایت فروشگاهی که مخصوص فروش نرم افزار می باشد و دارای ابعاد و جنس خاصی نمی باشد.
برخی مواقع نیاز است که صفحاتی را برای تعمیر و طراحی مجدد آن نوایندکس نمایید و تا زمانی که کار آن صفحه جهت بازسازی به پایان نرسیده است، این صفحه را در صفحه نتایج موتورهای جستجو در نتیجه جستجوی کاربران غیر قابل نمایش نماییم و زمانی که این صفحه طراحی مجدد شد، می توانیم آن را دوباره از نوایندکس خارج نماییم تا خزنده ها بتوانند دوباره به خزش و ایندکس کردن خود در این صفحات ادامه دهند.
در مواقعی نیز برخی از صفحات فقط به صورت آزمایشی هستند و شاید این صفحات تکمیل نیافتند. پس تا زمانی که این صفحات تکمیل شوند و آماده نمایش برای کاربران شوند، بایدنوایندکس شوند. این صفحات را نیز میتوان در زمان صلاحدید از نوایندکس بودن خارج نمود.
بعضی مواقع صفحاتی در یک وبسایت واحد وجود دارد که هر دو صفحه دارای یک کلمه کلیدی می باشند، بنابراین ار دو صفحه هنگام جستجوی کاربران برای آن کلمه کلیدی، در صفحه نتایج جستجو نمایش داده خواهد شد که باعث می شود این دو صفحه با یکدیگر به رقابت بپردازند، بنابراین ممکن است یا ترافیک ورودی صفحات وب بین این دو صفحه تقسیم شود و یا صفحه ای که قدرتمندتر از صفحه دیگر میباشد، ترافیک صفحه وب ضعیف‌تر را به سمت خود بکشد، که به ضرر صفحه وب ضعیف تر خواهد شد و همچنین چون هر دو صفحه مربوط به یک وب سایت میباشد و با کاهش ترافیک یک صفحه از وب سایت به کاهش رتبه کلی سایت منجر خواهد شد بنابراین باید قبل از اینکه یکی از دو صفحه ترافیکی بابت آن کلمه کلیدی دریافت کند، آن صفحه را نوایندکس نمایید تا از این مشکل رهایی یابید، ولی باید این نکته را بدانید که اگر هر دو صفحه، ترافیکی بابت آن کلمه کلیدی بگیرند، دیگر نمی توان از این روش استفاده نمود، در این شرایط باید محتوای این دو صفحه را ویرایش نمایید تا از یکسان بودن کلمه کلیدی جلوگیری نمایید.
صفحات قفل دار به آن صفحاتی گفته می شود که وب سایت ها در ازای درخواست چیزی از کاربر مانند(دریافت اطلاعات تماس، ثبت نام، عضویت و غیره) محتوای آن صفحات را در اختیار آن کاربران قرار می دهند. بنابراین مدیران سایت اصلاً دلشان می خواهد که بدون دریافت آن اطلاعات و برای هر کاربری این صفحات قابل نمایش شوند، بنابراین این صفحات را نوایندکس میکند که هرکاربری به آن صفحات و محتوای آنها دسترسی نداشته باشند.
معمولاً لینکهای موجود درون صفحات نوایندکس ارزشمند میباشند و در هنگام نوایندکس کردن صفحات، نباید این لینک ها را نوایندکس نمود، ولی در مواقعی که نیاز می بینید که آن لینک ها نیز توسط موتورهای جستجو بررسی و ایندکس نشوند، می توانید آن ها را نیز از حالت ایندکس شدن توسط مورد های جستجو خارج نمایید.
* روش اول اضافه کردن تگ noindex به بخش هد HTML می باشد.
* روش دوم استفاده X-Robots-Tag در هدر HTTP می باشد.
* روش سوم استفاده از افزونه Yoast میباشد.
اگر یادتان باشد در قسمتی از این مقاله از دستور Disallow بحث به میان آمد. در این بخش می‌خواهیم به مقایسه این دو دستور یعنی دستور noindex و دستور Disallow بپردازیم.
می توان گفت این دو دستور شباهت بسیار زیادی به هم دارند و در هر دودستوری به خزنده های موتورهای جستجو داده می شود. با این تفاوت که با دستور Disallow کلاً خزیدن خزنده های موتور جستجو در صفحات را منع می کنیم و به آنها می‌گوییم که برای خزیدن به این صفحات وارد نشوند و اطلاعات آنها را نخوانند ولی باید این نکته را بدانید که این دستور یک دستور حتمی از لحاظ اجرا شدن توسط خزنده ها نمی باشد و می توان به جای دستور از کلمه پیشنهاد برای Disallow استفاده کرد، چرا که ممکن است خزنده ها این دستور را نادیده بگیرد و برای خریدن و مطالعه اطلاعات وارد آن صفحه شوند و آن صفحه را ایندکس کنند. ولی وقتی دستور noindex را برای خزنده ها صادر میکنیم، از آنها امکان خزیدن در صفحات را نمی گیریم و فقط از آنها می‌خواهیم که این صفحات را در نتایج گوگل به نمایش نگذارند. در واقع به خزنده ها می گوییم که می توانید در این صفحات بخزید و اطلاعات آن را مطالعه کنید ولی از ایندکس کردن این صفحات صرف نظر نمایید.
دستور Disallow برای این که به وظیفه خود عمل کند باید از Robots.txt استفاده نماید.
در برخی مواقع صفحات یک سایت بسیار زیاد می باشد و برخی از این صفحات دارای محتوایی غیر مفید و کم ارزش برای کاربران و موتورهای جستجو می باشد درنتیجه نمی‌خواهیم خزنده ها این صفحات را مطالعه کنند و در آنها بخزند و آنها را ایندکس کنند. بنابراین با استفاده از Disallow، خزنده ها را از خزش در این صفحات منع می کنیم و با این کار، صفحات را از دید گوگل مخفی میکنیم. فقط باید این نکته را بدانید که با این روش لینک های خارجی یا کنونیکال موجود در این صفحات نیز قابل دید و بررسی توسط گوگل نخواهند بود و آن لینکها هم از دید گوگل حذف خواهند شد. ولی در noindex میتوان لینکهای موجود در صفحه را از خود صفحه جدا نمود به صورتی که خود صفحه را از ایندکس شدن خارج نمود و لینکهای موجود در آن را ایندکس کرد.
این مفهوم مربوط به همان صفحات کم ارزش و کم اهمیت می باشد که قبلاً در مورد آن ها بحث شد و گفته شد که باید این صفحات noindex شوند. معنی IndexBloat همان نمایه گذاری بیش از حد وب سایت می باشد.
زمانی که صفحات کم ارزش توسط موتورهای جستجو ایندکس شود باعث می شود که ارزش صفحات ارزشمند کاهش یابد که به شدت باعث کاهش رتبه سایت ها خواهد شد.
با رزومه بسیار بالا در سطح کشور
طراحی سایت فروشگاهی آگهی ساخت بازی آنلاین
