برای جواب این سوال باید گفت بله. فقط فایل robots.txt نیست که به شما کمک می‌کند تا با خزنده ها ارتباط برقرار کنید، بلکه Meta Robots Tag و X Robots Tag نیز می‌توانند این ارتباط را برقرار کنند. ولی حتما تفاوت‌هایی در چگونگی ارتباط این سه وجود خواهد داشت و هر سه مورد به یک نوع ارتباط و کنترل را بر روی خزنده ها نخواهند داشت. در ادامه می خواهیم به مقایسه این سه مورد با هم بپردازیم.
در مورد فایل robots.txt بسیار بحث کردیم و در بخش های قبلی همین مقاله برای شما ارائه نمودیم و در صورت نیاز به مطالعه در مورد این فایل می توانید به بخش ۱ و ۲ این مقاله مراجعه نمایید.
حال نوبت به معرفی متا تگ Robots رسیده است.
این متاتگ نیز دستور مشابهی با فایل robots.txt دارد. در واقع این متاتگ به خزنده ها جهت مجاز بودن یا مجاز نبودن برای خزش در صفحات سایت دستور می دهد. فقط همانطور که از نامش پیداست این یک متا تگ می باشد، بنابراین محل قرارگیری آن در تگ head می باشد. این مطالعه متاتگ یک تگ html میباشد.
همانطور که میدانید تمامی متا تگ ها به خاطر این ایجاد می‌شوند که خزنده های موتورهای جستجو را جهت درک محتوا و اطلاعات وب سایت ها و ایندکس کردن صفحات وب سایت راهنمایی نمایند. در واقع با این متا تگ ها قصد این را داریم که محتوای وب سایت مورد نظر را برای این خزنده ها توصیف نماییم. همه متاتگ ها به نوعی برای موتورهای جستجو مهم می باشند و متا تگ Robots نیز یکی از این متا تگ های مهم به شمار می آید.
دستوراتی که در این متا تگ نوشته میشود، به خزنده ها کمک می کند تا مسیر خزش خود را بداند و بداند که چه صفحاتی از وب سایت مورد نظر باید ایندکس شوند و چه صفحاتی نباید ایندکس شوند.
ولی بدانید که این دستوراتی را که قرار است در متا تگ بنویسید، باید به صورت صحیح و اصولی و به جا استفاده شوند وگرنه باعث ایجاد مشکلاتی برایتان خواهند شد. متاتگ Robots را برای کنترل نمودن چگونگی خزش ربات ها و فهرست سازی ایندکس موتورهای جستجو از آدرس url، استفاده می‌کنیم. در واقع به وسیله این متاتگ نحوه بررسی صفحات وب سایت و قرارگیری یا عدم قرارگیری صفحه مورد نظر در فهرست، توضیح داده میشود.
در ادامه می خواهیم انواع دستوراتی را که میتوان در متا تگ Robots نوشت، را بیان نماییم.
این دستور جهت اعلام ایندکس کردن یک صفحه به موتورهای جستجوها می باشد که نوشتن آن ضرورت خاصی ندارد، چرا که ربات های موتورهای جستجو به طور پیش فرض این قابلیت را دارند که صفحات را ایندکس نمایند. درواقع روبات ها وظیفه اصلی خودشان همین ایندکس کردن صفحات می باشد. در صورتی این دستور برای نوشتن ضرورت پیدا می‌کند که شما فقط به یک موتور جستجوی خاص مجوز ایندکس کردن یک صفحه را بدهید و دیگر موتور های جستجو را جهت ایندکس کردن همین صفحه منع کنید.
این دستور نقطه مقابل دستور index می باشد. در واقع با این دستور، اجازه ایندکس کردن را از موتورهای جستجو میگیرید و به آنها اجازه ایندکس کردن را نمی‌دهید. در این دستور ربات ها جهت خزیدن در صفحات اجازه دارند ولی به آنها گفته میشود که این صفحات را در صفحه نتایج جستجوی موتورهای جستجو به نمایش کاربران در نیاورند.
یکی دیگر از دستوراتی می باشد که به طور پیش فرض ربات ها به چنین قابلیتی مجهز می باشد و ضرورتی به دستور دادن دوباره در این مورد برای ربات ها دیده نمی شود. مانند دستور index با این دستور به ربات های موتورهای جستجو بیان می شود که لینک های داخلی یک صفحه را دنبال کنند. اگر نیاز باشد که فقط یک لینک خاص را دنبال کنند، مانند بک لینک‌ها، میتوان از این دستور استفاده نمود.
این دستور نیز نقطه مقابل دستور follow می باشد و از ربات ها خواسته می شود که لینک های داخلی صفحه را دنبال نکنند. این دستور را هم می توان برای همه لینکهای موجود در صفحه اعلام کرد و یا فقط برای لینک خاصی این دستور را داد.
همانطور که از نام این دستور نیز میتوان دریافت، این دستور مربوط به تصاویر موجود در صفحات می باشد. در واقع با این دستور به ربات ها دستور داده میشود که تصاویر موجود در صفحه را ایندکس نکنند. ولی وقتی این دستور را می‌نویسید، حتما به این مورد توجه نمایید که به طور حتم نمی توان گفت که تصاویر موجود در صفحه ایندکس نخواهند شد، چرا که اگر این تصاویر در جای دیگری لینک شده باشند، ربات های موتور های جستجو این تصاویر را بررسی و ایندکس خواهند کرد.
اگر میخواهید صفحه ای را هم ایندکس نماید و هم لینک های درون آن را دنبال کنید، می توانید به جای اینکه این دو دستور (follow, index) را به صورت جداگانه و تک تک برای این صفحه بنویسید، میتوانید فقط از یک دستور استفاده نمایید که این دستور همان دستور all می باشد. در واقع دستور all می تواند وظیفه دو دستور دیگر ( index، follow) را باهم انجام دهد.
این دستور نیز نقطه مقابل دستور all می باشد. در واقع این دستور را نیز می توانید به جای دو دستور( nofollw, noindex) استفاده نمایید، یعنی زمانی که نمیخواهید صفحه تان ایندکس شود و همزمان نمیخواهید لینک های درون همان صفحه نیز دنبال شود، می توانید به جای نوشتن دو دستور جداگانه فقط از یک دستور واحد به نام none استفاده نمایید.
این دستور مربوط به عدم نمایش متادیسکریپشن های صفحه مورد نظر در صفحه نتایج موتورهای جستجو می باشد. در واقع وقتی این دستور را نوشته میشود به ربات های موتور های جستجو دستور داده می شود که قسمتی از صفحه مورد نظر (توضیحات متا) را برای کاربران در صفحه نتایج جستجو به نمایش نگذارند.
با این دستور این امکان برای تان فراهم میشود که تاریخ مشخصی را برای ربات اعلام کنید تا صفحه را بعد از آن تاریخ دیگر ایندکس نکنند. در برخی مواقع نیاز دارید که بعد از یک مدت مشخص دیگر صفحه شما ایندکس نشود، برای مثال وقتی که می خواهید اطلاعات موجود در صفحات سایتتان به روز باشد و از آنجاییکه بعد از یک مدت مشخصی اطلاعات موجود در صفحاتتان منقضی خواهند شد و دیگر به درد کاربرانتان نخواهند خورد، در این صورت برای ربات ها تاریخ مشخصی را اعلام می کنید که دیگر ربات های موتورهای جستجو بعد از آن تاریخ این صفحه را ایندکس نکنند، چرا که اگر ایندکس نمایند کاربرانتان با اطلاعات منقضی شده رو به رو خواهند شد.
یکی دیگر از دستوراتی که میتوان به ربات های موتور های جستجو داد،دستور noarchive می باشد که با این دستور به ربات های موتور های جستجو گفته میشود که نسخه های ذخیره شده از این صفحه را نادیده بگیرند و آنها را در صفحه نتایج موتورهای جستجو به نمایش کاربران در نیاورند.
این دستور مخصوص موتورهای جستجوی MSN و LIVE می باشد و در واقع همان کار دستور nocache را انجام می دهد با این تفاوت که مختص این دو موتور جستجویعنی MSN و LIVE می باشد.
این دستور فقط در موتورهای جستجوی گوگل کاربرد دارد. با این دستور به ربات های گوگل بیان میشود که ترجمه‌ای از صفحه مشخص شده انجام ندهند.
از آنجایی که گوگل در زمان مراجعه به صفحاتی که نیاز به ترجمه دارند تا با زبان کاربر وارد شده به سایت همخوانی پیدا کند. برای رضایت آن کاربر، دکمه ای را ارائه می دهد که با استفاده از آن دکمه کاربر می‌تواند صفحه مورد نظر را به زبان قابل فهم برای خودش ترجمه نماید. این ترجمه، گوگل را از انجام دادن چنین کاری منع می‌کند و به آن اعلام می دارد که به هیچ عنوان نمی‌خواهد صفحه موردنظرش ترجمه شود.
ویژگی که گوگل دارد این است که فقط به فکر رضایت کاربران خود می باشد، از این رو برای آنها امکانات ویژه‌ای را با استفاده از site links search box فراهم نموده است. کاربران زمانی که نام برند مدنظر خود را جستجو می کنند، گوگل در صفحه نتایج، زمانی که نتیجه جستجو را به آنها نمایش می دهد، در زیر نام و توضیحات وب سایت یک کادر جستجویی هم برای آنها به نمایش می‌گذارد که کاربران به وسیله این کادر می توانند مطلب مورد جستجوی خود را در آن جعبه بنویسند و جستجوی خود را در آن وب سایت نمایش داده شده، انجام دهند و زودتر به آنچه که مد نظرشان می باشد از وب سایت مورد نظر خود به آن برسند، میرسند.
با استفاده از این دستور گوگل را از این کار منع می کنیم و به وی دستور عدم نمایش کار جستجو را در مواقعی که صفحه مورد نظر برای کاربران به نمایش گذاشته میشود را می‌دهیم.
گوگل امکانات ویژه دیگری نیز دارد که معمولاً از این امکانات افراد نابینا بیشتر استفاده می کنند و آن این است که سرویس صوتی را برای کاربران خود فراهم نموده است. با استفاده از این سرویس صوتی گوگل می تواند محتوای صفحه را به صورت صوتی برای کاربرانی که درخواست استفاده از این سرویس را کرده اند، میخواند.
با استفاده از این دستور به گوگل این اجازه داده نمی شود که از سرویس صوتی خود برای صفحه مورد نظر استفاده کند و محتوا را برای کاربران بخواند. همچنین با این دستور اگر کاربران به جستجو های صوتی بپردازند، صفحه مورد نظر در صفحه نتایج جستجوی صوتی، نمایش داده نخواهد شد.
برای هر صفحه باید توضیحات متا یا متا دیسکریپشن داشته باشید و این دستور می تواند تعداد حداکثر کاراکتری که می تواند در این متا جای گیرد را مشخص نمایید.
معمولاً در وب سایت ها و اپلیکیشن ها از پخش پیش نمایش خودکار ویدیو ها استفاده میشود تا کاربران بتوانند پیش‌نمایشی کوتاه در حد ۳۰ ثانیه از ویدیو را ببینند تا از محتوای آن ویدیو باخبر شوند و بدانند که آن ویدیو در مورد چه موضوعی می باشد و آیا این ویدیو می تواند برای جستجوی آنها مفید واقع شود یا نه. این پیش نمایش می‌تواند برای بسیاری از اهداف مفید واقع شود. در برخی مواقع از این پیش نمایش ها در تبلیغات کمک می گیرند.
با این دستور به موتورهای جستجو اعلام می‌داریم که حداکثر ثانیه ای که برای پیش نمایش ویدیوها باید داشته باشد، چه مدت زمانی می باشد.
در واقع عددی را به ثانیه وارد می کنیم و می گوییم که مثلاً دو ثانیه پیش نمایش از ویدیوی مربوطه، برای کاربران نمایش داده شود.
با استفاده از این دستور می توان به گوگل فهماند که موضوع این صفحه چیست و محتوایی که این صفحه دارد مخصوص بزرگسالان می باشد.
دستوری از دستورات منقضی شده میباشد که قبلا از این دستور برای عدم استفاده از توضیحات صفحه دایرکتوری یاهو در اسنیپت استفاده میشد.
یکی دیگر از دستورات منقضی شده دستور No ODP می باشد. ODP نام همان انجمنی می باشد که دایرکتور های DMOZ را نگهداری می کنند.
یکی دیگر از دستورات منقضی شده، دستور No ODP می باشد که با استفاده از این دستور به سایتهای ODP (سایتهای دایرکتوری) اعلام میشود که توضیحات سایت شما را در نتایج جستجو نمایش ندهند.
سایت های دایرکتوری همان سایت هایی می باشند که از هر سایت موجود در دنیای وب، اطلاعاتی جمع آوری می کنند و به احتمال زیاد در صفحه نتایج جستجو موتور های جستجو دیده می شوند.
این دو دستور آخر (No ODP, noydir) امروزه به دلیل عدم وجود دایرکتوری yahoo و DMOZ، دیگر استفاده ای ندارند و هیچ موتور جستجویی این دو دستور را پشتیبانی نمیکند.
با استفاده از دستورات معرفی شده میتوانید موتورهای جستجو را جهت بررسی و مطالعه و ایندکس کردن صفحات وب سایتتان راهنمایی نمایید. با توجه به نیازتان میتوانید هر یک از دستورات بالا را برای صفحه وب سایت خود داشته باشید. داشتن این دستورات در متا تگ می تواند فوق العاده مفید باشد چرا که با استفاده از این متاتگ، ربات های گوگل درک درست و کاملی از صفحات وب سایت ها می توانند داشته باشند.
دستوراتی که در متاتگ Robots ایجاد می‌شوند، دستورالعمل های بسیار قدرتمند تری نسبت به فایل robots.txt و دستورات ایجاد شده در آن فایل می باشد. زمانی که دستورات نوشته شده در متاتگ Robots توسط ربات های موتور های جستجو یافته می شود، آنها در می یابند که این دستورات، دستوراتی قوی می باشد و بهتر است از آنها پیروی کنند ولی باز هم برای خزنده ها جهت پیروی کردن از این دستورات هیچ اجباری وجود ندارد و خزنده ها می توانند این دستورات یا بهتر بگوییم پیشنهادات را رد نمایند و به آنها عمل نکنند.
همانطور که زمان معرفی فایل robots.txt بیان شد، برخی مواقع نیاز است که به دلایل مختلفی صفحاتی از وب سایت از ایندکس شدن توسط ربات های موتور های جستجو در امان بمانند و در صفحه نتایج جستجوی موتورهای جستجو برای کاربران به نمایش گذاشته نشوند. در این صورت یکی دیگر از روش هایی که علاوه بر فایل robots.txt می توان استفاده کرد، استفاده از متا تگ Robots میباشد. با این متاتگ می توانید به موتورهای جستجو جهت ایندکس کردن یا نکردن صفحات وب سایت خود اطلاع رسانی نمایید.
این بحث در بخش بعدی ادامه خواهد داشت.
با رزومه بسیار بالا در سطح کشور
طراحی سایت فروشگاهی آگهی ساخت بازی آنلاین
