ایندکس شدن توسط موتورهای جستجو
اگر موتورهای جستجو ندانند که سایت شما وجود دارد ، شانس شما برای دیده شدن کاهش نمی یابد بلکه به کل از بین می رود.
نکته ای وجود دارد و آن اینست که برای شناسایی و ایندکس کردن سایت های جدید ، موتور های جستجو نیاز به زمان دارند یعنی اگر وب سایتی را که تازه دو روز است آپلود کرده اید سرچ کنید به احتمال 90% نا امید می شوید .
اگرچه ، حتی بعضی اوقات ، چند هفته بعد از بارگزاری ، باز هم بعضی سایت ها در 3 موتور جستجوگر اصلی Google/Bing/Yahoo ( که 98% سرچ ها در ایالات متحده توسط این 3 موتور انجام می شود ) دیده نمی شوند .
اگر شما در حال خواندن این مقاله هستید ( که طبیعتا هستید ! ) پس حتما در زمینه ساخت وب سایت و انتشار آن تازه کارید و ما اینجاییم تا ساده ترین و سریع ترین راه برای معرفی وب سایت در موتورهای جستجو را به شما آموزش دهیم .
چگونه وب سایتتان را در Bing , Google و Yahoo ایندکس کنید.
در مرحله اول باید تفاوت بین ثبت شدن (submit) و ایندکس شدن (index) را بدانید . ثبت یک وب سایت در موتور جستجو به معنی اعلام وجود یک سایت در موتور جستجو است در حالیکه ایندکس شدن به معنی اینست که موتور جستجو قبول می کند که وب سایت شما را در بانک اطلاعاتی خود و تحت پوشش سرویس های خود قرار دهد .
وب سایت در موتورهای جستجو بسیار ساده است . این کار به راحتی از طریق لینک های Google و Bing انجام می شود.
تمام زحمتی که باید بکشید وارد کردن URL سایتتان و کلیک کردن دکمه submit است .
نکته : Yahoo توسط موتور Bing ایندکس می شود بنابراین وقتی وب سایت را در Bing ثبت می کنید بطور خودکار در Yahoo نیز ثبت می شود . و این بدان معناست که غیر از چین که موتور Baidu با 76% سهم از جستجو ، یکه تازی می کند ، در بقیه نقاط دنیا Google و Bing تنها انتخاب شما در زمینه موتور جستجو است .
البته در این روش هربار می توان یک URL را در موتور جستجو ثبت کرد ، یعنی اگر یک سایت بزرگ با تعداد زیادی صفحه ساخته اید ، انگشتان خود را برای ثبت URL تک تک صفحات قوی کنید .
بنابراین بیایید یک راه ساده تر پیدا کنیم .
( روش پیشنهادی ) چگونه سایت خود را با استفاده از ابزارهای وب مستری Google/Bing ثبت کنید .
با استفاده از ثبت سایت مپ ، می توانید تمامی صفحات وب سایتتان را یکجا ثبت کنید و این کار براحتی از طریق ابزار وب مستری Google/Bing قابل انجام است . البته این تنها خاصیت ثبت سایت مپ در موتورهای جستجو گر نیست بلکه با این کار اطلاعات ارزشمند دیگری نیز در مورد سایتتان به موتورهای جستجو گر میدهید ، از جمله :
• تناوب تغییر صفحات: به موتور جستجوگر اعلام می کنید که با چه تناوبی صفحات وب سایت شما تغییر می کنند .
• آخرین زمان تغییر: به موتور جستجو گر اعلام می کنید که آخرین باری که صفحاتتان تغییر کرده چه تاریخ و ساعتی بوده .
• اولویت : به موتور جستجو گر اعلام می کنید که در سایتتان کدام صفحه یا پست اولویت بالاتری دارد.
تصویر بالا مثالی از یک سایت مپ از سایت websitesetup.org را نشان می دهد.
نکته : در این مقاله قصد نداریم وارد مقوله سایت مپ شویم . اگرچه درصورت استفاده از CMS هایی مانند وردپرس ، پلاگین های زیادی برای ایجاد خودکار سایت مپ ( مانند Yoast SEO ) وجود دارد . برای سایت های استاتیک نیز می توانید از این لینک استفاده کنید . در صورتی که نرم افزارهای پیچیده تر و قابل سفارشی سازی تر را ترجیح میدهید روی این لینک ، کلیک کنید.
برای موتور جستجوگر Google به طریق زیر عمل می کنیم .
ابتدا وب سایت خود را از طریق این لینک به Google webmaster tools معرفی و تایید کنید . در این لینک راهنمایی های مفیدی برای این کار می توانید پیدا کنید .
پس از معرفی و تایید ، در منو کناری Crawl > Sitemaps را انتخاب کرده و بر روی add/test sitemap کلیک کنید و آدرس URL سایت مپ خود را وارد کنید ( نکته : این آدرس چیزی شبیه به www.yourdomain.com/sitemap.xml می باشد )
نکته : بعضی نرم افزارهای تولید کننده سایت مپ چندین سایت مپ برای هر وب سایت می سازند ، اصلا مشکلی نیست ، آدرس تمامی آنها را وارد کنید .
تمام شد . به همین سادگی وب سایت شما در گوگل ثبت شد .
حالا به سراغ Bing می رویم .
در Bing Webmaster Tools ثبت نام کنید ، روی گزینه “add your site” کلیک کرده و فرم مربوطه را پر کنید . این فرم از شما آدرس URL سایت ، آدرس URL سایت مپ و یک سری اطلاعات دیگر می خواهد .
پس از پر کردن فرم دکمه submit را کلیک کرده و ... تمام ، سایت شما ثبت شد .
به خاطر داشته باشید ، ثبت کردن سایت در موتورهای جستجو به معنی ایندکس شدن قطعی آنها نیست بلکه این کار ، یک مرحله مهم و حیاتی در راه ایندکس شدن سایت شماست .
چطور می توانید متوجه بشوید که آیا سایت شما ایندکس شده یا نه ؟
استفاده از Site :جستجو در Google/Bing راحت ترین راه برای اطمینان از ایندکس شدن است.
برای مثال عبارت site:www.appzweb.ir/articles/designers.htm را که در سرچ باکس گوگل وارد کنید می توانید از ایندکس شدن و یا نشدن صفحه designers.htm در سایت appzweb.ir مطمئن شوید.
درصورتی که موتور جستجو گر نتیجه ای به شما نشان نداد ، یعنی صفحه شما ایندکس نشده .
نکته : در صورت ایندکس نشدن سایتتان در دو یا سه روز اول جای نگرانی نیست ، اما در صورتی که تا دو هفته باز هم سایت ایندکس نشد باید بصورت جدی بدنبال علت بگردید .
در صورت ثبت شدن سایت از طریق Google/Bing webmaster tools ، می توانید اطلاعاتی در مورد تعداد صفحات ایندکس شده سایتتان را در قسمت search console ببینید.
تصویر بالا ، اسکرین شاتی از Google Search Console است.این گزارش از طریق Crawl/Sitemaps از ابزار webmaster tool قابل دسترسی است .
در صورتی که میان صفحات ثبت شده و ایندکس شده تفاوت فاحشی وجود داشت بهتر است در سایتتان بدنبال خطاهای متداول زیر بگردید:
• صفحه وب حاوی تگ noindex است . این تگ HTML در صورتی که در صفحه شما باشد به گوگل و سایر موتورها دستور می دهد که صفحه را ایندکس نکند . برای یافتن این تگ ، کد های HTML صفحه وب خود را بدنبال عبارات : <meta name=“googlebot” content=“noindex”> یا <meta name=“robots” content=“noindex”> و یا x-robots-tag: noindex جستجو کنید و در صورت وجود آن را حذف کنید .
• ایندکس شدن صفحه توسط فایل robots.text مسدود است . هر وب سایت دارای فایلی بنام robots.txt می باشد که قوانینی را برای robots/crawlers/spiders وضع می کند از جمله اینکه آیا صفحه می تواند توسط موتور جستجو بررسی شود یا نه ، و یا اینکه صفحه اجازه ایندکس شدن را دارد یا نه . به سادگی می توانید با وارد کردن آدرس صفحه در Robots Testing Tool بررسی کنید که یک URL خاص اجازه ایندکس شدن را دارد یا نه .
• ایندکس شدن توسط فایل .htaccess مسدود شده . .htaccess فایلی برای برخی تنظیمات در وب سایت هایی روی سرورهای مبتنی بر Apache است ( حدود نیمی از وب سرورها مبتنی بر آپاچی هستند ). اگر فایل مد نظر حاوی کد
"Header set X-Robots-Tag "noindex, nofollow
باشد ، برای ایندکس شدن باید این کد ، حذف شود .
نکته : در صورتی که هیچ یک از موارد بالا وجود نداشت ، احتمالا صفحه شما توسط موتور جستجو "بی ارزش " قلمداد شده ، که مشکلی بسیار جدیست ، در این موارد بهتر است از یک متخصص SEO درخواست کمک کنید.
اما ... حتی در صورتی که شما مشکلی بابت ایندکس شدن نداشته باشید ، هنوز نمی توانید وب سایتتان را در صفحه اول موتور جستجو هنگامی که کلمه کلیدی مورد نظرتان را جستجو می کنید ببینید .
برای مثال ، اگر وب پیج شما در مورد YouTube SEOباشد و ایندکس هم شده باشد ، فقط یک معجزه می تواند پیج شما را در صفحه اول جستجوی گوگل در مورد “YouTube SEO” قرار دهد. ایندکس شدن ساده و سریع است اما بدست آوردن رتبه “ranking” تلاش فراوان و زمان زیادی می طلبد .
چرا ایندکس شدن وب سایت معادل بدست آوردن رتبه در گوگل نیست ( و چطور می توان رتبه بدست آورد )
هر عبارتی را که در گوگل جستجو کنید احتمالا با میلیون ها وب سایت مواجه می شوید.
تصویر بالا نشان می دهد که جستجوی عبارت youtube seo بیش از 25 میلیون نتیجه به همراه دارد .
نکته : این تعداد نتیجه ، تقریبا معادل تعداد صفحه ایندکس شده در ارتباط با عبارت جستجو شده توسط شماست .
بر اساس تحقیقات اثر کاربران فقط به نتایج جستجوی ارائه شده در صفحه اول گوگل مراجعه می کنند ( که تنها 10 صفحه را نشان می دهد ) ، پس اگر رتبه شما در جستجوی گوگل معادل 11 یا بیشتر باشد ، ایندکس شدن عملا کمک چندانی به دیده شدن وب سایتتان نمی کند .
برای بدست آوردن کاربر از طریق موتورهای جستجو ( که به آن organic traffic گویند ) ، شما باید در نتیجه جستجو ، رتبه 10 و زیر آن را بدست آورید ( رتبه ایده آل 3 و کمتر از آن است ) .
حالا سوال اساسی اینجاست که چطور می توانید به این رتبه در عبارت جستجو شده مورد نظرتان دست پیدا کنید ؟
جواب خلاصه : به link نیاز دارید.
گوگل ، لینک هایی را که سایر وب سایت ها به یک صفحه وب می دهند را به عنوان " رای " آن صفحه در نظر می گیرد به این صورت که برای مقایسه دو صفحه با موضوع یکسان ، هر کدام که رای بالاتری داشته باشند ( تعداد لینک های داده شده از دیگر صفحات وب به صفحه مورد نظر ) ، رتبه بهتری در نتیجه جستجوی مورد نظر خواهند داشت .
به صورت خلاصه ، هرچقدر لینک بیشتری به صفحه شما داده شود ، رتبه بهتری خواهید داشت .
برای مثال ، می توانید صفحه نتایج موتور جستجو ، با عبارت مورد نظرتان را به همراه تعداد لینک های داده شده به این نتایج با استفاده از Ahref Keyword Explorer مشاهده کنید .
برای این کار :
1. به قسمت Keywords Explorer رفته و عبارت کلیدی مورد نظرتان را وارد کنید.
2. برای دیدن صفحه نتایج موتور جستجو ، به سمت پایین اسکرول کنید .
تصویر بالا اسکرین شاتی از Ahrefs’ Keywords Explorer است که 10 رتبه برتر گوگل با عبارت کلیدی “Youtube SEO” را نشان می دهد.
در مثال بالا ، برای اینکه در این عبارت کلیدی ، رتبه اول را کسب کنید باید بیش از 882 ، backlink یا همان لینک از سایت های دیگر داشته باشید .
نکته : در صورتی که بک لینک های یک صفحه از نظر موتور جستجو ، کیفیت بالایی داشته باشند و کاملا مرتبط با موضوع اصلی صفحه باشند ، براحتی موتور جستجو این صفحه را بالاتر از صفحاتی با بک لینک های بیشتر قرار خواهد داد . همیشه به جای کمیت ، کیفیت را هدف قرار دهید.
البته ، لازم است بدانید که تنها فاکتور موثر در رتبه بندی بک لینک نیست ، بلکه SEO پیج شما نیز در درجه بالای اهمیت قرار دارد همچنین باید مطمئن شوید که عبارت کلیدی هدف قرار داده شده با محتوی صفحه وب تان، مرتبط باشد ( هدف قرار دادن عبارات کلیدی خیلی رقابتی معمولا بی نتیجه است ).
حالا سوال اینجاست که ، اگر ایندکس کردن وب سایت باعث ورود یوزر از طریق نتایج موتورهای جستجو نخواهد شد ، چرا باید به خود زحمت داده و وب سایتمان را در موتورهای جستجو ثبت کنیم ؟
چرا همچنان باید وب سایت خود را در موتورهای جستجو ثبت کنیم ؟
گوگل ، برای انجام وظایفش خیلی روی ثبت دستی وب سایت ها حساب باز نکرده ( خیلی از صاحبان وب سایت ها حتی از وجود قابلیت ثبت در گوگل بی خبرند ).
به همین دلیل است که گوگل حجم عظیمی از اطلاعات وب را برای به روز نگه داشتن ایندکس هایش هر روزه پردازش و جستجو می کند.
هر گاه در سایت های ایندکس شده لینکی از یک وب سایت جدید قرار داده شود ، ربات های جستجو گر گوگل بصورت خودکار آن را دنبال کرده و وارد وب سایت جدید می شوند و در صورتی که بر اساس الگوهایش ، آن سایت را بدردبخور بداند ، اتوماتیک وار سایت را ایندکس می کند ( این هم یک دلیل دیگر برای اهمیت لینک ها ) .
برای مثال ، هنگامی که کسی در توییت خود لینکی به یک وب سایت دهد ، گوگل ممکن است لینک را ببیند و سایت مربوطه را ایندکس کند .
البته این موتور جستجوی عظیم از اطلاعاتی از قبیل آمارهای ارائه شده توسط مرورگر Chrome ، اطلاعات Google Analytics و دامین های ثبت شده و غیره نیز سود می برد . ( گوگل جان اگه داری این متن رو می خونی ، التماس دعا !!!!!! )
در حقیقت SEO بخاطر دامنه وسیع فاکتورهای مورد استفاده گوگل ، بسیار گیج کننده و گاهی متناقض می شود .
با استفاده از تمامی منابع اطلاعاتی ذکر شده ، موتورهای جستجو براحتی سایت های جدید را بصورت خودکار ایندکس می کنند .
اما ... هنوز دلایل زیادی برای اینکه بصورت دستی سایتتان را ثبت کنید وجود دارد ، از جمله :
1. محکم کاری . احتمالا گوگل بدون ثبت دستی نیز وب سایت شما را ایندکس خواهد کرد ، اما " احتمالا " برایتان کافی است ؟ به نظر من وقتی ثبت دستی ، یکی دو دقیقه وقت می برد بهتر است محکم کاری کنید .
2. تمام اطلاعات با بررسی سایت شما توسط موتورهای جستجو بدست نمی آید . با ثبت دستی وب سایت ، علاوه بر ایندکس شدن ، اطلاعات مفیدی از وب سایتتان به گوگل می دهید که ممکن است از دید ربات های موتور جستجو پنهان بوده باشد .
3. کمک به افزایش کیفیت وب سایت . Google/Bing از طریف ابزارهای وب مستری خود ، نقطه نظرات خوبی به شما در مورد وب سایتتان می دهند . همچنین ابزارهای مفیدی جهت بررسی سایت و اعلام مشکلات و خطاهای احتمالی به شما در آن وجود دارد .
حتی وقتی سایت شما ایندکس شده باشد نیز بهتر است بعضی اوقات صفحاتتان را دوباره ثبت کنید ، از جمله :
1. هنگامی که تغییر و یا به روز رسانی در صفحاتتان اعمال کرده اید . موتورهای جستجو بدلیل حجم بالای اطلاعات روی وب ، امکان بررسی هر روزه و چند باره تمام سایت شما را ندارند ، بنابراین ممکن است بعضی اوقات این تغییرات دیده نشوند . البته از طریق Fetch as Google می توانید از گوگل بخواهید بررسی مجدد وب سایتتان را در اولویت قرار دهد .
2. هنگام رفع نقص از صفحاتتان . بعضی اوقات گوگل خطای crawling یا 404 را از طریق کنسول جستجو به شما نشان می دهد . پس از رفع مشکل موجود ، از گوگل بخواهید باز هم سایتتان را بررسی کند .
مخلص کلام
به احتمال فراوان Google/Bing بدون ثبت دستی نیز سایت شما را ایندکس خواهند کرد ، اما همچنان به شما پیشنهاد می کنم ایندکس شدن را به شانس و اقبال نسپارید .
این تازه شروع جنگ است ، حتی پس از ایندکس شدن ، برای داشتن رتبه مناسب ، سایت شما نیاز به صفحات با کیفیت و مفید دارد و صد البته نیاز به لینک .
لینک ها یکی از 3 فاکتور برتر گوگل برای رتبه بندی است ، در صورتی که از طرف سایت های سطح بالا و مرتبط به شما لینک داده شود ، گوگل نه تنها شما را ایندکس می کند بلکه رتبه خوبی نیز به شما می دهد .
