من أفضل ممارسات تحسين ترتيب موقعك الالكترونى فى محركات البحث هى إعداد ملف robots.txt . فتحديداً عندما تقوم بإعداد خريطة موقعك الالكترونى (Sitemap) لتسمح لمحركات البحث بفهرسة متجرك الالكترونى ، فإنه من الضرورى أن تمنح عناكب الويب (Web Crawlers) الإرشادات اللازمة فى ملف robots.txt لتجنب فهرسة أجزاء محددة من موقعك الالكترونى . يتضمن تكوين ماجنتو على إعدادات إدارة و إنشاء الإرشادات لزواحف الويب أو عناكب الويب (Web Crawlers) المسئولة عن فهرسة موقعك الالكترونى . يتم حفظ الإرشادات فى ملف معروف باسم robots.txt و يقع فى جذر تثبيت ماجنتو الخاص بك . هذه الإرشادات هى عبارة عن تعليمات تقوم محركات البحث بالتعرف عليها و تتبعها .
يحتوى ملف robots.txt بشكل افتراضى و الذى يتم إنشاءه من خلال ماجنتو على الإرشادات اللازمة لعناكب أو زواحف الويب ، لمنعهم من فهرسة أجزاء محددة من موقع الويب و التى تحتوى على ملفات يستخدمها نظام ماجنتو داخلياً . و فى هذا الموضوع سنتعرف على كيفية تهيئة ملف robots.txt فى ماجنتو ليعمل بشكل جيد مع موقعك الالكترونى .
أمثلة لملف robots.txt مخصص
السماح بالوصول الكامل – Allows Full Access
*:User-agent
:Disallow
عدم السماح بالوصول لكافة المجلدات – Disallows Access to All Folders
:*User-agent
/: Disallow
ملف Robots.txt الافتراضى لماجنتو 2
/Disallow: $/*.php
/Disallow: /pkginfo
/Disallow: /report
/Disallow: /var
/Disallow: /catalog
/Disallow: /customer
/Disallow: /sendfriend
/Disallow: /review
=Disallow: /*SID
تهيئة إعدادات ملف robots.txt فى ماجنتو 2
1 – من قائمة لوحة تحكم ماجنتو 2 انتقل إلى Content > Design > Configuration .
2 – ابحث عن إعدادات التكوين الشاملة (Global) فى الصف الاول من الشبكة ، ثم اضغط على Edit .
3 – افتح قسم Search Engine Robots ، ثم قم بالتالى :
- قم بتعيين حقل Default Robots على أحد الخيارات التالية :
INDEX, FOLLOW إرشاد عناكب محركات البحث لفهرسة موقعك الالكترونى و العودة لاحقاً للتحقق من وجود أى تغييرات .
NOINDEX, FOLLOW إرشاد عناكب محرك البحث لتجنب فهرسة موقعك الالكترونى ، مع وجود إمكانية التحقق لاحقاً من وجود تغييرات .
INDEX, NOFOLLOW إرشاد عناكب محرك البحث لفهرسة موقع الويب مرة واحدة ، لكن مع عدم العودة مرة اخرى للتحقق من أى تغييرات .
NOINDEX, NOFOLLOW إرشاد عناكب محرك البحث لتجنب فهرسة الموقع الالكترونى ، و عدم التحقق لاحقاً من وجود أى تغييرات .
- Edit Custom instruction of robots.txt File ، ادخل أى تعليمات مخصصة لملف robots.txt فى هذا الحقل . على سبيل المثال عند قيامك بتطوير موقعك الالكترونى ،قد ترغب بعدم السماح لعناكب محرك البحث بالوصول إلى جميع المجلدات .
- Reset to Defaults ، لإعادة الإرشادات الافتراضية للنظام فى ماجنتو 2 اضغط على هذا الخيار .
4 – عند الانتهاء ، اضغط على Save Configuration لحفظ الإعدادات السابقة داخل نظام ماجنتو 2 .