طريقة فحص ملف Robots.txt في موقعك
في موقعك الالكتروني بلا شك ستحتاج لمعرفة ملف Robots.txt و ما دوره في تحسين ترتيب موقعك في محركات البحث، اكيد أنك لن تحقق أي نتيجة حتى يتم تثبيت الملف في جذر موقعك ، إذا سنتعرف على ملف Robots.txt و كيف نقوم بفحصه .
ما هو ملف Robots.txt؟
عندما تسمع كلمة ملف ، سيراود لذهنك انه ملف كبير الحجم او ملف به العديد من المجلدات ، و لكن في الحقيقة هو عبارة عن ملف نصي صغير الحجم ، يساعد محركات البحث على استبعاد الصفحات التي لا تريد أرشفتها .
يقوم المطور أو صاحب الموقع بوضع ملف Robots.txt في جذر الموقع ، مما يسمح لمحركات البحث من التعرف على الصفحات المستبعدة .
محركات البحث لها عدد معين من الصفحات التي تارشفها ، لهذا كلما نقصت عدد الصفحات كانت نتيجة الفهرسة مرضية ، فمثلا يقوم ملف Robots txt من استبعاد الصفحات الغير مهمة ” المسؤول ، صفحة الادمن ، plugin, القوالب ، الصفحات …”
ما هو محتوى ملف Robots.txt؟
يحتوي الملف على اوامر برمجي تساعده على معرفة الصفحات المستبعدة ، مثل ما يظهر امامك :
يمكن أن يحتوي الملف على أوامر أخرى مثل :
User-Agent:
*Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://Your_Domin/sitemap.xml
السماح لمحركات البحث بارشفة الصور و المقالات و الفيديوهات الموجودة في ملف uploads .
منع روبوت في محركات البحث من الدخول لملف wp-admin و اظهاره .
كيف أقوم بفحص ملف Robots.txt؟
إذا كنت تريد فحص ملف Robots.txt، أو إن كنت تريد رفع ملف جديد على موقعك و تتأكد أنه مكتوب بشكل صحيح ، يمكنك تجري هذا الموقع الرهيب .
إسم الموقع TechnicalSEO ، يساعدك على تحليل الموقع ببعض الادوات الموجودة به ، و أيضا يساعدك على معرفة ملف روبوت تكس ان كان يعمل بشكل صحيح او بشكل خطأ ، وان كان يسبب لك مشاكل في موقعك ، و ايضا يقدم لك حلول تساعدك على تصحيح الأخطاء في الموقع .
بعض مميزات الموقع :
يمتاز الموقع بسرعة في تحليل أداء الموقع ، وأيضا تعديلات مباشرة للملف و تتأكد ان كان به خطأ او لا ، مجاني و بدون أي تسجيل او رسوم ، كما يعرض لك اي أخطاء واجهتك في الملف .
هذا ما يمكننا ان نقدمه لكم ، نحن نجتهد من اجل إيصال المعلومة الصحيحة ، ان كنت تقدر جهودنا انشر هذا المقال على بروفايلك .