بدك ChatGPT وClaude يلاقوا موقعك بلا ما يدرّبوا عليه؟ رتّب robots.txt

بدك موقعك يطلع لما حدا يسأل ChatGPT أو Claude سؤال عن شغلك، بس ما بدك محتواك يدخل بتدريب النماذج. كتير مواقع بتسكّر «كل الـ AI» بسطرين، وبتختفي من الأجوبة كمان. بآخر هالمقال رح يكون عندك robots.txt بيفصل بين الشغلتين.

شو هو robots.txt، ومن وين إجا؟

الـ robots.txt ملف نص بجذر موقعك بيقول للبوتات شو مسموح تقرا وشو لأ، وكل بوت بيدوّر على السطور يلي باسمه.

الطريقة أقدم من الـ AI بكتير: المواصفة RFC 9309 بتقول إنها بتوصف وبتوسّع طريقة عرّفها Martijn Koster سنة 1994. هالمواصفة طلعت بأيلول 2022، وبتطلب يكون الملف على /robots.txt بالمسار الأعلى للموقع، باسم بأحرف صغيرة.

ليش سطر واحد بيضيّع موقعك من أجوبة الـ AI؟

سطر واحد بيضيّعك لأنو الشركات صار عندها أكتر من بوت، وكل بوت إله شغلة: واحد بيجمع للتدريب، وواحد بيبني فهرس البحث، وواحد بيفتح صفحة لأنو مستخدم طلبها.

الغلطة البشرية هون إنك بتتعامل معهن كأنهن بوت واحد. بتسكّر كل شي لأنك ما بدك تدريب، فبتسكّر معه البحث، وبتصير الأجوبة تجيب منافسك بدالك. أو بالعكس: بتفتح كل شي لأنك بدك تطلع بالبحث، فبيدخل محتواك بالتدريب وإنت مش منتبه.

شو أسماء بوتات الـ AI، وشو بيعمل كل واحد؟

كل شركة بتسمّي بوت التدريب باسم، وبوت البحث باسم تاني، فبتقدر تسكّر واحد وتفتح التاني.

• حسب صفحة بوتات OpenAI، سكّر GPTBot معناه إنو محتواك ما لازم يدخل بتدريب النماذج، وOAI-SearchBot هو يلي بيطلّع المواقع بميزات البحث بـ ChatGPT، والشركة بتنصح تخلّيه مفتوح. أما ChatGPT-User فبيشتغل لما المستخدم يطلب شي، وقواعد robots.txt ممكن ما تنطبق عليه.

• حسب صفحة المساعدة عن بوتات Anthropic، سكّر ClaudeBot بيقول إنو محتواك الجاي ما لازم يدخل بالتدريب، وسكّر Claude-SearchBot بيمنع فهرسة موقعك للبحث، وسكّر Claude-User بيمنع جيب صفحاتك لما مستخدم يسأل.

• حسب لستة بوتات Google، Google-Extended اسم بـ robots.txt بس، بلا بوت لحاله، وبيتحكم إذا محتواك بيدخل بتدريب نماذج Gemini وبتزويدها بمحتوى من فهرس البحث وقت السؤال. وما إله أثر على ظهورك بـ Google Search ولا على ترتيبك.

كيف بيقرا البوت ملفك؟

البوت بيدوّر على المجموعة يلي باسمه وبيمشي عليها، وبس إذا ما لقى ولا مجموعة باسمه، بيمشي على مجموعة *.

هون لحظة الفهم: المجموعة * مش قواعد عامة بتنضاف لكل بوت. المواصفة بتقول إنو البوت بيمشي على مجموعة * بس إذا ما في مجموعة بتطابق اسمه. يعني إذا كتبت مجموعة لـ OAI-SearchBot وفتحتله كل شي، هو ما عاد يشوف Disallow: /admin/ يلي حطيتها تحت *. والمطابقة على الاسم ما بتفرّق بين الأحرف الكبيرة والصغيرة.

وتاني شغلة: الملف مش قفل. المواصفة نفسها بتقول إنو قواعده مش صلاحيات دخول. البوت المحترم بيلتزم فيه، والصفحة الحساسة بدها تسجيل دخول.

كيف تكتب robots.txt بيسكّر التدريب وبيخلّي البحث؟

بتكتب مجموعة لكل بوت تدريب فيها Disallow: /، ومجموعة لكل بوت بحث بتكرر فيها قواعد * يلي بدك ياها.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/

User-agent: Claude-SearchBot
Allow: /
Disallow: /admin/

User-agent: *
Disallow: /admin/

1. بدّل /admin/ بالمسارات يلي ما بدك حدا يفهرسها عندك، وكررها بكل مجموعة بحث.

2. حط الملف بجذر كل نطاق فرعي بدك تطبّق عليه القواعد. Anthropic بتطلب هالشي صراحة: الملف لكل نطاق فرعي لحاله.

3. افحص إنو واصل: curl -s https://example.com/robots.txt.

4. استنى. OpenAI بتقول إنو أنظمة البحث عندها ممكن تاخد حوالي 24 ساعة لتلحق التعديل، والمواصفة بتطلب من البوت ما يستعمل نسخة محفوظة أقدم من 24 ساعة إلا إذا الملف ما انفتح.

وإذا البوت عم يضغط على السيرفر بدل ما تسكّره، Anthropic بتقول إنها بتدعم Crawl-delay لـ ClaudeBot، مع إنو هالسطر مش جزء من المواصفة.

من وين تبلّش هلق؟

افتح robots.txt تبع موقعك هلق وشوف إذا فيه مجموعة بتسكّر بوتات البحث بالغلط، أو مجموعة لبوت معيّن ناسية قواعد *. بعدها قرّر عن التدريب لكل شركة لحالها.

وإذا هدفك إنو موقعك يطلع بأجوبة ChatGPT، شوف كمان شو علّمتنا تجربة Cloudflare وOpenAI عن كيف بيلاقي صفحاتك، ودليل الـ AI SEO للخطوات يلي بعد robots.txt. وكل مقالاتنا عن الموضوع تحت مواضيع الـ AI SEO.

شو بدك يصير بمحتواك: يدخل بالتدريب، ولا يطلع بالأجوبة بس؟