كيف بيلاقي ChatGPT صفحاتك؟ شو علّمتنا تجربة Cloudflare وOpenAI

يوم 15 تشرين الأول 2026 نشرت <span dir="ltr">Cloudflare</span> مع فريق من <span dir="ltr">OpenAI</span> أول نتائج تجربة ساعدت زاحف البحث تبع <span dir="ltr">OpenAI</span> يلاقي صفحات ما كان بيعرفها. الزاحف (<span dir="ltr">crawler</span>) برنامج بيزور الصفحات وبيقراها لحتى يحطها بفهرس البحث. ما حدا قال مين المواقع يلي شاركت، بس يلي لقوه عن الروابط الميتة والمكررة بيخص كل موقع. بآخر المقال رح تعرف شو تفحص بالـ <span dir="ltr">robots.txt</span> والجدار الناري، وشو تصلّح بروابطك، وشو ما حدا بيقدر يوعدك فيه.

شو هي تجربة <span dir="ltr">Cloudflare</span> و<span dir="ltr">OpenAI</span>؟

تجربة <span dir="ltr">Cloudflare</span> و<span dir="ltr">OpenAI</span> تجربة بحثية بلّشت بتموز 2026: <span dir="ltr">Cloudflare</span> بتعطي زاحف البحث تبع <span dir="ltr">OpenAI</span> إشارات من شبكتها عن الصفحات، و<span dir="ltr">OpenAI</span> بتقيّم وبترتّب لحالها. حسب <span dir="ltr">Cloudflare</span>، العيّنة كانت حوالي 1% من شبكتها، وساعدت <span dir="ltr">OpenAI</span> تكتشف وتفهرس «مئات الملايين» من الصفحات الجديدة.

الفهرس هو قاعدة البيانات يلي بيدوّر فيها محرك البحث لما حدا بيسأل، والصفحة يلي مش فيه ما بتنلاقى بهالبحث. <span dir="ltr">Cloudflare</span> أعلنت التجربة يوم 8 تموز 2026 وقالت إنها مبنية على معلومات من مواقع مشاركة بشبكتها.

النتائج طلعت ببوست على مدونة <span dir="ltr">Cloudflare</span> كاتبينه اتنين من <span dir="ltr">Cloudflare</span> واتنين من <span dir="ltr">OpenAI</span>، والأرقام فيه بتوقف عند الـ 1% و«مئات الملايين». أسماء المواقع المشاركة، وقديش انذكرت هالصفحات بأجوبة <span dir="ltr">ChatGPT</span> وقديش زيارات بعتت، وحجم الزحف على السيرفرات، كلها مش منشورة. نفس النواقص سجّلها تقرير <span dir="ltr">Search Engine Journal</span> يوم 20 تشرين الأول.

شو الإشارات يلي بتبعتها <span dir="ltr">Cloudflare</span> لـ <span dir="ltr">OpenAI</span>؟

الإشارات يلي بتبعتها <span dir="ltr">Cloudflare</span> لـ <span dir="ltr">OpenAI</span> من تلات أنواع: فلترة للروابط يلي ما بتوصل لشي، وإشارات تغيير بتقول إمتى الصفحة بتستاهل زيارة تانية، وإشارات بتعلّم صفحة وحدة مؤذية بلا ما تعاقب الدومين كله. وحسب <span dir="ltr">Cloudflare</span>، الإشارات معلومات عن الصفحات (<span dir="ltr">metadata</span>)، مش محتواها.

البوست بيقول كمان إنو الصفحات الجديدة ممكن ترفع الزحف بالأول، لأنها لازم تنفحص وتنفهرس، والهدف إنو الزاحف يضل يكتشف ويواكب بشغل أقل. وبآخر البوست:

«<span dir="ltr">A signal about a page doesn’t grant permission to access it. This research uses metadata about the web for search and discovery, rather than sharing page content for model training.</span>»

بالعربي: الإشارة عن صفحة ما بتعطي إذن حدا يوصل إلها، والتجربة بتستعمل معلومات عن الويب للبحث والاكتشاف، مش محتوى الصفحات لتدريب النماذج. فالقرار بيضل بإيدك، بالـ <span dir="ltr">robots.txt</span> والجدار الناري.

وقبل إعلان التجربة بأسبوع، ببوست 1 تموز 2026 يلي أعلنت فيه برنامج الإشارات لمحركات الإجابة، كتبت <span dir="ltr">Cloudflare</span> إنو البرنامج محصور بالبحث، وإنها ما عم تشارك أي محتوى، ولا شي بينستعمل لتدريب النماذج. هالكلام عن يلي بتبعته <span dir="ltr">Cloudflare</span> بس، أما <span dir="ltr">OAI-SearchBot</span> فبيقرا صفحاتك بنفسه إذا سمحتله.

كيف بخلي موقعي يظهر ببحث <span dir="ltr">ChatGPT</span>؟

لحتى يظهر موقعك ببحث <span dir="ltr">ChatGPT</span>، لازم <span dir="ltr">OAI-SearchBot</span> يقدر يوصل لصفحاتك: مسموح بالـ <span dir="ltr">robots.txt</span>، والجدار الناري والـ <span dir="ltr">CDN</span> ما بيسكّروا عليه. <span dir="ltr">OpenAI</span> بتقول إنو المواقع يلي مانعة <span dir="ltr">OAI-SearchBot</span> ما بتطلع بأجوبة البحث تبع <span dir="ltr">ChatGPT</span>.

<span dir="ltr">OpenAI</span> عندها تلات بوتات بيهمّوك هون، وكل واحد إلو شغلة، حسب صفحة البوتات الرسمية:

كل إعداد مستقل عن التاني. فيك تسمح لـ <span dir="ltr">OAI-SearchBot</span> وتمنع <span dir="ltr">GPTBot</span>، وإذا سمحت للتنين، <span dir="ltr">OpenAI</span> ممكن تستعمل نفس الزحفة للشغلتين. فقرار <span dir="ltr">GPTBot</span> لحاله: بتاخده حسب إذا بدك محتواك بالتدريب أو لأ، والبحث ما بيتأثر فيه. وبعد أي تعديل بالـ <span dir="ltr">robots.txt</span>، أنظمة البحث تبع <span dir="ltr">OpenAI</span> بتحتاج حوالي 24 ساعة لحتى تتأقلم معه.

افحص الـ <span dir="ltr">robots.txt</span>

افتح robots.txt على موقعك (بآخر الدومين: /robots.txt) ومرّ عليه بالترتيب:

1. دوّر على OAI-SearchBot. إذا تحته Disallow: /، هاد هو السطر يلي مسكّر عليك.

2. إذا ما في مجموعة باسمه، البوت بيتبع مجموعة User-agent: *. ساعتها Disallow: / تحتها بتسكّر على كل البوتات، ومنهن بوت البحث.

3. إذا عملت مجموعة باسم البوت، كرّر فيها أسطر Disallow تبع صفحاتك الخاصة. حسب شرح <span dir="ltr">Google</span> لمعيار <span dir="ltr">robots.txt</span>، «<span dir="ltr">Only one group is valid for a particular crawler</span>»: البوت بيقرا مجموعته بس، وما بيجمعها مع مجموعة *.

هالمثال بيسمح للبحث وبيمنع التدريب، وهي نفس التركيبة يلي <span dir="ltr">OpenAI</span> بتعطيها كمثال. إذا بدك تسمح للتدريب كمان، شيل مجموعة <span dir="ltr">GPTBot</span>:

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

افحص الجدار الناري و<span dir="ltr">Cloudflare</span>

الجدار الناري لتطبيقات الويب (<span dir="ltr">WAF</span>) طبقة قدام موقعك بتفحص كل طلب وبتقرر إذا بيمرق. إذا الـ <span dir="ltr">WAF</span> منع <span dir="ltr">OAI-SearchBot</span>، الـ <span dir="ltr">robots.txt</span> ما بيفيدك، لأنو البوت ما بيوصل للصفحة أصلاً.

<span dir="ltr">OpenAI</span> بتنصح تسمح للطلبات من عناوين الـ <span dir="ltr">IP</span> يلي بتنشرها لـ <span dir="ltr">OAI-SearchBot</span> بملف https://openai.com/searchbot.json. وإذا عملت قاعدة سماح، خليها على الـ <span dir="ltr">user agent</span> والـ <span dir="ltr">IP</span> مع بعض: الـ <span dir="ltr">user agent</span> نص بيكتبه يلي عم يبعت الطلب، وأي حدا بيقدر يكتب فيه اسم البوت. <span dir="ltr">Perplexity</span> بتنصح بنفس الطريقة لبوتاتها.

إذا موقعك على <span dir="ltr">Cloudflare</span>، عندك مكانين تشوفهن:

• <span dir="ltr">AI Crawl Control</span>: متاحة على كل الخطط، بتورجيك أي خدمات الـ <span dir="ltr">AI</span> عم تزور موقعك، وبتخليك تسمح أو تمنع كل زاحف لحاله، وبتتابع مين ملتزم بالـ <span dir="ltr">robots.txt</span>.

• إعدادات <span dir="ltr">Search</span> و<span dir="ltr">Agent</span> و<span dir="ltr">Training</span>: من 1 تموز 2026 <span dir="ltr">Cloudflare</span> بتقسم زيارات الـ <span dir="ltr">AI</span> لهالتلات فئات على كل الخطط، حتى المجانية. خلي <span dir="ltr">Search</span> على <span dir="ltr">Allow</span>.

وإذا بدك تمنع التدريب وتضل بالبحث، <span dir="ltr">Cloudflare</span> بتقول ببوست 15 أيلول 2026 إنو إعداد <span dir="ltr">Disallow AI Training</span> بيمنع زاحفات التدريب يلي ما إلها شغل غير التدريب، ومنها زاحف التدريب تبع <span dir="ltr">OpenAI</span>، بلا ما يأثر على البحث.

شو تعمل بالروابط يلي ما بتوصل لشي؟

الروابط يلي ما بتوصل لشي هي نفسها يلي التجربة بتفلترها: عنوان مش موجود بيرجع صفحة عادية أو بيحوّل على الرئيسية، ونفس المحتوى على أكتر من عنوان. صلّحها بموقعك حتى لو مش على <span dir="ltr">Cloudflare</span>، لأنو كل طلب عليها زيارة زاحف راحت على الفاضي.

هالهدر مش جديد. بقياس عملته <span dir="ltr">Vercel</span> مع <span dir="ltr">MERJ</span> ونشرته يوم 17 كانون الأول 2024، زاحف <span dir="ltr">OpenAI</span> يلي سمّته <span dir="ltr">Vercel</span> «<span dir="ltr">ChatGPT</span>» (وبأرقام الحجم عندها هو <span dir="ltr">GPTBot</span>، زاحف التدريب) صرف 34.82% من طلباته على صفحات 404، و14.36% زيادة على تتبّع التحويلات (<span dir="ltr">redirects</span>). <span dir="ltr">Googlebot</span> بنفس القياس صرف 8.22% على صفحات 404 و1.49% على التحويلات. والقياس ما بيفصل أرقام <span dir="ltr">OAI-SearchBot</span>، زاحف البحث، لحالها.

1. جرّب عنوان مش موجود بموقعك وشوف شو بيرجع:

    curl -s -o /dev/null -w "%{http_code} %{redirect_url}\n" https://example.com/this-page-does-not-exist

   الجواب الصح 404 بلا عنوان تحويل. إذا طلع 200، عندك <span dir="ltr">soft 404</span>: صفحة خطأ بتقول للزاحف إنها صفحة حقيقية. وإذا طلع 301 أو 302 ومعه عنوان الرئيسية، موقعك بيعمل يلي وصفه البوست.

2. الصفحة يلي انتقلت، حوّلها بـ 301 على صفحتها الجديدة نفسها، مش على الرئيسية. والصفحة يلي انحذفت وما إلها بديل، خليها ترجع 404 أو 410.

3. إذا نفس الصفحة بتفتح على أكتر من عنوان (مع / بالآخر وبلاه، أو مع باراميترات تتبّع)، اختار عنوان واحد، وخلي الباقي يحوّل عليه أو حط عليه rel="canonical".

4. افتح تقرير <span dir="ltr">Page indexing</span> بـ <span dir="ltr">Google Search Console</span>. التقرير بيعطيك سبب لكل صفحة ما انفهرست، ومن الأسباب «<span dir="ltr">Soft 404</span>» و«<span dir="ltr">Page with redirect</span>» و«<span dir="ltr">Duplicate without user-selected canonical</span>». هالأسباب من <span dir="ltr">Google</span> مش من <span dir="ltr">ChatGPT</span>، بس هي نفس الأنواع يلي البوست بيحكي عنها، وأسهل مكان تلاقيها فيه.

أي صفحات بتستاهل إنو <span dir="ltr">ChatGPT</span> يلاقيها؟

الصفحات يلي بتستاهل إنو <span dir="ltr">ChatGPT</span> يلاقيها هي يلي فيها معلومة محددة حدا عم يدوّر عليها: دليل استعمال ومنيو وساعات عمل وشروط ورسوم حالية. أمثلة تجربة <span dir="ltr">Cloudflare</span> و<span dir="ltr">OpenAI</span> نفسها من هالنوع.

البوست بيعطي تلات أمثلة: دليل غسالة لموديل معيّن، وشروط الباسبور ورسومه الحالية، ومنيو مطعم وساعات فتحه. وبيقول إنو هيك صفحات بتفيد حتى لو قليل مواقع بتربط عليها. ودليل الغسالة معلومة عن منتج بعينه، فإذا موقعك متجر أو سوق <span dir="ltr">B2B</span>، متل <span dir="ltr">SyMarket</span> يلي بنيته، صفحة المنتج عندك من نفس النوع.

لحتى توصل هالصفحات ويضل كلامها صح:

1. خصّص لكل معلومة صفحة بعنوان ثابت: المنيو وساعات العمل والأسعار وسياسة التوصيل أو الإرجاع.

2. خلي المعلومة نص بالـ <span dir="ltr">HTML</span> يلي بيرجعه السيرفر. بنفس قياس <span dir="ltr">Vercel</span> و<span dir="ltr">MERJ</span> (كانون الأول 2024)، ولا زاحف من زاحفات <span dir="ltr">OpenAI</span> (<span dir="ltr">OAI-SearchBot</span> و<span dir="ltr">ChatGPT-User</span> و<span dir="ltr">GPTBot</span>) كان بيشغّل <span dir="ltr">JavaScript</span>، فيلي ما بيبين إلا بعد ما تشتغل <span dir="ltr">JavaScript</span> بالمتصفح ممكن ما يوصله.

3. لما تتغيّر المعلومة، عدّل الصفحة نفسها بدل ما تعمل صفحة جديدة، لأنو العنوان القديم هو يلي الزاحف بيعرفه. وبالتجربة، إشارات التغيير هي يلي بتقول للزاحف إمتى الصفحة بتستاهل زيارة تانية.

4. حط الصفحة بالـ <span dir="ltr">sitemap</span> واربطها من صفحات موقعك، لحتى ما تضل صفحة ما حدا بيوصلها إلا بالصدفة.

هل الفهرسة بتضمن إنو <span dir="ltr">ChatGPT</span> يذكر موقعي؟

لأ. الفهرسة بتحط صفحتك بين المصادر يلي <span dir="ltr">ChatGPT</span> بيقدر ياخد منها، بس <span dir="ltr">OpenAI</span> بتقيّم وبترتّب الصفحات لحالها. وبوست <span dir="ltr">Cloudflare</span> ما نشر ولا رقم عن ذكر أو زيارات للصفحات يلي انلاقت.

دراسة لـ <span dir="ltr">AirOps</span> نشرتها يوم 12 آذار 2026 لقت إنو 15% بس من الصفحات يلي جابها <span dir="ltr">ChatGPT</span> وقت الجواب انذكرت بالجواب الأخير. الدراسة على 15,000 سؤال و548,534 صفحة، وهي قياس شركة على عيّنتها، مش رقم من <span dir="ltr">OpenAI</span>.

وإذا بدك تقيس عندك، عدّ الزيارات يلي فيها utm_source=chatgpt.com. هاي نصيحة <span dir="ltr">Cedric Huesler</span> من <span dir="ltr">Adobe</span>، لأنو حسب قياسه أغلب نقرات <span dir="ltr">ChatGPT</span> بتوصل بلا <span dir="ltr">referrer</span>.

وبين 8 و15 تشرين الأول 2026، حسب تقرير <span dir="ltr">Search Engine Journal</span> يوم 15 تشرين الأول، روابط جوّا نص الأجوبة طلعت بلا العلامة وبلا <span dir="ltr">referrer</span>، فزياراتها ممكن تنحسب <span dir="ltr">Direct</span> بـ <span dir="ltr">GA4</span>. <span dir="ltr">Huesler</span> قال إنو <span dir="ltr">OpenAI</span> أكدتله إنو خطأ، وإنو الإصلاح بلّش ينزل يوم 15 تشرين الأول، وبنفس اليوم رجعت النقرات المعلّمة لحوالي 95 لـ 100% من نفس الساعة قبل أسبوع. ولحد يوم التقرير، ملاحظات الإصدار تبع <span dir="ltr">OpenAI</span> ما ذكرت الإصلاح. علّم هالأسبوع بتقاريرك، لحتى ما ينقرا النزول كأنو خسارة زيارات.

من وين تبلّش هلق؟

بلّش بالـ <span dir="ltr">robots.txt</span> تبع موقعك اليوم، لأنو أسرع فحص، وسطر واحد فيه بيقدر يسكّر البحث كله. بعده الجدار الناري، بعدين الروابط الميتة، وآخر شي صفحاتك المفيدة.

1. افتح /robots.txt وتأكد إنو <span dir="ltr">OAI-SearchBot</span> مش ممنوع، لا باسمه ولا بمجموعة *، وقرّر <span dir="ltr">GPTBot</span> لحاله.

2. افتح إعدادات الجدار الناري، أو <span dir="ltr">AI Crawl Control</span> وإعداد <span dir="ltr">Search</span> إذا موقعك على <span dir="ltr">Cloudflare</span>، وشوف إذا في قاعدة بتسكّر على بوتات البحث.

3. جرّب عنوان مش موجود بالـ curl يلي فوق، وتأكد إنو بيرجع 404.

4. اكتب لائحة بالصفحات يلي فيها معلومة محددة عن شغلك، وتأكد إنو كل وحدة إلها عنوان ثابت ونصها بالـ <span dir="ltr">HTML</span>.

إذا بدك هالفحوصات وغيرها بترتيب واحد، الفصل الرابع من دليل <span dir="ltr">AI SEO</span> فيه عشر فحوصات ما بتلمس موقعك، منها الـ <span dir="ltr">robots.txt</span> واختبار العنوان يلي مش موجود، وجدول فيه 22 بند لحتى تعرف وين واقف. ودليل <span dir="ltr">AI SEO</span> · إصدار 2027 مرجع عربي لتجهيز موقعك لحتى توصله محركات الإجابة وتفهمه وتقتبس منه.

شو بيرجعلك موقعك هلق لما تفتح عنوان مش موجود فيه؟