אור מעוז

Blog/AI בעסק/האתר שלכם חסום ל-ChatGPT, ואתם לא יודעים את זה: איך פותחים אותו ב-5 צעדים

האתר שלכם חסום ל-ChatGPT, ואתם לא יודעים את זה: איך פותחים אותו ב-5 צעדים

הרבה אתרים חוסמים בלי לדעת את הבוטים של ChatGPT ו-Claude, בגלל הגדרה אחת ב-Cloudflare. במדריך: איך בודקים תוך 2 דקות, איך פותחים, ואיך עוזרים למנועי AI להבין ולצטט את העסק שלכם.

Wednesday, October 28, 2026

// בקצרה
  • הרבה אתרים חוסמים, בלי לדעת, את הבוטים של ChatGPT, ‏Claude ומנועי AI אחרים.
  • ברוב המקרים הסיבה היא הגדרה אחת ב-Cloudflare.
  • בודקים את זה תוך 2 דקות, פותחים תוך דקה, ומוסיפים שני קבצים קטנים שעוזרים ל-AI להבין מי אתם ולהמליץ עליכם.

איך גיליתי שאתר שאני עובד עליו חסום ל-ChatGPT?

השבוע בדקתי אתר של אחד העסקים שאני עובד איתם.
עברתי על מה שבודקים תמיד: גוגל נכנס, יש מפת אתר, הכותרות והתיאורים במקום.

ואז בדקתי מה קורה כשהבוט של ChatGPT מנסה להיכנס.
התשובה שהוא קיבל:

"Your request was blocked."

גם הבוט של Claude קיבל אותה תשובה.
כלומר, כשמישהו שאל את ChatGPT על התחום שלנו, האתר בכלל לא היה במשחק.
לא בגלל התוכן. הדלת פשוט הייתה נעולה.

הסיבה: הגדרה אחת ב-Cloudflare שחוסמת "בוטים של אימון AI".
אף אחד לא הדליק אותה בכוונה.

למה זה חשוב עכשיו?

כי אנשים כבר לא רק מחפשים בגוגל. הם שואלים את ChatGPT, את Perplexity, את Claude ואת Gemini, ומקבלים תשובה עם המלצות וקישורים.

כדי שמנוע AI ימליץ עליכם, הוא צריך שני דברים:

  1. גישה: שהבוטים שלו יוכלו לקרוא את האתר.
  2. הבנה: שיהיה לו ברור מי אתם, מה אתם עושים ולמי.

רוב בעלי העסקים עובדים על השני (תוכן), ולא בודקים בכלל את הראשון.

טיפ: אתר שחסום לבוטים של AI ממשיך להיראות מצוין בגוגל. לכן אף אחד לא שם לב.

שלב 1: איך בודקים תוך 2 דקות אם הבוטים חסומים?

הדרך הכי פשוטה היא לבקש מהאתר את הדף, ולהציג את עצמכם כבוט של ChatGPT.

למי שלא נוגע בקוד: פותחים את ChatGPT ושואלים: "תיכנס לכתובת [האתר שלך] ותסכם לי מה כתוב שם". אם הוא עונה שהוא לא מצליח לגשת, זה סימן.

למי שנוח לו עם הטרמינל: פקודה אחת:

curl -s -o /dev/null -w "%{http_code}" -A "GPTBot" https://האתר-שלך.co.il

  • 200: פתוח.
  • 403: חסום.

כדאי לבדוק גם עם ClaudeBot ו-PerplexityBot.

שלב 2: איך פותחים את החסימה ב-Cloudflare?

אם האתר שלכם עובר דרך Cloudflare, וזה המצב ברוב האתרים בישראל, החסימה יושבת כמעט תמיד כאן:

  1. נכנסים ל-dash.cloudflare.com ובוחרים את הדומיין.
  2. Security ← Settings.
  3. מסננים לפי Bot traffic.
  4. פותחים את Configure AI bot policies.
  5. יש שלוש שורות:
    • Search: בוטים שסורקים כדי להציג אתכם בתוצאות של מנועי AI.
    • Agent: בוטים שנכנסים לאתר כשמשתמש שואל שאלה.
    • Training: בוטים שאוספים תוכן לאימון מודלים.
  6. מעבירים את שלושתן ל-Allow (do not block) ולוחצים Save.

אצלנו Search ו-Agent כבר היו פתוחים. השורה Training הייתה על Disallow, וזה מה שחסם את GPTBot ואת ClaudeBot.

שימו לב: ההחלטה אם לפתוח גם את Training היא שלכם. אם המטרה היא שמנועי AI יכירו את העסק שלכם וימליצו עליו, הפתיחה עוזרת. עסק שמגן על תוכן בתשלום יכול לבחור אחרת.

שלב 3: מה בודקים בקובץ robots.txt?

robots.txt הוא קובץ ההוראות לבוטים, והוא יושב בכתובת האתר-שלך/robots.txt.

פותחים אותו ומחפשים שורות כמו:

User-agent: GPTBot Disallow: /

אם הן קיימות, הן אומרות לבוט "אל תיכנס". מוחקים אותן, או משנים ל-Allow: /.

אחרי שמשנים את ההגדרה ב-Cloudflare, כדאי להיכנס שוב לקובץ ולוודא שלא נשארו בו שורות חסימה.

שלב 4: מה זה llms.txt, והאם צריך אותו?

llms.txt הוא קובץ טקסט קצר שמסביר לבינה מלאכותית, בשפה פשוטה, מי אתם, מה אתם עושים ואילו דפים הכי חשובים באתר. תחשבו עליו ככרטיס ביקור למנועי AI.

הוא יושב בכתובת האתר-שלך/llms.txt, ונראה בערך כך:

# שם העסק > משפט אחד: מה העסק עושה, למי ואיפה. ## דפים חשובים - [שירות א](https://...): מה מקבלים שם - [מדריך](https://...): על מה הוא ## יצירת קשר - [שיחת היכרות](https://...)

נכון לאוקטובר 2026: זה תקן מוצע ולא חובה, ולא כל מנוע משתמש בו. אבל הוא לוקח 10 דקות, לא מזיק, ונותן ל-AI תקציר נקי במקום לנחש.

שלב 5: איך עוזרים ל-AI להבין כל דף? (נתונים מובנים)

נתונים מובנים (Schema) הם קוד קטן ונסתר שאומר למנועים במפורש: "זה מאמר, זה הכותב, זה התאריך", או "זה עסק, זו הכתובת, אלה השעות".

ברוב בוני האתרים (וורדפרס עם תוסף SEO, ‏Wix, ‏ClickFunnels) אפשר להוסיף אותו בלי לכתוב קוד מאפס. הסוגים שהכי שווה להתחיל מהם:

  • Organization או LocalBusiness: בדף הבית.
  • BlogPosting: בכל מאמר.
  • FAQPage: בדף עם שאלות נפוצות.

איך יודעים שזה עבד?

  1. מריצים שוב את הבדיקה משלב 1. כל הבוטים צריכים לקבל 200.
  2. נכנסים ל-האתר-שלך/robots.txt ומוודאים שאין חסימות.
  3. נכנסים ל-האתר-שלך/llms.txt ומוודאים שהקובץ עולה.
  4. אחרי כמה שבועות שואלים את ChatGPT ואת Perplexity שאלה שהעסק שלכם אמור להופיע בתשובה עליה, ובודקים.
מהאיפהזמןחובה?
בדיקת חסימהChatGPT או טרמינל2 דקותכן
פתיחה ב-CloudflareSecurity ← Settingsדקהכן, אם יש חסימה
ניקוי robots.txtהקובץ באתר5 דקותכן
llms.txtקובץ חדש באתר10 דקותמומלץ
נתונים מובניםבונה האתר15 עד 30 דקותמומלץ מאוד

טעויות נפוצות

  1. לבדוק רק בגוגל. גוגל נכנס, ולכן נדמה שהכול בסדר. בודקים כל בוט בנפרד.
  2. להדליק "הגנה מבוטים" בלי לקרוא מה היא חוסמת. חלק מההגנות חוסמות גם את הבוטים של AI. קוראים לפני שמדליקים.
  3. לפתוח ב-Cloudflare ולשכוח את robots.txt. אם בקובץ נשאר Disallow, בוט מנומס פשוט לא ייכנס.
  4. לצפות לתוצאה מחר בבוקר. מנועי AI מתעדכנים בקצב שלהם. נותנים לזה כמה שבועות.
  5. לפתוח את הדלת בלי תוכן שעונה על שאלות. AI מצטט דפים שעונים ישירות על שאלה. דף שכולו "ברוכים הבאים" לא יעזור.

שאלות נפוצות

Q1זה יפגע לי בגוגל?
לא. ההגדרות האלה נוגעות לבוטים של AI. הבוט של גוגל לחיפוש רגיל לא מושפע.
Q2אין לי Cloudflare. מה עושים?
מתחילים מהבדיקה בשלב 1. אם יש חסימה, היא כנראה ב-robots.txt, בתוסף אבטחה (בוורדפרס) או אצל חברת האחסון.
Q3מה ההבדל בין Search, ‏Agent ו-Training?
‏Search: מציג אתכם בתוצאות. ‏Agent: נכנס לאתר בזמן אמת כשמישהו שואל. ‏Training: אוסף תוכן לאימון. כדי להופיע בתשובות, הכי חשובים Search ו-Agent.
Q4האם llms.txt באמת עובד?
נכון לאוקטובר 2026 זה תקן מוצע, ולא כל המנועים משתמשים בו. הוא זול ולא מזיק, ולכן שווה לשים.
Q5תוך כמה זמן אראה את העסק שלי ב-ChatGPT?
אין זמן קבוע. בדרך כלל זה כמה שבועות, ותלוי בכמה התוכן שלכם עונה על שאלות שאנשים באמת שואלים.

המשימה להיום

תריצו את הבדיקה משלב 1 על האתר שלכם.
אם יוצא 200, אתם פתוחים. אם יוצא 403, יש לכם תיקון של דקה.

ואם אתם רוצים עוד כלים כאלה, כל המדריכים החינמיים שלי נמצאים כאן.

נושאים:
אור מעוז
אור מעוז

בונה עסקים דיגיטליים עם AI. כותב על מה שעובד.

עוד מדריכים של אור
המדריך הבארוצים את כל הצוות, לא רק פוסט אחד?

במדריך החינמי אני מראה איך בניתי צוות של סוכני AI שעובד איתי.

למדריך צוות סוכני AI ←

עוד מהבלוג