אם קיבלתם הודעה ב-Google Search Console על כך שייתכן שהאתר חוסם את הבוטים של גוגל או מציג שגיאות אחרות, אל תדאגו!
מדריך זה נועד להסביר בצורה ידידותית ומפורטת איך לבדוק ולפתור את הבעיה כך שגוגל תאהב את האתר שלכם.
מה זה Google Search Console ולמה זה חשוב?
Google Search Console הוא כלי קריטי שמאפשר לכם להבין איך גוגל רואה את האתר שלכם.
הכלי מספק מידע בחינם על תקלות טכניות שונות כמו:
- חסימת עמודים לסריקה.
- בעיות ב-robots.txt.
- תקלות בשרת (500, 403, או 404).
- בעיות במפת האתר (Sitemap).
- שגיאות הקשורות לתעודת SSL.
למה זה קורה?
במקרים רבים, מדובר בהגדרות שגויות בשרת, בפלאגינים של אבטחה, או בקבצים באתר עצמו שחוסמים את הגישה של Googlebot.
שלב 1: הבנת השגיאה ב-Google Search Console
היכנסו ל-Google Search Console:
התחברו לחשבון שלכם ובדקו בלשונית ה”Coverage” מה מצב העמודים.השתמשו בכלי בדיקת כתובת (URL Inspection Tool):
תבדקו URL ספציפי שקיבלתם עליו שגיאה כדי לראות מה הבעיה – האם זה “Blocked by robots.txt”, “403 Forbidden” או שגיאה אחרת.
שלב 2: בדיקת robots.txt
קובץ robots.txt הוא אחד המקומות הראשונים לבדוק אם גוגל לא מצליחה לסרוק את האתר שלכם.
גשו לקובץ robots.txt:
פשוט כתבו בשורת הכתובת:
https://yourdomain.com/robots.txt // הדומיין שלכם
ודאו שאין חסימה מיותרת:
דוגמה לקובץ תקין:
User-agent: *
Disallow:
אם יש קווים כמו:
Disallow: /
זה אומר שהם חוסמים את כל האתר או חלק חשוב ממנו.
מחקו אותם.
שימוש בכלי של גוגל:
ב-Google Search Console יש כלי שנקרא Robots.txt Tester.
השתמשו בו כדי לבדוק אם יש בעיות.
שלב 3: בדיקת קובץ .htaccess
ה-.htaccess הוא קובץ שבו נמצאות הגדרות השרת.
לפעמים, הגדרות שגויות בו יכולות לחסום את Googlebot.
גשו ל-cPanel ב-Hostinger או מנשק אחר ואו בחברת אחסון אתרים אחרת:
- פתחו את מנהל הקבצים.
- מצאו את הקובץ
.htaccessבספריית ה-root של האתר.
חפשו כללים שחוסמים גישה:
לדוגמה, הקוד הבא חוסם את Googlebot:
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule .* - [F,L]
תיקון הקובץ:
מחקו כל כלל שחוסם את Googlebot או כל User-Agent אחר.
שלב 4: בדיקת פלאגינים של אבטחה
אם אתם משתמשים בוורדפרס, פלאגינים כמו Wordfence, Sucuri או אחרים יכולים לחסום את גוגל.
בדקו את ההגדרות:
- גשו ללוח הבקרה של הפלאגינים.
- חפשו אם יש “חסימה של בוטים” או “Blocking suspicious activity”.
הוסיפו את Googlebot לרשימת היתרים (Whitelist): (נקרא בשפה המקצועית גם בתור פעולת הלבנה)
Googlebot מזהה את עצמו בעזרת User-Agent משלו:
Googlebot // ככה נקרא הבוט של גוגלאו לפחות אחד מהם
שלב 5: בדיקת יומני שרת (Logs)
בשרת שלכם מתועדים כל הבקשות שמגיעות לאתר, כולל הבקשות של Googlebot.
איך לגשת ליומנים ב-Hostinger:
- התחברו ל-cPanel.
- גשו לקטגוריית “Logs” או “Error Logs”.
חפשו בקשות של Googlebot:
חפשו בקשות מכתובות IP שמתחילות ב-66.249.*.*. זה טווח הכתובות של גוגל.בדקו קוד שגיאה (Status Code):
אם מופיע קוד כמו403(גישה נדחתה) או500(שגיאת שרת), יש לטפל בהתאם.
שלב 6: בדיקת מפת אתר (Sitemap)
שלב 7: בדיקת תעודת SSL
אתר מאובטח עם HTTPS חיוני לדירוג טוב בגוגל. אבל אם יש בעיה בתעודת ה-SSL, גוגל לא תוכל לסרוק את האתר.
בדקו את תקינות ה-SSL:
השתמשו בכלי כמו SSL Labs לבדוק את התקינות של התעודה.ודאו שכל הדפים מאובטחים:
אם יש תוכן לא מאובטח (Mixed Content), גוגל עשויה לחסום את הדף.
שלב 8: קבלת עזרה מ-Hostinger או מחברת האחסון שלכם
אם ניסיתם הכול והבעיה לא נפתרה, Hostinger יכולה לעזור:
פנו לתמיכה של Hostinger:
- בקשו מהם לבדוק את הגדרות ה-firewall של השרת.
- ודאו ש-Googlebot לא נחסם ברמת השרת.
שאלו על התאמת השרת לסריקות של גוגל:
Hostinger יכולה לבדוק אם יש מגבלות שלא זיהיתם.