מדוע GoogleBot לא סורק מספיק דפים באתרים מסוימים ? ג'ון מולר של גוגל מסביר את הגורמים המשפיעים על תקציב הזחילה של גוגל, כמה דפים מהאתר נסרקים, ומדוע דפים מסוימים לא נסרקים כלל.
מהו תקציב הסריקה של גוגל?
הסורק של גוגל GoogleBotעובר מדף אינטרנט אחד לאחר דך הקישורים הנמצאים בדפים. הוא סורק כל דף (את שורות ה HTML שלו), בודק את אופן העמידה של הדף בפרמטרים שנקבעו באלגוריתם ומחזיר את התשובות למסד הנתונים שלו לצורך דירוג הדף בדף התוצאות – תהליך זה נקרא אינדוקס. לשם כך נעזרת גוגל בתקציב זחילה עמו היא מגיעה מראש לכל אתר ואתר. תקציב הזחילה הוא כמות "האנרגיה" שהקצתה גוגל לסריקת הדף שלנו והוא מושפע בין היתר מ:
איכות שרת
מהירות טעינה
חווית משתמש
אופן הצפת התכנים באתר
חייבים להבין שלגוגל 100% תקציב זחילה ואין חריגות או החרגות, אם הצלחתם לשכנע עת גוגל לתת לכם תקציב נוסף – הוא יגיע על חשבון התקציב של המתחרה שלכם.
אז היכן הבעיה עם תקציב הזחילה?
לגוגל יש עבודה קשה מאוד, לסרוק מסד נתונים עצום של למעלה משני מיליארד דפים שהולך וגדל כל יום. זו הסיבה שגוגל הולכת ומשפרת את האלגוריתם שלה כל הזמן כדי להבין טוב יותר ומהר יותר את הכתוב וזו בעיקר הסיבה שגוגל מעבירה הילוך בכל הקשור לדפי חווית משתמש Core web vitals ומהירות טעינה מאחר ואלה הם פקטורים חשובים ביותר שפשוט מקלים עליה.
ציטוט מדף המפתחים של גוגל:
“The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget.
Note that not everything crawled on your site will necessarily be indexed; each page must be evaluated, consolidated, and assessed to determine whether it will be indexed after it has been crawled.
Crawl budget is determined by two main elements: crawl capacity limit and crawl demand.”
מה משפיע על תקציב הסריקה של GoogleBot?
ג'ון מולר נשאל על ידי אדם שבבעלותו אתר עם מאות אלפי עמודים, אך גוגל סרקה רק כ -2,000 דפי אינטרנט ביום, קצב איטי מדי עבור אתר כה גדול וזאת למרות שלטענתו בוצעו שיפורים רבים ללא תוצאות.
ג'ון מולר של גוגל ענה:
"אז בפועל, אני רואה שתי סיבות עיקריות לכך שזה קורה.מצד אחד אם השרת איטי באופן משמעותי, כלומר ... זמן התגובה, אני חושב שאתה רואה את זה גם בדוח הסטטיסטיקה של סריקה.זה תחום שבו אם ... כמו שאצטרך לתת לך מספר, הייתי אומר לכוון למשהו מתחת ל -300, 400 אלפיות השנייה, משהו כזה בממוצע. כי זה מאפשר לנו לזחול פחות או יותר כמו שאנחנו צריכים. זה לא אותו דבר כמו מהירות העמוד. אז זה ... דבר אחד שיש להיזהר ממנו. "
איכות האתר יכולה להשפיע על תקציב הסריקה של GoogleBot
ג'ון מולר של גוגל הזכיר בהמשך את נושא איכות האתר.
איכות אתר ירודה עלולה לגרום לסורק GoogleBot שלא לסרוק אתר.
“The other big reason why we don’t crawl a lot from websites is because we’re not convinced about the quality overall. So that’s something where, especially with newer sites, I see us sometimes struggle with that. |And I also see sometimes people saying well, it’s technically possible to create a website with a million pages because we have a database and we just put it online. And just by doing that, essentially from one day to the next we’ll find a lot of these pages but we’ll be like, we’re not sure about the quality of these pages yet. And we’ll be a bit more cautious about crawling and indexing them until we’re sure that the quality is actually good.”
ג'ון מולר טוען כי הסיבה המרכזית לבעיות זחילה באתר היא איכות האתר, משהו שבגוגל נתקלים בעיקר באתרים חדשים. אנשים שחושבים שאם יש להם דטה של מיליון דפים - הם פשוט יכולים להעלות אותו לרשת בלי לבדוק את איכות הדפים הללו ועמידתם בפקטורי הזחילה של גוגל. גוגל לא תאנדקס אותם עד שתהיה משוכנעת שאלו דפים באיכות טובה.
גורמים המשפיעים על כמה דפים Google סורקת
ישנם גורמים נוספים שיכולים להשפיע על מספר הדפים שגוגל סורקת שלא הוזכרו כמו איכות השרת והאבטחה שלו.
לדוגמא, אתר המתארח בשרת משותף לא יכול להגיש דפים במהירות מספקת לגוגל מכיוון שישנם אתרים אחרים בשרת המשתמשים במשאבים באופן חריג, מה שמאט את השרת ואת האתרים האחרים בשרת זה.
סיבה נוספת עשויה להיות שהשרת מותקף על ידי בוטים וספאמים, מה שגורם להאטה באתר.
ג'ון מולר מוסיף כי סורקים רבים כמו גוגל יזחלו בשעות הבוקר המוקדמות מכיוון שזה בדרך כלל זמן טוב יותר לזחילה מאחר ויש פחות מבקרים באתר באותה שעה.
צפו בג'ון מולר מדבר על תקציב זחילה:
איך משפיעים מנגנוני קידום על תקציב הזחילה של גוגל ?
אחת הבעיות המרכזיות שאנו נתקלים בתקציב הזחילה של גוגל היא אי היכולת או מחסור במשאבי זחילה להגיע לדפים אחוריים באתר שלנו. בזה אני מטפלת באופטימיזצית המבנה של האתר, למעשה אופן הצפת התכנים באתר שלי וקביעת מנגנוני קידום עבורו.
לדוגמה, יש לנו באתר קטגוריה של סדנאות, היא מכילה סדנאות בתחום טבעוני וסדנאות בתחום צמחוני, וכעת אנו רוצים להוסיף סדנה חדשה ולשייך אותה לקטגוריה ולתת הקטגוריה המתאימה. למעשה, אם לא נייצר מנגנון להצפת תוכן, הסדנה תמוקם היררכית מאחור ויש סכנה גדולה שלא תסרק.
אני מקפידה לשמור על כלל 3 ההקלקות
כלומר, ניתן להגיע לכל מקום באתר שלי בשלוש הקלקות בלבד על ידי מנגנון להצפת תכנים עבור כל קטגוריה ותחום מומחיות באתר שלי.
שאלו את עצמכם שתי שאלות
מה חשוב ? מה חדש ?
לאחר שתענו, בנו מנגנון לכל קטגוריה ודאגו שהגולש והסורק של גוגל יוכלו להגיע לכל תוכן חדש מדף הבית ועל ידי לא יותר משלוש הקלקות.
היי, לא לדאוג.....
נשמע כמו ג'יבריש ? יש שאלות נוספות, תרצו לקבל הסבר מקיף על נושא המאמר ? לקבל ייעוץ אישי, הדרכה ואפילו ליווי עסקי ?
שמי עמית צוק ואני עורכת מגזין קידום אתרים, בעלת מעל ל 20 שנות ניסיון בפיתוח אתרים, קידום וניהול קמפיינים באינטרנט ובניית אסטרטגיות שיווקיות ופרסומיות באינטרנט. צרו עימי קשר (מבטיחה לא לשלוח ספאם). ועוד משהו קטן....
