מה זה תשלום-לפי-זחילה
תשלום לפי זחילה (Pay Per Crawl) הוא מנגנון שמאפשר לאתר לגבות תשלום ישיר מזחלני-AI על כל גישה לתוכנו, במקום להסתפק בחסימה גורפת או באפשור-גורף. Cloudflare השיקה את היכולת בגרסת-בטא-פרטית ב-1 ביולי 2025, כחלק ממערך רחב יותר של כלי-בקרה על תעבורת-AI שהיא מציעה ללקוחותיה.
קוד-402: קוד-סטטוס שכמעט לא נעשה בו שימוש
בלב המנגנון עומד קוד-הסטטוס HTTP 402 — 'תשלום נדרש' — שקיים בתקן ה-HTTP כבר עשרות שנים אך כמעט מעולם לא יושם בפועל באינטרנט. כשזחלן-AI מבקש עמוד שהמפרסם תמחר, Cloudflare עוצרת את הבקשה בקצה-הרשת שלה ומשיבה בקוד 402 יחד עם כותרת שמפרטת את המחיר הנדרש. הזחלן מסכים לתשלום באמצעות כותרת-תשובה משלו (crawler-exact-price). בהמשך קשרה Cloudflare את מערך-התשלומים שלה גם ל-x402 — פרוטוקול פתוח לתשלום דרך HTTP, שקרוי על-שם אותו קוד-סטטוס.
איך התשלום קורה בפועל
מהרגע שזחלן מקבל תשובת-402, יש לו שתי אפשרויות: לוותר על הבקשה, או לשלוח אותה שוב עם כותרת שמביעה הסכמה לשלם את המחיר שצוין — ואז לקבל את התוכן בפועל. Cloudflare מתעדת את אירוע-החיוב, פועלת כ'סוחרת-הרשומה' (merchant of record), מרכזת את החיובים מול חברת-ה-AI ומעבירה את התשלום למפרסם — כך שהמפרסם עצמו לא צריך לנהל חיוב או גבייה ישירים מול כל זחלן וזחלן.
המחיר נקבע על-ידי המפרסם
בעל-האתר קובע מחיר-אחיד לכל בקשה, ו-Cloudflare מטפלת באימות, בחיוב ובסליקה מאחורי-הקלעים. המחיר המינימלי שהוגדר הוא 0.001 דולר לכל שליפה מוצלחת — סכום זעיר שמאפשר תמחור גם עבור תעבורה בנפח-גבוה, כשההכנסה בפועל נצברת ממספר-הבקשות ולא ממחיר-בודד גבוה.
אימוץ בפועל
הזמינות והתנאים תלויים בתוכנית-ה-Cloudflare שהאתר רשום עליה ובגישה לתוכנית עצמה. דוגמה מוכרת לאימוץ בפועל היא אתר Stack Overflow, שהשיק תשלום-לפי-זחילה בשיתוף Cloudflare — צעד שמצביע על כך שהמנגנון עבר משלב-בטא סגור ליישום אצל אתרים ממשיים בעלי-נפח-תעבורה גבוה.
מוצר של ספק אחד, לא תקן ענפי
בניגוד לתקן כמו RSL, שמנוהל על-ידי עמותה בלתי-תלויה ופתוח לכל ספק-תשתית שירצה ליישם אותו, תשלום-לפי-זחילה נכון להשקתו הוא מוצר של ספק-תשתית אחד — Cloudflare — ותלוי בכך שהאתר משתמש בתשתית שלה. תשלום-לפי-זחילה הוא גם אחד המודלים שה-RSL מגדיר באופן פתוח, מה שמדגיש את ההבדל: RSL הוא ההצהרה הכללית על תנאי-התשלום, ותשלום-לפי-זחילה של Cloudflare הוא יישום-אכיפה קונקרטי אחד, ספציפי-לספק, של אותו רעיון.