קובץ llms.txt: מה זה, מה כותבים בו, והאם האתר צריך אחד

llms.txt הוא קובץ טקסט בכתובת /llms.txt שמסכם למודלי שפה מה האתר, אילו עמודים חשובים בו ואיפה העובדות. הוא דומה ל-robots.txt, אבל במקום לחסום סורקים הוא מכוון אותם.

התשובה הכנה לשאלה "האם צריך אותו": הוא לא חובה ולא מבטיח ציטוט באף מנוע. מצד שני, הוא לוקח שעה להכין, לא מזיק, ומכריח אתכם לנסח בצורה ברורה מה העסק עושה. זו סיבה מספיק טובה.

מה זה llms.txt?

llms.txt הוא הצעה לפורמט, שפורסמה בספטמבר 2024 ע״י ג'רמי הווארד מ-Answer.AI. הרעיון: מודל שפה שנכנס לאתר לא צריך לקרוא את כל ה-HTML, התפריטים והפרסומות. הוא יכול לקרוא קובץ אחד קצר, בפורמט Markdown, שאומר לו מה חשוב.

הקובץ יושב בשורש האתר, בדיוק כמו robots.txt ו-sitemap.xml. לדוגמה: example.co.il/llms.txt.

במה llms.txt שונה מ-robots.txt ומ-sitemap.xml?

• robots.txt אומר לסורקים לאן מותר להם להיכנס ולאן לא. הוא כלי של הרשאות.
• sitemap.xml מונה את כל העמודים באתר, בשביל מנועי חיפוש. הוא רשימה, בלי הסבר.
• llms.txt מסביר. הוא כולל תקציר של העסק ורשימה קצרה של העמודים החשובים, עם שורה על כל אחד.

שלושת הקבצים לא מחליפים זה את זה. llms.txt לא יעזור אם robots.txt חוסם את הסורק של מנוע ה-AI.

מה כותבים בקובץ llms.txt?

הפורמט פשוט. לפי ההצעה, הקובץ בנוי כך:

1. כותרת עם שם העסק או האתר (שורה שמתחילה ב-#).
2. תקציר במרכאות (שורה שמתחילה ב->): משפט או שניים שאומרים מה העסק, למי ואיפה.
3. פסקה קצרה עם פרטים שחשוב שהמודל יידע.
4. סקשנים של קישורים (כותרות ##), ובכל אחד רשימה של עמודים: שם העמוד, הקישור ושורת הסבר.
5. סקשן Optional לעמודים משניים, שאפשר לדלג עליהם כשאין מקום.

כך זה נראה אצל עסק קטן (הפרטים מומצאים):

# מרפאת השקד

> מרפאת שיניים בחיפה שמטפלת במבוגרים ובילדים מגיל שלוש. פתוחה בימים א' עד ה'.

## שירותים

- [טיפולי שיניים לילדים](https://example.co.il/kids): גיל, הכנה לביקור ראשון ומה הטיפול כולל

- [הלבנת שיניים](https://example.co.il/whitening): שיטות, משך ומחיר

## מידע

- [שעות וכתובת](https://example.co.il/contact): שעות פעילות, חניה ונגישות

## Optional

- [בלוג](https://example.co.il/blog)

שימו לב: הקובץ באותה שפה של האתר. אתר בעברית מקבל llms.txt בעברית.

מה זה llms-full.txt?

llms-full.txt הוא גרסה מלאה: כל התוכן החשוב של האתר בקובץ אחד, ולא רק קישורים. הוא שימושי לאתרים עם תיעוד, מרכז עזרה או מידע מוצר רחב, כשרוצים שמודל יוכל לקרוא הכול בבת אחת.

לעסק מקומי קטן מספיק בדרך כלל llms.txt. llms-full.txt מתאים יותר למוצר, לחברת תוכנה או לאתר עם הרבה עמודי מידע.

האם מנועי AI באמת קוראים llms.txt?

אין לזה תשובה חד-משמעית. llms.txt הוא הצעה ולא תקן מחייב. נכון לכתיבת שורות אלה, אין התחייבות פומבית וברורה של מנועי החיפוש ושל חברות ה-AI הגדולות שהן משתמשות בו כדי לבחור את מי לצטט.

לכן כדאי להיזהר ממאמרים שקוראים לו "חובה" או מבטיחים בזכותו הופעה ב-ChatGPT. אין לזה ביסוס.

למה בכל זאת כדאי להכין אותו?

• זה זול. קובץ טקסט אחד, בלי קוד ובלי שינוי בעיצוב.
• זה לא מזיק. אין דיווחים על נזק מקובץ כזה.
• זה עוזר לכלים שכן קוראים אותו. כלי פיתוח וסוכנים שגולשים ברשת יכולים להשתמש בו.
• זה מסדר את המחשבה. הניסוח של שני משפטים על העסק הוא בדיוק מה שצריך גם בראש עמוד הבית.

איך מכינים llms.txt לאתר של לקוח, צעד אחר צעד?

1. אוספים את העובדות. שם העסק כפי שהוא רשום, תחום, אזור שירות, שעות, טלפון וכתובת. כל פרט נבדק מול הלקוח, לא מול האתר הישן.
2. כותבים תקציר של שני משפטים. מה העסק, למי הוא מיועד, ואיפה הוא פועל. בלי סופרלטיבים.
3. בוחרים 5 עד 15 עמודים. עמודי שירות, מחירים, שאלות נפוצות, אודות ויצירת קשר. לא כל פוסט בבלוג.
4. כותבים שורה לכל עמוד. מה הקורא ימצא בו. "שיטות, משך ומחיר" עדיף על "כל מה שרציתם לדעת".
5. בודקים את robots.txt. מוודאים שהסורקים שהלקוח רוצה לאפשר לא חסומים.
6. מעלים לשורש ובודקים. פותחים את הכתובת /llms.txt בדפדפן ומוודאים שהיא נטענת כטקסט ובקידוד הנכון לעברית.
7. קובעים מתי מעדכנים. בכל שינוי בשירותים, במחירים או בפרטי הקשר. הכי טוב: לייצר את הקובץ אוטומטית מאותו מקור תוכן.

מה לכתוב בתקציר כדי שמודל יבין אותו נכון?

התקציר הוא החלק הכי חשוב בקובץ. מודל שפה יכול לצטט אותו כמעט כמו שהוא, ולכן כל מילה בו צריכה להיות נכונה.

• להשתמש בשם העסק המלא, באותו נוסח שמופיע באתר ובפרופילים.
• לכתוב את התחום במילים שלקוחות משתמשים בהן ("מרפאת שיניים", ולא "מרכז לאסתטיקה דנטלית").
• לציין אזור שירות אם העסק מקומי.
• להשאיר בחוץ הבטחות שאי אפשר לבדוק.

טעויות נפוצות ב-llms.txt

• עובדות שסותרות את האתר. שעות אחרות, כתובת ישנה. זה גרוע מקובץ שלא קיים.
• קובץ שלא מתעדכן. כתבו אותו פעם אחת, והאתר השתנה. כדאי לייצר אותו מאותו מקור תוכן של האתר.
• רשימה של כל העמודים. זה תפקיד של sitemap.xml. ב-llms.txt בוחרים את מה שחשוב.
• שפת שיווק. "הפתרון המוביל בישראל" לא עוזר למודל להבין כלום. משפט עובדתי עוזר.
• robots.txt שחוסם. אם הסורקים לא יכולים להיכנס לאתר, הקובץ לא ייקרא.

למי llms.txt שווה הכי הרבה?

• חברות תוכנה ומוצרים דיגיטליים: יש להן תיעוד, מחירים ושאלות טכניות שמשתמשים שואלים עליהן כלי AI. כאן גם llms-full.txt מצדיק את עצמו.
• עסקי שירות עם כמה תחומים: משרד עורכי דין, מרפאה עם כמה מחלקות, מוסך עם כמה שירותים. הקובץ עוזר להבין מה העסק עושה ומה לא.
• עסק עם עמוד אחד: פחות. דף נחיתה יחיד כבר אומר הכול, והקובץ יוסיף מעט. עדיין כדאי, כי זה עולה כמעט כלום.

בכל המקרים, llms.txt הוא תוספת לבסיס ולא תחליף לו: עמודים ברורים, תשובות ישירות, שאלות נפוצות ונתונים מובנים.

איך Asset עושה את זה?

אצלנו זה מתחיל בבית. האתר של Asset מפרסם את llms.txt ואת llms-full.txt. שניהם נבנים מאותם קבצי תוכן ומאותו קוד שמהם נבנים העמודים, ולכן הם לא יכולים לסתור את האתר. כשמשתנה מחיר או עמוד, גם הקבצים משתנים.

באתרים של לקוחות, סוכן ה-GEO כותב llms.txt בשורש האתר כחלק מההכנה למנועי AI. הוא שואל אתכם אם לאפשר לסורקי AI ב-robots.txt, ולא ממציא עובדות: כשחסר פרט, הוא שואל ומסמן את המקום. בדיקת המוכנות בודקת אם יש llms.txt ואם robots.txt חוסם את סורקי ה-AI, והיא לא עולה קרדיטים.

על כל שאר ההכנות למנועי AI אפשר לקרוא בעמוד הנראות במנועי AI.