בוקר מעולה, הפוסט החדש הוא עדכון שמיועד למתכנתים שעובדים עם LLM כבסיס למוצר. אחד האתגרים שיש בפיתוח מערכות שמבוססות על מודלי שפה היא היכולת לבצע הערכות. למשל - יש לי תהליך שמבצע סיכום של מידע. למשל סיכום של הסכמים משפטיים. אני משתמש ב-GPT3.5 והגיע הזמן לשדרג. למה לשדרג? אני יכול כמובן למודל הכי חדש ביקום אבל זה יעלה לי כסף מיותר ולא בטוח שיביא תוצאות טובות. אז לשדרג ל 4? 4.1? אולי בכלל לעבור לגרוק או ג׳מיני נאנו? והחגיגה בעיצומה אפילו אם אני לא רוצה לשנות את המודל אלא רק לשנות את הפרומפט. איך אני יודע שהפרומפט ״תסכם לי!״ יותר טוב מ״תתקצר לי!״? יש כלים להשוואה אבל בפרויקטים שלנו בסייברארק, חברי והקולגה שלי רועי בן יוסף היינו צריכים גם משהו שיכול לעבוד עם קוד (כי יש לנו אופטימזציות של תהליכים מסוימים) אבל גם משהו גמיש שיכול לעבוד עם מגוון ספקים (מאמזון ועד ג׳מיני) וגם שיביא תוצאות שאותן נוכל להציג להנהלה. אז הנה - הכלי החדש שרועי הוציא (אני הצקתי רוב הזמן וחיבלתי בתהליך) עם סרטוןן הסבר. https://internet-israel.com/?p=11715 ובנימה אחרת, תמיד אומרים שבעידן הבינה המלאכותית האתגרים ישתנו והמשימות ישתנו? אז זו דוגמה מעולה. אני (ורועי, והרבה אחרים) עובד על מוצרים שלפני שלוש שנים לא היו אפשריים. אבל האתגר הוא כבר אחר - איך לגרום ל-LLM לעשות את מה שאני רוצה בצורה פשוטה, קלה ומאובטחת. הבעיה הזו, שאנחנו מנסים לתקוף במאמר הזה היתה מדע בדיוני לפני כמה שנים. לא סוף עידן המתכנתים, אבל בהחלט שינוי של התפקיד. הקיצר, מקווה שזה יעזור למי שצריך. -- לא נעים לי לטנף על טלגרם, בהתחשבה בכף שזו ליטרלי הפלטפורמה שבה אני כותב. אבל לפעמים חשוב לומר את המובן מאליו. במקרה הזה: טלגרם לא בטוחה מספיק לתקשורת. כלומר היא אחלה כערוץ מידע (נו, הערוץ הזה!) אבל לא כערוץ קשר מאובטח. אם אני לא מצליח לשכנע אתכם, אולי תציצו בדו״ח השקיפות של טלגרם. הוא לא מאד שקוף, הדו״ח החביב הזה, אבל הוא מעניין. דו״ח שקיפות שכל חברה שמספקת B2C לתקשורת מספקת כנוהג, מראה כמה פעמים חברה נדרשת לתת מידע לשלטונות של מדינות שונות על אזרחים. למשל מטא סיפקה בחצי השנה האחרונה של 2024 מידע על 600,000 אזרחים, 2300 מתוכם בישראל. ומה עם טלגרם? ובכן. לה אין אתר מסודר אבל יש לה בוט. לאחר ניתוח של המידע שיש בבוט. אפשר לראות שיש קפיצה עצומה במספר הבקשות. רק ברבעון הראשון של 2025 התקבלו בקשות על 22 אלף משתמשים. ובגלל שטלגרם לא מוצפנת כברירת מחדל וגם מפתחות ההצפנה שלה... לא סטנדרטיים ואני עדין במונח (מאד), זה אומר שהם יכולים לתת המון מידע כולל שיחות. חשוב להדגיש כרגע אין בקשות מהממשל ישראל. אבל זה *כרגע*. שימו לב היטב - אם אתם פעילים בארגונים אזרחיים: אפשר לעשות שימוש בטלגרם להפצת מסרים אבל לתקשורת אחד עם השני? סיגנל עם הודעות נעלמות בלבד. זה יכול להיות דיני נפשות כי הצווים יתחילו להגיע.