what's up with LangTalks?

Our bi-weekly WhatsApp group summary. What have we been LangTalking about?

🗓️ 22.10.2024 - 29.10.2024 🗓️

מימוש human-in-the-loop ב LangGraph Studio

1. הבנו שיש כאן מוקש: אחד החברים ניסה להוסיף הודעה עם מידע חדש אחרי ה interruption - אבל למרות העובדה שהוא מימש את זה לפי הנחיות הקורס של LangChain, עדכן את ה state ועשה invocation מחדש, זוהתה התעלמות מהמידע.

2. העלינו רעיונות לדיבוג, כולל בדיקות באמצעות מימוש reducer, הגדרת breakpoint בפונקציה הרלוונטית (add_messages), ובחינת ה type של ההודעות.

ספירת טוקנים בפרומפטים - ניסיון לפצח מקרה מורכב

1. עלה צורך מאתגר: לספור את כל הטוקנים בפרומפטים עם structured_output, כולל הטוקנים שמתווספים אוטומטית על ידי LangChain והמנוע של VLLM, מבלי לשלוח בקשה למודל בפועל (אחרת היה אפשר להסתכל ב-raw שחוזר עם הנתונים).

2. הייתה מחשבה להשתמש ב-tiktoken, אבל זה לא ענה על הדרישה לכלול גם את הטוקנים שמתווספים לפרומפט מעבר לטוקנים שנכתבים על ידי המשתמש.

3. עלו מגוון רעיונות והצעות לפתרון. למשל, לעקוב אחרי מה ש-LangChain מוסיף באמצעות hooks או tracing ב-API, או ליצור מחלקה שיורשת מ-structured output כדי לקבל שליטה מלאה על הפרומפטינג.

4. לבסוף, התגבשה הבנה סביב הדרך המומלצת לפעולה במקרה הזה: ליצור תבנית ייעודית מתוך הפלט raw, ולהעביר אותה ב-tokenizer.

ניהול RAG מדויק עם מידע מתוך דו”חות

1. התחלנו בחיפוש כלים וטכניקות ל-RAG שממקסם דיוק ומפחית תשובות לא רלוונטיות, במיוחד באיחזור תשובות לשאלות ספציפיות מתוך דו”חות. הצעות כללו שיטות כמו few-shot ו-chain of thought, וגם יצירת embedding מבוסס שאלות סבירות לכל צ'אנק של טקסט.

2. דנו בגישה מבוססת knowledge graph (לדוגמה Neo4j), שיכולה לסייע בקשרים לוגיים בין entities ולהפיק שאילתות מדויקות יותר משימוש פשוט ב-embeddings. זה מצוין לפרויקטים שבהם חשוב דיוק, אבל זה דורש זמן פיתוח נוסף.

3. עבור מקרים המצריכים פתרון מהיר, הומלץ על גישת brute force שמשלבת אחזור כמותי גדול עם עיבוד LLM מקבילי לכל מסמך.

🗓️ 29.10.2024 - 05.11.2024 🗓️

כלים להערכת LLMs בפרודקשן

1. דיברנו על כלים כמו Ragas, LangGraph ו-Phoenix. ראינו שרובנו נעזרים בהם כחלק מה-CI/CD או בתהליך הפיתוח, למטרות זיהוי דריפטים וחילוץ תובנות.

2. דנו גם בשיקולים שונים כמו מגבלות טוקנים לדקה או סקיילינג במערכות מרובות משתמשים.

3. שיתפנו המלצות על כלים המשמשים לבקרת תוכן והבטחת איכות, כמו Llama Guard או Instructor, ופרמטרים מסוימים ב API של OpenAI.

Github Spark

1. למדנו ש-GitHub Spark מתמקד ביצירת micro apps עם מעט פיצ'רים ובשקיפות תהליכי הקוד והדיפלויימנט למשתמשים, בעוד ש-artifacts של אנתרופיק מריץ JavaScript ורק נראה דומה מבחינה פונקציונלית.

2. הבחנו בכך ש-GitHub Spark מציע קונספט חדש ל-IDE שמזכיר את ה-code interpreter, עם אינטראקציה מבוססת שפה טבעית.

3. הוזכר כי GitHub Spark נמצא כעת ב-Waitlist. ניתן להירשם ל Waitlist כאן.

אפשרות החיפוש החדשה של ChatGPT

1. דיברנו על הפיצ’ר החדש של ChatGPT: סיפוק תשובות דרך חיפוש מידע באינטרנט, כולל ציון קישורים למקורות עצמם.

2. מצד אחד, המודל מצליח למצוא מקורות מידע טובים והגיוניים. למשל, הפודקאסט של LangTalks עלה כאחת התשובות לשאלה על הפודקאסטים הפופולריים בישראל בנושא בינה מלאכותית. מצד שני, היו גם הזיות טהורות של תשובות תלושות ומצחיקות.

3. עלתה שאלה: מה מתבצע מאחורי הקלעים? האם יש שימוש בשירותי צד שלישי, או שאולי יש ניסיון לבצע אינדוקס עצמאי של הרשת? מעבר לסקרנות הטכנולוגית, התשובה לשאלה הזו מחזיקה משמעויות עסקיות הרות גורל עבור חברות מתחרות כמו Perplexity או גוגל.

📚 נושאים נוספים שעלו 📖

1. הזכרנו את ההקאתון המתקרב של AgentCraft, וצורפה הקלטה של מפגש ההכנה.

   • דיברנו על התמיכה של LangGraph בעבודה אסינכרונית.

   • חבר אחד שיתף ש Anthropic השיקו מודל חדש שמסוגל להשתמש במחשב ובאפליקציות דרך ה api, וחבר אחר סיפר שבדיוק היום עשו merge לקוד שהוא תרם לפרויקט דומה, פרויקט קוד פתוח בשם Open Interpreter.

   • עלתה המלצה על ספריית bootstrap-rag, המאפשרת ליצור פרויקט RAG בקלות עם אפשרויות מותאמות אישית ותבניות מגוונות (למשל, RAG עם self-correction או עם controllable agents).

   • דיברנו על כלים לבניית Agents ללא קוד או עם מעט קוד. עלו המלצות על Microsoft Copilot Studio, ועל Amazon Bedrock Agents, כלי המאפשר אורקסטרציה מבוססת ReAct prompt, עם ממשק ידידותי.

   • נערך סקר! “אני מריץ מערכת בפרודקשן שמבוססת על”…
     3 ענו לאנגצ’יין, 22 ענו פיתוח פנימי, 4 ענו פריימוורק אחר, ואחד ענה: “פרודקשן?”

---

תודה שקראת!

אפשר להעביר את הניוזלטר לחברים וחברות,

ולהזמין אותם להצטרף לקהילה :)