SEShaked Eyalinthecodeline.org·May 31 · 21 min readמ-Context ל-AI Engineering Workflowאמ;לק בפוסטים הקודמים בסדרה, עסקתי בבעיה הבסיסית של עבודה עם AI: איך מונעים ממנו לעבוד מתוך קונקסט חלקי, לנחש החלטות מערכתיות, ולייצר קוד שנראה נכון אבל לא באמת מתאים למערכת. השלב הבא הוא לא רק לתת ל-00
SEShaked Eyalinthecodeline.org·Apr 9 · 3 min readניהול רענון דאטה ב-Tableau Cloud עם Airflowאמ;לק כאשר מריצים רענוני Extract ב-Tableau Cloud מתוך Airflow (במיוחד ב-MWAA), שימוש ב-Personal Access Tokens (PAT) יוצר צוואר בקבוק של סשן יחיד (Linear Session). ניסיון לעבודה מקבילית גורם לביטול סשנ00
SEShaked Eyalinthecodeline.org·Mar 22 · 9 min readApache Spark למפתחי Backendאמ;לק Apache Spark הוא לא “ספריית דאטה גדולה”. הוא execution engine מבוזר: אתם מגדירים pipeline לוגי על דאטה, ו-Spark מפרק אותו לעבודה מקבילית על cluster. כדי להבין אותו באמת, צריך להתחיל מ-RDD — אוסף00
SEShaked Eyalinthecodeline.org·Mar 15 · 4 min readמ-Data Lake אל Data Lakehouseאמ;לק ה-Data Lakehouse הוא לא פשרה בין Data Warehouse ל-Data Lake, אלא אבולוציה שמייתרת את שניהם. באמצעות שכבת Table Format (כמו Apache Iceberg או Delta Lake), ה-Lakehouse מיישם Optimistic Concurrency00
SEShaked Eyalinthecodeline.org·Feb 15 · 3 min readמביצות נתונים למכרות זהבאמ;לק ארכיטקטורת המדליון (Medalion Architecture) היא Framework לארגון נתונים בתוך Data Lake, המחלקת את המידע לשלוש שכבות לוגיות: Bronze (נתונים גולמיים), Silver (נתונים מנוקים ומנורמלים), Gold (נתונים עסקיים מוכנים לצריכה). היא פותרת את בעיית הנוקשות...00
