איזו תוכנה מבצעת מיטוב עבור כל פעולה?
ספארק
לא תמיד "משתלם" לבצע caching, גם אם יש חזרה על אותו ה-DataFrame. אחת הסיבות לכך היא שהחישובים החוזרים אינם תמיד זהים לחלוטין, מפני שספארק מבצע אופטימיזציות עבור כל פעולה בנפרד. לדוגמה, עבור פעולת ה-count שלנו ספארק יוכל לקרוא מראש רק לשדה אותו אנחנו מסננים וגם "לדחוף" את הפעולה הזאת למערכת הקבצים (projection pushdown). המשמעות היא שבמקום להביא את כל תוכן הקבצים מ-S3 שכולל בתוכו את כל השדות, ספארק יוכל להביא אליו ישירות רק את הערכים של השדה id מהחלקים הרלוונטיים בקבצי ה-Parquet, לבצע את הסינון והספירה, ובכך להקטין משמעותית את כמות המידע שהוא טוען אליו ולחסוך זמן ריצה.
ספארק היא תוכנה המבצעת מיטוב עבור כל פעולה.