What GPU Time-Slicing Does Not Give You
· 3 मिनट में पढ़ें
Two embedding models, one physical GPU. That was the May design. By August each pod had its own L40S. Time-slicing had added sharing and no throughput.
2 पोस्ट पोस्ट "MLOps" टैग के साथ
MLOps platforms, inference serving, and GPU orchestration
सारे टैग देखेंEKS पर Scale-to-Zero MLOps: GPU Idle Spend खत्म, बिना 5 मिनट के Cold Start के
· 9 मिनट में पढ़ें
रात भर idle पड़ा GPU node "available capacity" नहीं है। वह एक line item है। Intermittent inference के लिए g6e या g7e 24/7 चलाओ तो पहला token जाने से पहले ही लगभग $10k/माह जल सकता है। मैंने तीन महीने में AWS EKS पर एक event-driven MLOps platform बनाया जो GPU replicas को zero तक scale करता है, mission-critical sessions को Spot से दूर रखता है, और 15 GB+ LLM images पर sub-60-second cold starts का लक्ष्य रखता है।
यह GPU path है: architecture, hardware constraints, और scars।