मुख्य कंटेंट तक स्किप करें
Unlisted page
This page is unlisted. Search engines will not index it, and only users having a direct link can access it.

EKS पर StarRocks, Elasticsearch, और Airflow

· एक मिनट में पढ़ें
Tanmay Mohan
Tanmay Mohan
Cloud Physicist

StarRocks, Elasticsearch, और Airflow GPU inference से अलग workload हैं। ये अपने schedule पर ऊपर रहते हैं। Inference session खत्म होने पर ये zero तक नहीं जाते, और g6e के साथ NodePool share नहीं करते।

StarRocks और Elasticsearch​

दोनों r8i-flex memory-optimized nodes पर। Elasticsearch में automated S3 snapshots और IRSA — env vars में static AWS keys नहीं। Stateful sets On-Demand pools पर pinned। Data node पर Spot quorum सिखाने का महँगा तरीका है।

Hybrid Airflow​

Cost बाँटो:

  • Webserver और scheduler On-Demand। Scheduler खोना outage है।
  • Workers Spot पर, task completion callbacks के साथ ताकि reclaim चुपचाप काम न गिराए।

Trade-offs​

ChoiceFlexScarMitigation
EKS पर stateful DBsएक control planeNode death / quorum riskOn-Demand pins; S3 snapshots
Airflow workers Spot परसस्ती task capacityTask के बीच reclaimCompletion callbacks; scheduler On-Demand

Snapshot jobs पर IRSA। वहाँ भी AKIA* keys नहीं। वही pattern जो EKS stack harden करते समय इस्तेमाल किया।