أعلنت Google Cloud اليوم عن توسيع دعمها لـ Google Kubernetes Engine (GKE) لتشمل Google Cloud TPU v5e، وهو مُسرّع للذكاء الاصطناعي مُصمم خصيصًا لهذا الغرض.
ويوفر هذا التكامل للعملاء إمكانيات استدلال الذكاء الاصطناعي الأفضل في فئتها، مع قابلية التوسع والتنسيق والفوائد التشغيلية لـ GKE.
إجراء تحسينات على Google Cloud TPU v5e:
في نتائجها الأخيرة لمعيار MLPerf™ Inference 3.1، حققت Google Cloud أداءً أعلى بمقدار 2.7 مرة لكل دولار مقارنة بـ TPU v4. تم تحقيق هذا الأداء من خلال مجموعة متنوعة من التحسينات، بما في ذلك:
- تحسينات XLA ودمج مشغلي المحولات
- تكميم الوزن بعد التدريب بدقة INT8
- مشاركة عالية الأداء عبر طوبولوجيا تجمع عقدة TPU 2×2 باستخدام GSPMD
- التنفيذ المُجمَّع لدفعات حساب البادئة وفك تشفيرها في Saxml
- التجميع الديناميكي في Saxml
تم تحقيق نفس الأداء عند تشغيل Cloud TPU v5e على مجموعات GKE. مما يوضح أن Cloud TPUs على GKE تسمح لك بالحصول على قابلية التوسع والتنسيق والفوائد التشغيلية لـ GKE مع الحفاظ على أداء سعر TPU.
المزايا:
بالإضافة إلى الأداء، تقدم GKE أيضًا مجموعة من الميزات التي تساعد في تعظيم فعالية التكلفة للاستدلال على وحدات TPU:
- إدارة ونشر أعباء عمل الذكاء الاصطناعي لديك باستخدام النظام الأساسي القياسي Kubernetes.
- القياس التلقائي لضمان أن الموارد تتكيف تلقائيًا مع احتياجات عبء العمل.
- توفير موارد الحوسبة اللازمة لأحمال عملك: يمكن توفير مجموعات عقدة TPU تلقائيًا بناءً على متطلبات أحمال عمل TPU مع إمكانات التوفير التلقائي لعقدة GKE.
- المراقبة الصحية المضمنة لتجمعات عقدة TPU VM على GKE لضمان التوفر العالي.
- معالجة GKE الاستباقية لأحداث الصيانة وإنهاء أعباء العمل بأمان لتقليل التعطيل.
- مقاييس GKE الناضجة والموثوقة وإمكانيات التسجيل لرؤية كاملة لتطبيقات TPU الخاصة بك.
للاستفادة من جميع المزايا المذكورة أعلاه. أنشأت Google إثباتًا للمفهوم لإظهار استنتاج TPU باستخدام نموذج GPT-J 6B LLM مع خادم طراز Saxml أحادي المضيف. أظهر هذا الإثبات أن Cloud TPUs على GKE يمكنها تقديم أداء وفعالية من حيث التكلفة ممتازين للاستدلال على تطبيقات الذكاء الاصطناعي واسعة النطاق.
اقرأ أيضًا:
هل يتوافق PS5 مع ألعاب PS4 ؟ كل التفاصيل عن “بلاي ستيشن 5