Groq

Groq נוסדה ב-2016, ופיתחה ארכיטקטורת-שבב ייעודית משלה שנקראת LPU (Language Processing Unit) — בשונה מ-GPU של NVIDIA, ששימש במקורו לגרפיקה והותאם-מחדש לחישובים מקבילים כלליים.

החומרה של Groq מתמקדת במשימה צרה אחת: הרצה (inference) מהירה במיוחד של מודלי-שפה שכבר אומנו במקום אחר — לא אימון מודלים חדשים. ההתמחות הזו מאפשרת לה להציג מהירויות-תשובה גבוהות במיוחד, במחיר של גמישות נמוכה יותר מחומרה כללית כמו GPU, והחברה משווקת את השבבים האלה בעיקר כשירות-ענן למפתחים שרוצים תשובות-מודל כמעט-מיידיות, למשל בצ'אטבוטים ובסוכני-AI בזמן-אמת.