Sakana AI — מעבדה יפנית לאימון-אבולוציוני ומיזוג-מודלים

ייסוד: מייסד-שותף של מאמר הטרנספורמר מקים מעבדה ביפן

Sakana AI נוסדה ביולי 2023 בטוקיו בידי דיוויד הא, ליון ג'ונס ורן איטו. ג'ונס הוא אחד ממחברי המאמר Attention Is All You Need משנת 2017, שהציג את ארכיטקטורת הטרנספורמר המונחת ביסוד כל מודלי-השפה הגדולים. שם החברה, sakana, הוא המילה היפנית לדג, והמטאפורה מכוונת: להקת-דגים שמתגבשת לישות אחת ומתנהגת כגוף אחד מתוך כללים פשוטים שכל דג בה מקיים לחוד.

חלופה לגישה השלטת: אבולוציה ומיזוג-מודלים במקום קנה-מידה

הכיוון המחקרי שלה הוא חלופה מוצהרת לגישה השלטת בתעשייה. במקום להגדיל מודל אחד ולהזרים אליו עוד נתונים ועוד כוח-חישוב, Sakana חוקרת אינטליגנציה קולקטיבית ואבולוציה. בינואר 2024 הציגה שיטה להרבעה של מודלים קיימים — מיזוג אוטומטי של כמה מודלים למודל חדש בעל תכונות משולבות, בלי אימון מלא מאפס. הרעיון קרוב יותר לברירה טבעית מאשר לתכנון הנדסי, והיתרון המעשי שבו ברור: מיזוג של מודלים קיימים אורך שעות ולא חודשים, ואינו דורש את מרכזי-החישוב הענקיים שאימון מודל חדש מחייב.

AI Scientist: אוטומציה של תהליך המחקר המדעי

פרויקט בולט נוסף שלה הוא AI Scientist — ניסיון לאוטומציה של תהליך המחקר המדעי כולו: ניסוח השערה, ביצוע ניסויים, כתיבת מאמר וביקורת-עמיתים עליו. הפרסומים סביבו עוררו דיון נרחב בשאלה מה נחשב תרומה מדעית כשמכונה מייצרת אותה, ובאיזה שלב נדרש עדיין שיפוט אנושי.

גיוסי-הון: קונסורציום תאגידי-ענק יפני

מבחינה עסקית גייסה החברה סבב-זרע של 30 מיליון דולר מ-Lux Capital ומ-Khosla Ventures, ואחריו סבב A של כ-200 מיליון דולר ב-2024, שבו השתתפו תאגידים ובנקים יפניים גדולים — MUFG, SMBC, Mizuho, Itochu, KDDI ו-Nomura — לצד NVIDIA. בלומברג דיווח ב-2024 על שווי של כ-1.5 מיליארד דולר.

צוות קטן, מעמד גדול: המעבדה המובילה של יפן

ב-2024 היא העסיקה כ-20 עובדים בלבד, צוות קטן במיוחד שמשקף מעבדה שמתמקדת במחקר ולא בהפעלת שירות בקנה-מידה גדול. הרכב המשקיעים היפני בולט בפני עצמו, והוא שהופך את Sakana למעבדה הבולטת ביותר שיפן מעמידה מול המעבדות האמריקאיות והסיניות.