החברה נוסדה ב-16 ביוני 1911 במדינת ניו-יורק בשם Computing-Tabulating-Recording Company, כחברת-אחזקות של יצרני מכונות-רישום וכרטיסים מנוקבים, ושמה שונה ל-International Business Machines ב-1924. בשנות ה-60 וה-70 שלטו מחשבי-המיינפריים שלה בשוק העולמי, וב-1981 הציגה את ה-IBM PC, שהארכיטקטורה שלו עומדת עד היום בבסיס רוב המחשבים האישיים. בין ההמצאות שיצאו ממנה: הכונן הקשיח, זיכרון ה-DRAM, התקליטון, מסד-הנתונים היחסי ושפת השאילתות SQL — כלומר חלק ניכר מהתשתית שעליה רץ כל מה שבא אחר כך.
שני רגעים ציבוריים קשרו את IBM לבינה מלאכותית יותר מכל חברה אחרת. ב-1997 ניצח מחשב-השחמט Deep Blue את אלוף-העולם גארי קספרוב במאץ' בן שישה משחקים. ב-2011 ניצחה המערכת Watson את קן ג'נינגס וברד ראטר, אלופי תוכנית השעשועים Jeopardy!, בהדגמה פומבית של הבנת שאלות בשפה חופשית — שנים לפני שצ'אטבוטים נעשו נחלת הכלל.
ההמשך היה פחות מוצלח, וזו אחת העדויות המאלפות בתולדות התחום: IBM ניסתה להפוך את Watson למוצר-דגל ברפואה, נתקלה בפער בין הדגמה מרשימה לעבודה קלינית אמיתית, ובינואר 2022 מכרה את Watson Health לקרן ההשקעות Francisco Partners. הפרשה נחרטה בזיכרון התעשייה כדוגמה מובהקת לפער שבין הבטחה שיווקית מרשימה לבין יכולת מוכחת בשטח.
הגישה הנוכחית שונה. במאי 2023 הציגה החברה את פלטפורמת watsonx, המבוססת על משפחת המודלים Granite שפיתחה בעצמה; את מודלי-הקוד של Granite שחררה בקוד פתוח ופרסמה ב-Hugging Face, ובאוקטובר 2024 יצא Granite 3.0, המכוון לשימוש ארגוני. במקום להתחרות על המודל הגדול ביותר היא מכוונת למודלים קטנים ופתוחים, שארגון יכול להריץ אצלו על נתונים רגישים. IBM Research היא ארגון-המחקר התעשייתי הגדול בעולם, עם מעבדות בשש יבשות — ובהן מעבדת חיפה, מהוותיקות שבהן מחוץ לארצות-הברית — ובמשך 29 שנים רצופות, מ-1993 עד 2021, הובילה את טבלת הפטנטים האמריקאיים.