Từ thuở sơ khai, IBM được xây dựng với quy mô nhỏ, ban đầu là để sản xuất các thiết bị ghi âm và có tên gọi Computing-Tabulating-Recording Company hay ngắn gọn hơn là “CTR”. Công ty này được thành lập vào ngày 16/6/1911 và có trụ sở chính đặt tại Armonk, New York, Mỹ. Tham vọng lớn vươn ra toàn cầu đã dẫn đường cho ông Tom Watson Sr., người đứng đầu công ty từ năm 1914 đến 1956 thay đổi tên công ty thành International Business Machines vào năm 1924 hay còn được viết tắt là IBM như hiện tại.
Dưới thời của Watson và sau đó là con trai của ông, Tom Watson Jr (điều hành công ty từ năm 1956 đến 1971) đã sở hữu các dự án lớn quan trọng khác nhau, từ việc thực hiện hỗ trợ tính toán cho đạo luật an sinh xã hội (Social Security Act) năm 1935, hệ thống phát hiện máy bay cho không quân Mỹ thời chiến tranh lạnh hay phòng thí nghiệm nghiên cứu năng lượng nguyên tử.
IBM có rất nhiều sáng chế quan trọng ảnh hưởng trực tiếp tới lịch sử phát triển công nghệ của thế giới như máy chữ đánh bảng điện tử, máy đánh chữ, bộ nhớ động truy cập ngẫu nhiên (DRAM), ổ đĩa cứng hay hệ thống mã vạch dạng đường kẻ sọc vẫn đang phổ biến trong các giao dịch bán lẻ ngày nay.
IBM cũng đóng vai trò quan trọng trong sự phát triển phần mềm với việc góp sức cho các ngôn ngữ lập trình như Fortran, Cobol, SQL và một số ngôn ngữ khác. Hãng cũng giới thiệu cách thức xây dựng cơ sỡ dữ liệu và phần mềm nhận dạng giọng nói ưu việt. Một người yêu thích máy tính sẽ không thể quên System/360, dòng máy tính thương mại đầu tiên và được coi là thành công nhất mọi thời đại trong khi thế hệ trẻ sau này sẽ nhớ đến các máy tính IBM và AS/400 trong những năm 1980.
IBM gần như thống trị máy tính từ những năm 1960 đến đầu những năm 1980 trên toàn thế giới. Nhưng thành công quá lớn của hãng cũng dẫn đến sự giám sát chống độc quyền những năm tiếp theo trong lĩnh vực máy tính của chính quyền. Điều này cộng với sự mở rộng, phân tán trong đầu tư, nghiên cứu của hãng đã dẫn tới sự xuống dốc không phanh của công ty vào những năm 1990.
Và đúng lúc này, Lou Gerstner, người được IBM mời về lèo lái con thuyền tưởng như đã sắp chìm vào năm 1993 đã kêu gọi một cuộc cải tổ thật sự nhằm tránh sự sụp đổ hoàn toàn của công ty. Một sự hồi sinh được dẫn dắt bởi việc đầu tư nhiều hơn vào phần mềm và các dịch vụ trong những năm gần đây. Quan trọng hơn cả, IBM vẫn giữ được nền văn hóa trong tầng lớp lãnh đạo nội bộ qua nhiều năm, đầu tư vào nghiên cứu (R&D) và suy nghĩ lớn.
IBM bắt đầu xuất hiện ở Việt Nam bằng việc mở văn phòng đại diện tại Hà Nội năm 1994 và TP HCM năm 1995. Công ty IBM vốn 100% nước tại Việt Nam được thành lập năm 1996. Ngày 5/2/2007, Trung tâm Dịch vụ Toàn cầu IBM (IBM Global Delivery Center) đã được hãng khai trương tại TP HCM.
Hình dưới: Một kỹ sư nối dây máy tính IBM năm 1958.
