Theo thông tin từ Hội Nhạc sĩ Việt Nam, Nguyễn Thiện Tơ sinh ra tại Hà Nội, xuất thân trong một gia đình công nhân (xưởng in Viễn Đông) tại căn nhà số 22 phố Charron, nay là phố Mai Hắc Đế, quận Hai Bà Trưng, Hà Nội.
Thời trẻ, cha của nhạc sĩ là cụ Nguyễn Thiện Tường hát Trống quân rất hay, được nhiều giải thưởng ở địa phương và liên tỉnh đồng bằng Bắc Bộ.
Từ nhỏ, Nguyễn Thiện Tơ đã được sống giữa những làn điệu Trống quân và các hình thức diễn tấu khác mà bố và các bạn bè thường tập ở nhà. Lên 9 tuổi (1930), Nguyễn Thiện Tơ đã làm quen với âm nhạc bằng việc tập chơi chiếc đàn Tàu hai dây và thổi harmonica, nghe nhạc Pháp đĩa than...
Năm 14 tuổi (1935) ông bắt đầu tự học nhạc lý theo sách của Marmont và Lavignac rồi học guitar Hawaii với thầy Trần Đình Khuê. Chỉ sau 3 tháng theo học, ông đã được thầy cho biểu diễn cùng trên đài phát thanh.
Năm 1937, ông mở lớp dạy guitar Hawaii. Trong số người học đàn ông có những nhạc sĩ tên tuổi như Doãn Mẫn, Đoàn Chuẩn, Nguyễn Văn Quỳ…
Năm 1938, khi mới 17 tuổi, Nguyễn Thiện Tơ sáng tác bản nhạc đầu tay "Giáo đường im bóng", viết từ cảm hứng trong chuyến đi biểu diễn từ thiện ở Nam Định và gặp hoa khôi thành Nam là ca sĩ Vũ Hà Tiên. Sau này, ông và ca sĩ Hà Tiên nên duyên vợ chồng vào năm 1944.
Nhạc sĩ Nguyễn Thiện Tơ cũng dạy guitar và guitar Hawaii cho nhiều lứa học trò, trong số đó có những nhạc sĩ nổi tiếng như Doãn Mẫn, Đoàn Chuẩn và Nguyễn Văn Quỳ.
Nguyễn Thiện Tơ được coi như một trong những nhạc sĩ khởi đầu cho nền tân nhạc Việt Nam với những ca khúc được nhiều thế hệ người nghe yêu thích như “Nhắn gió chiều”, “Trên đường về”, “Đêm trăng xưa”, “Chiều quê”, “Cung đàn xuân xưa”, “Tiếng trúc bên sông”, “Vườn hồng dưới trăng”, “Ngày vui đã qua” ... và đặc biệt là “Giáo đường im bóng”.
Sau ngày giải phóng Thủ đô 10/10/1954, nhạc sĩ Nguyễn Thiện Tơ về làm việc tại Đài Tiếng nói Việt Nam, thổi sáo trong dàn nhạc của đài. Đến năm 1959, ông chuyển sang dàn nhạc giao hưởng (nay là Nhà hát nhạc vũ kịch Việt Nam).
Linh cữu nhạc sĩ Nguyễn Thiện Tơ được quàn tại Nhà tang lễ Phùng Hưng (số 125 Phùng Hưng, Hà Nội). Lễ di quan vào ngày 21/8, an táng tại nghĩa trang Bất Bạt (Phú Sơn, Ba Vì, Hà Nội).
