Chính những ngày tham gia tổng khởi nghĩa đã tạo cho anh những cảm xúc viết bài hát đầu tiên: Ca ngợi đời sống mới. Dù trước đó, cũng như nhiều nhạc sĩ cùng thời, ông không hề được học nhạc qua trường lớp nào.
Âm nhạc thấm vào tâm hồn Nguyễn Ðức Toàn từ những giai điệu trữ tình của những bài thánh ca mỗi khi ông đến nhà thờ.
Kháng chiến chống thực dân Pháp, năm 1946, ông tham gia Ðoàn kịch Sao Vàng cùng nhạc sĩ Ðỗ Nhuận, sau đó làm Phó đoàn văn công Việt Bắc (Trưởng đoàn là thi sĩ Hoàng Cầm). Vừa diễn kịch, vừa vẽ minh họa, trình bày báo, rồi sáng tác ca khúc, ở lĩnh vực nào, người ta cũng thấy Nguyễn Ðức Toàn tham gia. Lúc thảnh thơi ngồi ngẫm lại, ông bảo, hồi ấy sáng tác nhiều nhưng trình độ còn non nên ít bài "đứng" được lắm. Nổi nhất có lẽ là Quê em miền trung du, tuy là bài hát kháng chiến nhưng vẫn được Ðài Pháp Á phát sóng qua giọng hát của hai ca sĩ Thái Thanh - Thái Hằng. Chín năm kháng chiến chống thực dân Pháp là chín năm trai trẻ đầy những kỷ niệm đẹp, sống với nhau rất vô tư mà chẳng ai nghĩ gì cho riêng mình.
Nguyễn Ðức Toàn sáng tác rất nhiều. Ông thường nói, không còn nhớ mình có bao nhiêu tác phẩm. Sau Quê em miền trung du, rất nhiều ca khúc của ông được đông đảo khán giả đón nhận như Mời anh đến thăm quê tôi, Ðào công sự, Tình em biển cả, Chiều trên bến cảng, Hà Nội trái tim hồng... Ông cũng là tác giả của nhiều tác phẩm khí nhạc lớn (sonate viết cho violon và được dàn dựng tại Mátxcơva; Tổ khúc giao hưởng Tổ quốc, dựng với dàn nhạc Nôvôxibiếc; hợp xướng Bài ca xây dựng; Tiếng hát buổi bình minh; Bài ca chiến thắng...).
Nhưng có lẽ đặc biệt nhất trong sự nghiệp âm nhạc của Nguyễn Ðức Toàn là loạt bài hát ca ngợi những người con anh hùng của đất nước như: Biết ơn chị Võ Thị Sáu, Noi gương Lý Tự Trọng, Bài ca Ngô Mây, Ca ngợi Trần Thị Lý, Ca ngợi Nguyễn Văn Trỗi, Nguyễn Viết Xuân cả nước yêu thương... Nhạc sĩ cho rằng, những người đẹp nhất là những người hiến dâng cả cuộc sống, thân mình cho đất nước. Và ông thật sự hạnh phúc khi tác phẩm của mình đã góp phần làm được điều gì đó cho những người con anh hùng của dân tộc. Chính sự thành công với những tác phẩm ca ngợi người anh hùng đã khiến sự nghiệp âm nhạc của Nguyễn Ðức Toàn đặc biệt hơn bất cứ nhạc sĩ nào.
Thế nhưng, qua rất nhiều năm tháng, nhạc sĩ Nguyễn Ðức Toàn vẫn không thấy bằng lòng với mình. Ở độ tuổi tám mươi, ông vẫn sáng tác. Những lúc không thả mình vào âm nhạc, ông lại cầm cọ vẽ, đi tìm cái đẹp giữa âm thanh và đường nét cuộc sống.
Năm 2000, ông đã vinh dự được nhận Giải thưởng Hồ Chí Minh về văn học - nghệ thuật, với chùm sáu ca khúc Quê em miền trung du, Biết ơn chị Võ Thị Sáu, Ðào công sự, Nguyễn Viết Xuân cả nước yêu thương, Tình em biển cả và Chiều trên bến cảng.