Музикалният стил на групата се поражда почти случайно. По време на репетиция, в студио, намиращо се срещу кино, Tony Iommi казва на останалите: “Щом хората плащат да гледат страшни филми, защо да не плащат да слушат страшна музика?”. Тогава Black Sabbath решават, че техните песни ще бъдат музикалния вариант на филмите на ужасите.

                    Дебютният, едноименен, албум на групата излиза през 1970г. Още същата година е последван от втори Paranoid, който постига невероятен успех и носи популярност на Black Sabbath в САЩ и Великобритания. Той е част от протеста срещу войната във Виетнам и по-конкретно, срещу британското участие в нея. Песните и от двата албума демонстрират интереса на групата към култовата и черна магия.

                   През 1971г. Black Sabbath издават още един тотален хит - албумa Master of Reality. Година по-късно излиза и Black Sabbath, Vol. 4, с който групата затвърждава името си на една от най-популярните рок-групи в света. Последвалият през 1973г. албум Sabbath Bloody Sabbath съдържа някои от най-известните им хитове, като Spiral Architect, A National Acrobat и Sabbath Bloody Sabbath.

                 Групата често е разтърсвана от проблеми с наркотиците. В продължение на две години Osbourne и Ward вземат LSD всеки ден. Освен това Black Sabbath страда и от липса на добър мениджмънт. Нарушава се и програмата за запис на новия им албум. Въпреки всички проблеми, Sabotage излиза през 1975г., с което успехът на групата продължава.

                 През 1976г. излиза Technical Ecstasy, който се оказва пазарен провал. След турнето през 1977г. Ozzy Osbourne спира да посещава репетициите на групата. Останалите членове са принудени да записват с Dave Walker, бивш член на Fleetwood Mac. Но Osbourne не се отказва от Black Sabbath и през 1978г. групата издава поредния си албум Never Say Die!. Следват вътрешни конфликти и Osbourne е принуден да напусне групата през 1979г., след което става един от най-успешните самостоятелни изпълнители в историята на хеви-метъла. Заменен е от бившия вокалист на Rainbow - Ronnie James Dio.

               Следващият албум на групата, вече с Dio, е Heaven and Hell. По време на промоционалното му турне, барабанистът Bill Ward напуска групата по лични причини, и е заменен от Vinny Appice. С него Black Sabbath записват и следващия си албум Mob Rules. След турнето Mob Rules, групата записва албум с изпълнения на живо, озаглавен Live Evil. Вътрешни проблеми обаче водят до напускането на Dio и Appice. Bill Ward се завръща на барабаните, а мястото на вокал е заето от Ian Gillan. В този състав групата записва албума Born Again, но Ward отново напуска групата, преди турнето и на негово място идва Bev Bevan. Въпреки че албумът се оказва един от най-успешните за Black Sabbath, съставът отново не се задържа дълго. Gillan се връща в Deep Purple, а Bill Ward отново се присъединява към групата. За заместник на Gillan е избран David Donato, който обаче е уволнен само след шест месеца.

                      Нарастващата популярност на Ozzy Osbourne, поставя групата в неговата сянка. Тогава Geezer Butler напуска групата. Същото прави и Tony Iommi. Geoff Nicholls, който често свири с Black Sabbath става официален член, мястото на вокала се заема от Glenn Hughes, а барабаниста Eric Singer довършва състава. Така групата издава следващия си албум Seventh Star, който под натиска на звукозаписната компания излиза като Black Sabbath featuring Tony Iommi. Още в началото на турнето Seventh Star, Hughes влиза в юмручна схватка, поради която временно губи гласа си. Налага се да бъде заменен от младия и неизвестен Ray Gillen. С него започват работа по The Eternal Idol, но финансова криза и лош мениджмънт принуждават го принуждават да напусне. Албумът е довършен с Tony Martin.

                  Следват още промени на състава, за да се стигне до 1989г., когато групата издава одобрения от критиците Headless Cross. Година по-късно той е последван от Tyr, който много считат за един от най-добрите албуми на Black Sabbath, след напускането на Ozzy Osbourne. Tyr е съпроводен от продължително турне.

                 Следват нови промени в групата, която през 1994г. издава Cross Purposes и Cross Purposes Live – комбинация от албум и видео. След поредните промери на състава, година по-късно идва и албумът Forbidden, който е и последния студиен албум на Black Sabbath.

                През 1996г. Castle Records преработвата и преиздават Eternal Idol, а с компилацията от песни от 1988г. до 1995г., озаглавена The Sabbath Stones, приключва договора между компанията и групата. Година по-късно стартира ежегодния фестивал на Osbourne - Ozzfest. От тогава до днес Black Sabbath издава двойна компилация, двойна компилация с изпълнения на живо, както и бокс сет с осем диска.

              През ноември 2005г., групата е приета в Залата на славата на британската музика, а на 13 март 2006г. Black Sabbath е приета и в Залата на славата на рокендрола.