Началото е поставено случайно, когато през 1992година Серж Танкиан среща Дарън Малакиан в студио по време на записите на техните групи. Оказва се, че идеите им относно музиката, която искат да правят съвпадат напълно и така не след дълго двамата основават групата Soil. Към нея се присъединява съученикът на Дарън от арменско частно училище Шаво Одаджиан, който заема длъжността мениджър. Останалите членове на Soil са Дейв Хакопян - бас и Доминго Ларанио - барабани. Но след едно изпълнение на живо,те решават да напуснат групата. Мотивът им бил, че бандата не вървяла на никъде. Това практически слага края на Soil. Новата група в която отново участва Шаво, но този път в ролята на басист, се нарича System of a Down. Името на бандата е вдъхновено от стихотворение, написано от китариста Дарън Малакиан, озаглавено "Victims of a Down" като Шаво предложил думата "Victims", да бъде заменена със "System" . Празнотата на барабаните е запълнена от друг американски арменец - Онтроник Хачатуриан, който малко след това е заменен от Джон Долмаян. Момчетата свирят известно време в малки клубове, като в този период записват първите си три демо песни, които се радват на успех сред метъл колекционерите, достигайки дори извън границите на Америка. Това кара американската звукозаписна компания Columbia Records да подпише договор с групата през 1997година. Следващата година излиза дебютният им едноименен албум "System of a Down", който получава много добри критики от метъл обществото в Щатите. Особено успешни са синглите "Sugar" и "Spiders". System of a Down привлича любопитството на слушателите с нестандартното си звучене и арменските фолклорни елемeнти и ритми, съчетани с тежкия метъл саунд. На практика на музикалната сцена се появава един напълно нов стил, съчетаващ основите на много наглед несъвместими един с друг стилове - от блусарски хармонии и прочувсвени мелодии до брутални китарни рифове и ревове, присъщи за дет метъла.  Прави впечатление и сериозната политическа ангажираност на песните, а албумът включва и песента "P.L.U.C.K." ( Politically Liyng Unholy Cowardly Killers), посветена на геноцида  над арменския народ, упражняван от турците в началото на миналия век. Следват многобройни турнета, най-вече като подгряваща група на Slayer и участия по фестивали през 1998 и 1999.

Големия си пробив System of a Down осъществява през 2001 година с издаването на втория си албум "Toxicity", който дебютира на първата позиция в чартовете на Америка и Канада. Продажбите достигат до 12 милиона копия в целия свят и двоен платинен статус в Австралия. Стилът е също толкова безкомпромисен, наситен с тежки рифове и агресивни вокали, редувани с прочувствени мелодии и меки вокални партии по подобие на първия албум, но тук песните са с малко по-ясно дефинирана структура, а не толкова хаотични в сравнение с мнозинството от дебюта. Китаристът Малакиан също взима повече участие във вокалите. Сингълът "Chop Suey!" се превръща в най-големият им комерсиален успех до момента. С успех се увенчават и синглите "Toxicity" и "Aerials", последната съдържаща изцяло арменско аутро с арменски национални инструменти.

На 26 ноември 2002 излиза третият албум на System of a Down - "Steal This Album!, който съдържа неиздавани песни, записани по време на сесиите по предните два албума и в по-ранните периоди на групата. Наречен е така, защото много преди издаването му повечето от песните са разпространени в Интернет. Албумът продава над 2 милиона копия и отново достига платинен статус в Австралия.

На 22 ноември същата година излиза и "Hypnotize", малко след появяването на пилотния едноименен сингъл от албума. Втората част от проекта "Mezmerize/Hypnotize" също както предшественика си дебютира на първа позиция в американските музикални класации, с което System of a Down се превръща в първата група в историята, изкачила два свои студийни албума до първото място в рамките на една и съща година. Музиката в "Hypnotize" като цяло е по-твърда и динамична в сравнение с тази от "Mermerize", но следваща сходна инструментална и текстова насока, придавайки своеобразна завършеност на проекта.17 май 2005 е официалната дата на издаването на третия официален и четвърти по ред студиен албум на групата, озаглавен "Mezmerize", който всъщност е само първата част от замисления като двоен албум "Mezmerize/Hypnotize". Членовете на System of a Down обаче решават да издадат двата албума поотделно в период от шест месеца, за да не се струпат прекалено много песни наведнъж, което би направило по-трудно оценяването на всяка една отделна песен от слушателя. По думите на китаристът, главен текстописец и композитор- Дарън Малакиан, песните за двата албума са избрани измежду близо 300 написани от него композиции, повечето от които никога няма да бъдат издадени. Първият сингъл от албума, появил се на пазара, е парчето "B.Y.O.B."( Bring Your Own Bombs), към който е заснет и видеоклип. Етническите американци не изневеряват на стила си, съчетавайки редица стилове и резки смени на темпото, но този път мелодичните пасажи са застъпени в по-голяма степен отколкото в предните два официални албума, а арменските мотиви са значително по-малко. Въпреки твърдението на членовете, че System of a Down не е политическа група, текстовата насока на песните в албума отново съдържа множество протестни нотки и критики основно към политиката ("B.Y.O.B.", "Sad Statue") и културата ("Radio/Video", "Violent Pornography", "Lost in Holywood") на САЩ. Албумът, по подобие на "Toxicity", дебютира на първа позиция в американските класации, както и в много други държави и получава изключително позитивни критики и коментари от фенове и специалисти. Още в първата седмица след издаването му са продадени над 800 000 копия в целия свят.

Продажбите на петте им студийни албума надхвърлят 24 милиона копия в целия свят.

Последното им представяне на сцена е на 13 август 2006.Тогава Малакиян казва : "Тази вечер ще е последното ни шоу заедно.Свирим от доста време. Ще се съберем отново, обещавам ви, но кога и къде ще е това- никой не може да каже.Да.Аз ще се чувствам добре и щастлив. Мога да предпочитам тази ситуация [разцепването на групата] повече, отколкото мога да предпочитам ситуацията, когато двама души са като "главния изпълнител изчука приятелката ми!" и такива глупости. Не, човече. Основния изпълнител е специален човек за мен и аз съм с него. А това как ние приключваме на разстояние. Също с Шаво, както и с Джон. И винаги ще бъде. То беше голяма част от живота ми. Бяхме заедно на сцената за дълго време, човече. Ще премина през лайна със банда и приятели - ние спахме в каравана заедно!"

На 31 октомври 2009 година групата се събира (без Серж) за тържество, организирано от басиста Шаво, за Хелоуин.Към тях се присъединява Franky Perez от "Scars on Broadway".Шоуто им включва класиката на System "Suite-Pee", както и "They Say" на Scars.Три седмици по-късно Дарън, Шаво и Джон, отново се появяват на сцена.Това става във връзка с благотворителен търг по набирането на средства за лечението на Чи Ченг (басист на "Deftones").Тримата, подкрепени от вокала на "Deftones", изпълняват пред екзалтираната публика две от парчетата на "System of a Down", а именно "Aerials" и "Toxicity".