Dzimis 1897. gada 20. novembrī Azerbaidžānā armēņu dzelzceļa strādnieka ģimenē. Beidzis dzelzceļnieku skolu Tiflisā. Sākoties Pirmajam pasaules karam, brīvprātīgi iestājās Krievijas impērijas armijā. 1917. gadā beidza praporščiku skolu. Pēc Februāra revolūcijas pieslējās dašnakiem un neatkarīgās Armēnijas armijas sastāvā piedalījās cīņās pret turkiem, arī Armēnijai izšķirošajā Sardarapatas kaujā 1918. gada 21. - 29. maijā. Tomēr 1920. gada maijā Bagramjans piedalījās neveiksmīgā dumpī pret dašnaku valdību un tika arestēts. 1920. gada decembrī, kad Aizkaukāzu ieņēma Padomju Krievijas spēki, iestājās Sarkanajā armijā.
Starp pasaules kariem 1924. gadā mācījās Augstākajā kavalērijas skolā un 1931. gadā - Mihaila Frunzes Kara akadēmijā. No 1936. līdz 1938. gadam mācījās Ģenerālštāba Kara akadēmijā. 1941. gadā (netipiski vēlu to laiku kontekstā) iestājās boļševiku partijā. Pēc Vācijas iebrukuma PSRS 1941. gada jūnijā Bagramjans bija Kijevā bāzētā Ziemeļrietumu frontes štāba priekšnieka vietnieks. Piedzīvoja Ziemeļrietumu frontes sagrāvi Kijevas kaujā 1941. gada augustā - septembrī. 1942. gada pavasarī Bagramjans bija viens no padomju karaspēkam neveiksmīgās Otrās Harkovas kaujas (1942. gada 12. maijs - 25. maijs) plānotājiem. No 1942. gada jūlija līdz 1943. gada aprīlim Bagramjans bija Sarkanās armijas 16. armijas komandieris. Vēlāk Bagramjans bija viens no operācijas "Kutuzovs" plānotājiem, kuras rezultātā 1943. gada jūlijā - augustā vācu armija tika padzīta no Orlas. 1943. gada 19. novembrī Bagramjans tika iecelts par Pirmās Baltijas frontes pavēlnieku. Būdams frontes pavēlnieks, Bagramjans vadīja Baltkrievijas ziemeļu, Baltijas valstu un vēlāk - Austrumprūsijas ieņemšanu.
Pēc kara līdz 1955. gadam Bagramjans bija Latvijā, Lietuvā un Kaļiņingradas apgabalā dislocēto padomju karaspēka daļu - Baltijas Kara apgabala virspavēlnieks. Dzīvoja Hamburgas ielā 9 Mežaparkā, (mūsdienās tā ir Vācijas vēstnieka rezidence). Aktīvi piedalījās Latvijas PSR vadīšanā, būdams LKP CK biroja loceklis. Vēlāk darbojies augstos amatos Maskavā. No 1955. gada - PSRS maršals. No No 1955. līdz 1968. gadam (ar pārtraukumu) - PSRS Aizsardzības ministra vietnieks. No 1961. gada - PSKP CK loceklis. Miris 1982. gadā.