Dzimis 1897. gada 20. novembrī Azerbaidžānā armēņu dzelzceļa strādnieka Hačatura Bagramjana ģimenē. Mācījās dzelzceļnieku skolā Tiflisā. Sākoties Pirmajam pasaules karam, brīvprātīgi iestājās Krievijas Impērijas armijā. 1917. gadā beidza praporščiku skolu. Pēc Februāra revolūcijas pieslējās dašnakiem un Armēnijas Pirmās republikas armijas sastāvā piedalījās cīņās pret turkiem, arī Armēnijai izšķirošajā Sardarapatas kaujā 1918. gada 21. - 29. maijā. Tomēr 1920. gada maijā Bagramjans piedalījās neveiksmīgā dumpī pret dašnaku valdību un tika arestēts. 1920. gada decembrī iestājās Sarkanajā armijā.
No 1924. gada mācījās Augstākajā kavalērijas skolā, tad no 1931. gada Mihaila Frunzes Kara akadēmijā, no 1936. līdz 1938. gadam Ģenerālštāba Kara akadēmijā Maskavā. 1941. gadā (netipiski vēlu to laiku kontekstā) iestājās boļševiku partijā.
Pēc Vācijas iebrukuma PSRS 1941. gada jūnijā Bagramjans bija Kijivā bāzētā Ziemeļrietumu frontes štāba priekšnieka vietnieks. Piedzīvoja Ziemeļrietumu frontes sagrāvi Kijivas kaujā 1941. gada augustā - septembrī. 1942. gada pavasarī Bagramjans bija viens no padomju karaspēkam neveiksmīgās Otrās Harkivas kaujas (1942. gada 12. maijs - 25. maijs) plānotājiem. No 1942. gada jūlija līdz 1943. gada aprīlim Bagramjans bija Sarkanās armijas 16. armijas komandieris. Vēlāk Bagramjans bija viens no operācijas "Kutuzovs" plānotājiem, kuras rezultātā 1943. gada jūlijā - augustā Vērmahts atkāpās no Orlas. 1943. gada 19. novembrī Bagramjanu iecēla par Pirmās Baltijas frontes pavēlnieku. Būdams frontes pavēlnieks, Bagramjans vadīja Baltkrievijas ziemeļu, Baltijas valstu un vēlāk - Austrumprūsijas ieņemšanu.
Pēc kara līdz 1955. gadam Bagramjans bija Latvijā, Lietuvā un Kaļiņingradas apgabalā dislocēto padomju karaspēka daļu - Baltijas Kara apgabala virspavēlnieks. Dzīvoja Hamburgas ielā 9 Mežaparkā, (mūsdienās tā ir Vācijas vēstnieka rezidence). Aktīvi piedalījās Latvijas PSR vadīšanā, būdams LKP CK biroja loceklis. Vēlāk darbojies augstos amatos Maskavā. No 1955. gada - PSRS maršals. No 1955. līdz 1968. gadam (ar pārtraukumu) - PSRS Aizsardzības ministra vietnieks. No 1961. gada - PSKP CK loceklis. Miris 1982. gadā.