Le prototype du Mirage IV effectue son 1er vol le 17 juin 1959. Le premier appareil de série quant à lui, vol effectue son vol initial en décembre 1963 pour être livré à l'Armée de l'Air en février de l'année suivante. La série s'achève avec le Mirage IV A n°62 qui est livré en mars 1968.
9 escadrons de bombardement ainsi qu'un escadron d'instruction seront dotés de cet appareil jusqu'en 1976, année qui voit la dissolution de 3 escadrons en Juillet.
L'escadron de bombardement 1/91 Gascogne, qui renaît le 1er juin 1964, est la première unité des Forces Aériennes Stratégiques (FAS) à mettre en œuvre ce nouveaux bombardier. L'escadron est officiellement déclaré opérationnel sur Mirage IV A le 1er octobre 1964 sur la base de Mont de Marsan (Landes). L'EB 2/91'Bretagne', second escadron sur Mirage IV, est constitué en décembre. Il est basé à Cazaux. Puis, en février de l'année suivante, c'est au tour de la base d'Istres d'accueillir un escadron de bombardement, l'EB 1/93 'Guyenne'. La base d'Orange se voit affecter l'escadron 2/93 'Cévennes', opérationnel au cours de l'été.
La même année voit l'installation de l'EB 3/91 'Beauvaisis' à Creil (juin), de l'EB 3/93 'Sambre' sur la base de Cambrai (août), l'EB 2/94 'Marne' à St-Dizier (octobre) et finalement de l'EB 1/94 'Bourbonnais' à Avord en décembre 1965. Au début 1966 (février), s'installe à Luxeuil l'EB 3/94 'Arbois', dernier escadron constitué. Il est à noter que le CIFAS 328 utilise déjà le Mirage IV depuis mai 1964.
Le 1er juillet 1976 voit la dissolution de 3 escadrons : les EB 3/91, 3/93 et 1/94. L'EB 1/93 'Guyenne' quitte sa base d'Istres pour celle d'Avord où il devient EB 1/94. L'Escadron de Bombardement EB 2/93 devient 3/91 tout en conservant le nom de 'Cévennes' et en restant sur sa base d'Orange. Ce dernier, ainsi que l'EB 3/94 'Arbois' sont dissous en octobre 1983.
L'appareil aura connu quelques évolutions notables au cours de sa vie opérationnelle. Ainsi, dès octobre 1979, le ministère de la Défense prend la décision de transformer 15 Mirage IVA en Mirage IVP ('P' pour pénétration). Cet appareil intègre un nouveau SNB, des systèmes ECM améliorés et surtout la capacité d'emport et de tir du missile ASMP destiné à remplacer la bombe à chute libre AN 22.
En juin 1983 est réalisé le 1er tir de ce nouveau missile. Le mois suivant, la loi de programmation militaire 1984-1988 porte à 18 le nombre d'appareils transformés.
Le système d'armes Mirage IVP/ASMP entre en service opérationnel en mai 1986.