De Heem wurde in Utrecht als Johannes van Antwerpen geboren. Er studierte zunächst bei seinem Vater David de Heem dem Älteren (1570–1631), dann bei Balthasar van der Ast. Sein „zweiter Vorname“, Davidsz, ist ein Patronym, das sich auf den Namen seines Vaters bezieht: Im Niederländischen ist ein Name, der auf -sz endet, wie -son im Englischen und Mac- im Schottischen und bedeutet „Sohn von“ dem Rest des Namens. Er lebte von etwa 1625 bis 1629 in Leiden, wo er 1629 bei David Bailly (1584– ca. 1657) studierte. Sein Berufsname „de Heem“ bedeutet wörtlich „das Zuhause“.

Er zog in die südlichen Niederlande und trat 1635 oder 1636 der Lukasgilde von Antwerpen bei und wurde 1637 Bürger dieser Stadt. Er war jedoch oft abwesend, wie die Abgaben belegen, die er dafür zu entrichten hatte. Sein bemerkenswertes Talent verschaffte ihm einen beachtlichen Ruf. Er konnte die Nachfrage kaum befriedigen. De Heem galt als einer der größten Maler seiner Zeit. Er wurde gut bezahlt und ein Porträt von Prinz Wilhelm III., umgeben von einer Kartusche mit Blumen und Früchten, wurde für 2000 Gulden verkauft, einen der höchsten Preise, die jemals für ein Gemälde während des Goldenen Zeitalters der Niederlande gezahlt wurden. Seine Söhne arbeiteten zusammen mit ihm in seiner Werkstatt an den Aufträgen für neue Gemälde. Er retuschierte ihre Arbeiten und setzte seine Unterschrift auf die Gemälde.

Er blieb bis 1667 in Antwerpen, als er nach Utrecht zurückkehrte, wo Aufzeichnungen seine Anwesenheit von 1668 bis 1671 belegen. Er verließ Utrecht 1671, als sich französische Truppen der Stadt näherten. Es ist nicht bekannt, wann er schließlich nach Antwerpen zurückkehrte, aber sein Tod dort ist in den Gildenbüchern verzeichnet.

Van Heem war zweimal verheiratet, zuerst mit Alette van Weede, mit der er bei ihrem Tod im Jahr 1643 drei überlebende Kinder hatte, von denen eines, Cornelis, Stilllebenmaler wurde. Er heiratete 1644 ein zweites Mal Anna Catherina Ruckers, mit der er sechs weitere Kinder hatte, darunter Jan, der ebenfalls Stilllebenmaler wurde.

Außer seinen beiden Söhnen hatte er mehrere Lehrlinge: Michiel Verstylen, Alexander Coosemans, Thomas de Klerck, Lenaert Rougghe, Theodor Aenvanck, Andries Benedetti, Elias van den Broeck, Jacob Marrel, Hendrik Schoock und Abraham Mignon.