De Heem nasceu em Utrecht como Johannes van Antwerpen. Ele estudou primeiro com seu pai David de Heem, o Velho (1570–1631), depois com Balthasar van der Ast. Seu "nome do meio", Davidsz, é um patronímico que se refere ao nome de seu pai: em holandês, um nome terminado em -sz é como -son em inglês e Mac- em escocês, significando "filho de" o resto do nome. Ele viveu em Leiden de cerca de 1625 a 1629, onde estudou em 1629 com David Bailly (1584- c. 1657). Seu nome profissional, "de Heem", significa literalmente "o lar".

Ele se mudou para o sul da Holanda e se juntou à Guilda de São Lucas de Antuérpia em 1635 ou 1636 e se tornou um burguês daquela cidade em 1637. No entanto, ele estava frequentemente ausente, como atestado pelos deveres que ele tinha que pagar por isso. Seu talento notável lhe rendeu uma reputação considerável. Ele mal conseguia satisfazer a demanda. De Heem foi considerado um dos maiores pintores de seu tempo. Ele era bem pago e um retrato do príncipe William III cercado por um cartucho de flores e frutas foi vendido por 2.000 florins, um dos preços mais altos já pagos por uma pintura durante a Era de Ouro holandesa. Seus filhos trabalharam com ele em sua oficina nas encomendas de novas pinturas. Ele retocou o trabalho deles e colocou sua assinatura nas pinturas.

Ele permaneceu em Antuérpia até 1667, quando voltou para Utrecht, onde os registros traçam sua presença de 1668 a 1671. Ele deixou Utrecht em 1671 quando as tropas francesas estavam se aproximando da cidade. Não se sabe quando ele finalmente retornou a Antuérpia, mas sua morte lá está registrada nos livros da guilda.

Van Heem se casou duas vezes, primeiro com Alette van Weede, com quem teve três filhos sobreviventes após sua morte em 1643, um dos quais, Cornelis, se tornaria um pintor de naturezas mortas. Ele se casou pela segunda vez em 1644 com Anna Catherina Ruckers, com quem teve mais seis filhos, um dos quais era Jan, que também se tornaria um pintor de naturezas mortas.

Além de seus dois filhos, ele teve vários aprendizes: Michiel Verstylen, Alexander Coosemans, Thomas de Klerck, Lenaert Rougghe, Theodor Aenvanck, Andries Benedetti, Elias van den Broeck, Jacob Marrel, Hendrik Schoock e Abraham Mignon.