De Heem nació en Utrecht como Johannes van Antwerpen. Estudió primero con su padre David de Heem el Viejo (1570-1631), y después con Balthasar van der Ast. Su "segundo nombre", Davidsz, es un patronímico que hace referencia al nombre de su padre: en holandés, un nombre que termina en -sz es como -son en inglés y Mac- en escocés, que significa "hijo de" el resto del nombre. Vivió en Leiden desde aproximadamente 1625 hasta 1629, donde estudió en 1629 con David Bailly (1584- c. 1657). Su nombre profesional, "de Heem", significa literalmente "el hogar".

Se trasladó a los Países Bajos meridionales y se unió al gremio de San Lucas de Amberes en 1635 o 1636 y se convirtió en burgués de esa ciudad en 1637. Sin embargo, a menudo se ausentaba, como lo atestiguan los deberes que tenía que pagar por ello. Su extraordinario talento le valió una considerable reputación, pero apenas podía satisfacer la demanda. De Heem estaba considerado uno de los mejores pintores de su tiempo. Cobraba un buen salario y un retrato del príncipe Guillermo III rodeado de un cartucho de flores y frutas se vendió por 2.000 florines, uno de los precios más altos jamás pagados por un cuadro durante el Siglo de Oro holandés. Sus hijos trabajaron junto con él en su taller en los encargos de nuevos cuadros. Él retocaba sus trabajos y ponía su firma en los cuadros.

Permaneció en Amberes hasta 1667, cuando regresó a Utrech, donde hay registros que indican su presencia desde 1668 hasta 1671. Abandonó Utrech en 1671 cuando las tropas francesas se acercaban a la ciudad. No se sabe cuándo regresó finalmente a Amberes, pero su muerte allí está registrada en los libros del gremio.

Van Heem se casó dos veces, la primera con Alette van Weede, con quien tuvo tres hijos que sobrevivieron a su muerte en 1643, uno de los cuales, Cornelis, se convertiría en pintor de naturalezas muertas. Se casó por segunda vez en 1644 con Anna Catherina Ruckers, con quien tuvo seis hijos más, uno de los cuales fue Jan, que también se convertiría en pintor de naturalezas muertas.

Aparte de sus dos hijos, tuvo varios aprendices: Michiel Verstylen, Alexander Coosemans, Thomas de Klerck, Lenaert Rougghe, Theodor Aenvanck, Andries Benedetti, Elias van den Broeck, Jacob Marrel, Hendrik Schoock y Abraham Mignon.