De Heem nacque a Utrecht come Johannes van Antwerpen. Studiò prima sotto il padre David de Heem il Vecchio (1570–1631), poi sotto Balthasar van der Ast. Il suo "secondo nome", Davidsz, è un patronimico che si riferisce al nome del padre: in olandese un nome che termina in -sz è come -son in inglese e Mac- in scozzese, che significa "figlio di" il resto del nome. Visse a Leida dal 1625 al 1629 circa, dove studiò nel 1629 sotto David Bailly (1584- c. 1657). Il suo nome professionale, "de Heem", significa letteralmente "la casa".

Si trasferì nei Paesi Bassi meridionali e si unì alla Corporazione di San Luca di Anversa nel 1635 o 1636 e divenne un borghese di quella città nel 1637. Tuttavia era spesso assente, come attestato dai doveri che dovette pagare per questo. Il suo notevole talento gli fece guadagnare una notevole reputazione. Riuscì a malapena a soddisfare la domanda. De Heem era considerato uno dei più grandi pittori del suo tempo. Era ben pagato e un ritratto del principe Guglielmo III circondato da un cartiglio di fiori e frutta fu venduto per 2000 fiorini, uno dei prezzi più alti mai pagati per un dipinto durante il Secolo d'oro olandese. I suoi figli lavorarono insieme a lui nel suo laboratorio alle commissioni per nuovi dipinti. Ritoccò le loro opere e appose la sua firma sui dipinti.

Rimase ad Anversa fino al 1667, quando tornò a Utrecht, dove i registri tracciano la sua presenza dal 1668 al 1671. Lasciò Utrecht nel 1671 quando le truppe francesi si stavano avvicinando alla città. Non si sa quando tornò finalmente ad Anversa, ma la sua morte lì è registrata nei libri della corporazione.

Van Heem si sposò due volte, prima con Alette van Weede con la quale ebbe tre figli sopravvissuti alla sua morte nel 1643, uno dei quali, Cornelis, sarebbe diventato un pittore di nature morte. Si sposò una seconda volta nel 1644 con Anna Catherina Ruckers, dalla quale ebbe altri sei figli, uno dei quali fu Jan, che sarebbe diventato anche lui un pittore di nature morte.

Oltre ai suoi due figli, ebbe diversi apprendisti: Michiel Verstylen, Alexander Coosemans, Thomas de Klerck, Lenaert Rougghe, Theodor Aenvanck, Andries Benedetti, Elias van den Broeck, Jacob Marrel, Hendrik Schoock e Abraham Mignon.