Niels Arestrup nait en 1949 à Montreuil-sous-Bois d’une famille d’origine danoise. Après le lycée il s’inscrit au court d’art dramatique de Tania Balachova. Il débute sa carrière sur les planches dans la troupe de Jean Gillibert et en 1972 il joue dans Crimes et Chatiment de Dostoïevski.
Sa carrière au théâtre est marquée par de nombreux rôles du répertoire classique.
Parallèlement il débute au cinéma, en 1973 dans Miss O'Gynie et les hommes fleurs de Samy Pavel. Il hérite souvent de seconds rôles sombres, et collectionne les rôles de méchants (La Dérobade de Daniel Duval, Diesel de Robert Kramer, Les loups entre eux de José Giovanni, La Rumba de Roger Hanin). Dans les années 80, les réalisateurs lui offrent dorénavant des rôles principaux (Le futur est une femme, Ville étrangère, La tentation de Vénus).
Après une parenthèse pour se consacrer aux planches, l'acteur revient sur le grand écran en 2000 avec Le pique-nique de Lulu Kreutz de Didier Martiny et Parlez-moi d'amour de Sophie Marceau en 2002. 
En 2006, son rôle dans De battre mon cœur s'est arrêté lui vaut le César du meilleur acteur dans un second rôle. Il réitère la performance, à nouveau dans un film de Jacques Audiard, Un Prophète, en 2010.
En 2006 il devient réalisateur avec Le Candidat dans lequel il dirige Yvan Attal et Maurice Bénichou. Puis il enchaine les tournages et les nominations : L'homme qui voulait vivre sa vie (2010) (nommé pour le César du meilleur acteur dans un second rôle), Je n'ai rien oublié (2011), A perdre la raison (2012) et Quai d'Orsay (2013) (César du meilleur acteur dans un second rôle). Il est également nommé comme meilleur acteur pour le film Diplomatie de Volker Schlondorff puis à nouveau en 2018 comme meilleur acteur dans un second rôle pour le film Au revoir là-haut d’Albert Dupontel. Depuis 2016 on le retrouve aussi au théâtre (Acting de Xavier Durringer) et à la télévision dans la série Baron Noir de Ziad Doueiri.
En 2018 il était à l’affiche de At Eternity’s Gate de Julian Schnabel.