Pierre Granier-Deferre, à l'ombre des stars