Pénalités de la CAF suite à défaut de déclaration de pension alimentaire

Ressenti de l'usager : Négatif

Suite à une séparation d'avec mon compagnon nous avons rédigé un protocole d'accord avec l'aide d'un avocat
Nous avons 3 enfants et au regard de la différence de revenus nous avons décidé que mon compagnon prendrait fiscalement les 3 enfants, que j'aurais de mon côté les aides de la CAF et qu'il me verserait une pension alimentaire.
Les impôts nous ont confirmé que cette pension étant défiscalisée je n'avais pas à la déclarer dans mes revenus et mon compagnon ne la déduirait pas de ses revenus imposables.
Suite à un contrôle de la CAF j'ai appris que j'aurais néanmoins dû déclarer la pension dans mes déclarations trimestrielles à leurs services. (je ne trouve nulle part mention de cette obligation)
J'ai donc remboursé immédiatement les trop-perçus en signe de ma bonne foi.
Plusieurs mois après je reçois une notification de pénalités pour un montant de 3455 €.
Cette somme est conséquente et je souhaiterais pouvoir faire appel et défendre mon point de vue de vive voix.
Quels sont mes recours ?
Merci