Nästan en fjärdedel av alla i Chefspanelen har upplevt att de blivit orättvist behandlade på grund av sin ålder.