Esta palabra no es insulto grave, pero sí despectiva.

Viene de fustán, que es una tela pachoncita a la que algunas personas desocupadas se divertían o pasaban el rato arrancándole lo pachón o lanosidad. A esos tipos que no tienen oficio ni beneficio les llamaban pela-fustanes.