La villa si pone nella zona alta del centro storico di Portoferraio, sopra il terrazzo che si crea naturalmente, formato dalle colline, alla cui base sorgono i fortini Stella e Falcone. Il palazzo si erge all'interno di uno dei bastioni del perimetro fortificato della città. Il nome deriva dalla presenza in passato di quattro mulini, favorita all'abbondante ventilazione e indispensabili al fabbisogno di una piazzaforte. Questi mulini furono poi distrutta prima all'arrivo di Napoleone.