Situado en la plaza de Benavente, toma su nombre del jerezano don Pedro Benavente y Cabeza de Vaca, veinticuatro de la ciudad y su Alférez Mayor en el siglo XVI. Ocupa un área urbana que corresponde al centro histórico de Jerez.

Su entorno constituye una trama urbana hereditaria de la trama urbanística medieval y configura el típico trazado de las ciudades hispanomusulmanas.

El palacio, que ha sufrido diversas modificaciones a lo largo de su historia, conserva un espléndido patio de hondo sabor clásico con ornamentación de los escudos del linaje de sus antiguos moradores y altorrelieves alegóricos de las virtudes.

La fachada actual es neoclásica, obra de José de Vargas, que sustituyó a la primitiva clásica del mismo estilo que el patio.

Frente a este palacio se encuentra el que fuera palacio Dávila.