Foi o Conde de Carvalhal quem introduziu as camélias na ilha da Madeira, cerca de 1810 e começou a colecção aqui no Palheiro com as cam. japonicas, de flores vermelha, cor-de-rosa, branca e às riscas; naquela altura é natural que a maioria das plantas tivesse vindo de Portugal continental.
Da casa da portada ao longo do caminho, até ao largo, há imensas camélias, enormes e muito antigas. Também se pode observá-las ao longo do muro da Quinta e implantadas como corta-ventos no jardim. Há também a impressionante “Avenida das Camélias”, plantada em 1890.
Nas décadas de 1950-70 Mildred Blandy implantou várias plantas inovadoras nos Jardins, incluindo cam. reticulata, sasanqua e a linda e rara Cam. Granthamiana de Hong Kong. Poderá ver estas árvores na Ribeira do Inferno, no Jardim Principal, à volta da capela e na “Casa Velha do Palheiro“ actualmente uma estalagem que faz parte do complexo.
