Fue hijo de Manuel Joaquín Valdivieso y Maciel y de Mercedes Zañartu y Manso de Velasco. Estudió derecho, titulándose de abogado el 23 de mayo de 1825, por la Universidad de San Felipe. Luego ingresó al seminario, fue ordenado sacerdote por el obispo de Santiago Manuel Vicuña Larraín, el 27 de julio de 1834.

Monseñor Rafael Valentín Valdivieso ejerció durante un tiempo como misionero en Chiloé y en Atacama. Al crearse la Universidad de Chile fue decano de la desaparecida Facultad de Teología. El Papa Pío IX lo designó Arzobispo de Santiago el 4 de octubre de 1847, siendo consagrado en la Catedral Metropolitana de Santiago el 2 de julio de 1848.

En su calidad de arzobispo, realizó en 1859 la visita ad limina a Roma, y participó en el Concilio Vaticano I, entre 1869 y 1870. Falleció el 8 de junio de 1878, siendo enterrado en la Catedral Metropolitana de Santiago. Después de su fallecimiento se produjo un largo periodo de vacancia, que recién fue ocupado con el nombramiento de Monseñor Mariano Casanova en el cargo en 1886.