Nacido en el suroeste de Washington el 30 de enero de 1835, Pastor abandonó la escuela a los 13 años y empezó a trabajar como ayudante de fontanero. Finalmente, se abrió paso hasta convertirse en el dueño de la empresa de fontanería. Luego invirtió los beneficios de esa empresa en el desarrollo de bienes raíces
Pastor mantuvo en Washington siendo un magnate de bienes raíces y miembro célebre e influyente de la sociedad en 1876, sin embargo, declaró la quiebra personal y, una vez que sus cuentas se liquidaron, se trasladó con su familia a Batopilas ,México , donde hizo una fortuna en las minas de plata e instituyó muchas de las mismas reformas que había defendido en el Distrito de Columbia.
Murió en Batopilas en México el 12 de septiembre de 1902, por complicaciones de una cirugía para extirpar su apéndice Su cuerpo fue devuelto a Washington y enterrado en Rock Creek Cementerio .
