Efendilik, Şarkiyatçılık ve Kölelik