继母虐待，他不堪羞辱，逃离家中后又不幸被蒙古人俘虏，成为马奴，他的主人就是俺答汗。至青年时，一次随俺答汗狩猎，忽然突出一只斑斓猛虎现身，直扑俺答汗。众人登时惊慌逃避，唯独马芳面不改色，弯弓搭箭，当场击毙猛虎。俺答汗对马芳赞赏不已，赠予他良弓矢，善马，还命他侍左右。
嘉靖十六年，他乘跟随俺答汗至临近明朝边镇的大同外围狩猎之机，趁夜盗马逃出，连夜投奔至大同军营。十多年来，马芳与蒙古人野战，多次获胜，是明军中最了解俺答汗的人，也是最令俺答汗头疼的人。
此时恐怕也只有马芳能力挽狂澜了，嘉靖当即拍板说道：“升宣府镇游击马芳为左都督，充大同镇总兵官，发内帑银五万以助军用。”
杨博领命后当天就出发赶往大同。