魔刚刚不幸降级。

同年10月，弗格森开始担任第二级别球队圣米伦队主帅，执教该队4个赛季，获得了1次第二级别联赛冠军。

1978年8月，弗格森开始执教阿伯丁，在执教该队的8年多时间里，弗格森率队夺得了3个苏超联赛冠军、4个苏格兰杯冠军、1个苏格兰联赛杯冠军和1个欧洲超级杯冠军。1982-83赛季，在该季的欧洲优胜者杯赛场，弗格森率领阿伯丁一路过关斩将杀入决赛，在决赛中以2-1击败皇马夺得冠军，次年，弗格森获得obe勋章。

1986年11月，曼联解雇了阿特金森，弗格森最终答应了红魔的邀请开始执教曼联，从此，整个欧洲都见证了一部史诗大片的上映。

当时，曼联排名第21位，联赛倒数第二濒临降级，在弗格森的努力下，曼联最终以第11名的位次结束了那个赛季。在此后执教曼联的第一个完整赛季里，弗格森率队获得了第2名，以9分之差落后于冠军队利物浦。1988年夏天，弗格森从巴萨买回了马克-休斯，正当弗格森准备在88-89赛季大张旗鼓时，老天爷再次跟他开了一个玩笑，那个赛季，曼联最终仅名列第11位。

89-90赛季，曼联开局很好，4-1击败卫冕冠军阿森纳，但随后1-5惨败给了同城死敌曼城让球队士气大损，球迷们在老特拉福德打出横幅“给了你三年时间，你仍然是个垃圾。弗格森滚蛋。”跟队记者也都在劝弗格森辞职，后来，弗格森描述1989年12月份是他执教生涯最黑暗的时光。

伴随着7场不胜，曼联在足总杯第3轮中抽到了诺丁汉森林。

彼时森林队状态极佳，很多人分析只要弗格森输掉这场球就会下课，但曼联却在客场1-0艰难击败由传奇教头克拉夫率领的森林队，士气大振的曼联一路晋级到决赛，并在决赛重赛中1-0击败水晶宫夺冠，从此，再也没有人提下课的事儿。90-91赛季，曼联虽然在联赛中最终排名第6，但顺利打进了欧洲优胜者杯的决赛，并在决赛中以2-1击败了那个赛季的西甲冠军、号称梦一队的巴萨，这同时也是吉格斯的处子赛季。

此后，弗格森几乎每个赛季都会为曼联带来冠军。

91-92赛季，弗格森率领曼联夺得了联赛杯冠军和欧洲超级杯冠军，但在联赛冠军争夺战中输给了利兹联。