История предшественников Шато Фронтенак началась в 1620 году, когда на вершине холма над рекой Святого Лаврентия по приказу основателя Квебека, Самюэля де Шамплена был возведен форт. Спустя некоторое время он был преобразован в замок и назван Сен-Луи в честь французского короля Людовика XIII. В нем с середины XVII века располагалось правительство французской колонии Новая Франция, в связи с чем были предприняты меры укрепления замка.
В этот период были выстроены четыре бастиона, а деревянный частокол заменен на массивную каменную стену.
В 1690 году губернатор Новой Франции, выдающийся военачальник Луи де Бюад де Фронтенак, в честь которого впоследствии назовут гранд отель, значительно укрепил замок орудиями и новыми бастионами, используя принципы военного архитектора и инженера Себастьена де Вобана. На протяжении нескольких лет Луи де Фронтенаку удавалось отразить немало атак англичан и индейцев из племени ирокезов, но сам замок требовал безотлагательного ремонта. В 1694 году в замке Сен-Луи началась масштабная перестройка, которая из-за финансовых неурядиц длилась много лет, и требовала значительных вливаний из французской казны.
В 1760 году, после победы англичан в битве при Сент-Фуа замок СенЛуи стал выполнять функции резиденции английских властей в провинции Квебек, но вскоре недостаточно просторный замок решили заменить новым строением. В 1784 году по приказу губернатора Фредерика Халдиманда началось строительство нового замка, который получил имя в честь губернатора. Возродить замок Сен-Луи в начале 19 века пытался губернатор Джеймс Генри Крейг, при котором здание было перестроено в палладианском стиле.
Но уже в 1834 году обновленный замок был уничтожен пожаром и на его руинах была выстроена деревянная терраса Дарем на набережной реки Святого Лаврентия, которая после расширения в 1878 году стала называться терраса Дафферин в честь тогдашнего генерал-губернатора Канады.
Замок Халдиманд, завершенный в 1786 году, более восьми десятилетий являлся административным зданием правительственных властей и Законодательного собрания провинции Канада. После 1866 года часть замка была отдана Университету Лаваля, а в 1892 году начался снос замка, на месте которого вскоре появились первые строения отеля Шато Фронтенак.