台東舊稱「埤南覓」，俗稱「後山」，從前是原住民群居的地方，直到清朝康熙年間，漢人才到台東從事貿易和農耕。光緒元年，清政府在後山設卑南廳，光緒十年，提督張兆連率鎮海後軍營設在今台東市中華路。光緒十三年台灣建省，卑南廳升格為台東直隸州。光緒十四年六月，因水尾墾撫局的委員雷福海征收各地田畝清丈費過苛，大庄客民劉添旺結合附近墾民及平埔族人起事，七月戰火延燒到埤南，呂家望（今卑南鄉利家村）等山胞部落起兵燒毀埤南廳署，圍攻張統領的鎮海後軍，堡壘內沒有水井，官兵們口渴得已經無法忍受，張統領命陳添等人臨時挖井，挖了九仞深，還沒有得到泉水，於是張燒香向媽祖膜拜禱告，說也奇怪，剎那間甘泉立即湧出，軍心大振。苦守半個月後，台灣巡撫劉銘傳派援軍乘輪船趕到，事件因而平定。光緒十五年，張兆連提督為感謝媽祖的救助，捐俸倡議建廟感恩，並發動部屬及地方士紳共襄盛舉。同年秋派員前往前山採辦各類建築材料，歷時一年落成，光緒皇帝賜頒「靈昭誠佑」匾額一幅。
原廟地址建於現台東市和平街之東禪寺，民國十九年因地震龜裂，決定遷建。由善土吳錦麟先生捐出現址一千六百餘坪土地，地方聞人林舍、陳冬路、賴金木、張宜春、林江寧等人，向全省各地信徒籌募經費。建於今中華路現址﹔歷時三年，民國二十二年落成。
民國三十三年，盟軍在本省大規模空襲，當時台東街道滿目瘡痍，災情慘重，媽祖廟遭盟機攻擊數顆巨型炸彈擲下，都未命中，安然無恙，民眾驚奇更敬服媽祖的神力。
民國二十二年新廟落成後，首任主持人張之遠先賢因年邁功成身退，地方士神公推賴金木主持廟務。民國三十四年台灣光復後，賴君等發起募捐將廟宇重予整修，民國三十七年三月完工。賴君卸任後，由林江寧接任，其後由劉燦英主持。民國四十三年起由地方名紳林錦泉掌理廟務，民國五十一年十一月舉行平安醮。民國六十五年四月成立台東天后宮管理委員會，推選林錦泉哲嗣林獻堂為主任委員，敦聘洪國貞為總幹事、隨後有林寶漳等續接總幹。迄今有一百一十九年歷史，允為東台灣首屈一指的宗教信仰中心，現任主委為林獻堂之弟林有德。