Siglos XII a XIV
En los primeros tiempos del Período Heian aparecieron unas grietas en la espalda del Gran Buda, así que se erigió un montículo de tierra detrás suyo para evitar que se desmoronase. En el año 855 se cayó la cabeza de la estatua a consecuencia de un terremoto y tuvo que ser reparada.
El Pabellón del Gran Buda así como otras muchas dependencias del complejo del templo Tōdai-ji tuvieron que ser reparadas numerosas veces debido a incendios u otros desastres naturales. De cara a obtener los fondos necesarios para estas actividades, así como los necesarios para impulsar el estudio de la doctrina budista, el Tōdai-ji consiguió aprovechar el sistema vigente para administrar una serie de territorios a lo largo del país. Sin embargo, a finales del Período Heian esta cuestión de los territorios administrados se convirtió en un fuerte motivo de fricción entre el templo y el poderoso clan de los Taira, y en el año 1180 las fuerzas de Taira no Shigehira prendieron fuego al templo, reduciéndolo en su mayor parte a cenizas.
La figura responsable de la mayor parte de la reconstrucción del templo fue el monje Chōgen. Desde que en 1181 fue nombrado Jefe de recaudación de donativos a la edad de 61 años, Chōgen pasó cerca de veinte años dedicado a restaurar el templo, recibiendo apoyo financiero por parte del emperador emérito Go-Shirakawa y del Shōgun, Minamoto no Yoritomo, entre otros.
Chōgen comenzó por la reparación de la cabeza y la mano izquierda del Gran Buda, para lo cual contó con la ayuda de Chen He Qing, un herrero de la China de los Song, y la imagen completa volvió a ser consagrada en el 1185. Acto seguido, dirigió su atención a la reconstrucción del Pabellón del Gran Buda. Al principio Chōgen tuvo dificultades para obtener suficiente madera pero, una vez que el gobierno proveyó al templo con tierras en la provincia de Suō (parte de la actual Prefectura de Yamaguchi), los trabajos progresaron a gran velocidad. La ceremonia para festejar la finalización del Pabellón tuvo lugar en el 1195. En los años siguientes se fueron completando el resto de las dependencias del recinto del complejo budista y de esta manera, el templo conoció una gran prosperidad.