萬仞宮牆是孔廟建築體系中的最南邊的正門，一般以城牆的形式體現。其名字的出處來源於《論語·子張》：
屏南文廟萬仞宮牆
“
叔孫武叔語大夫於朝曰：「子貢賢於仲尼。」子服景伯以告子貢。子貢曰：「譬之宮牆，賜之牆也及肩，窺見室家之好。夫子之牆數仞，不得其門而入，不見宗廟之美、百官之富。得其門者或寡矣。夫子之云，不亦宜乎？」
”
其大意是說，叔孫武叔在朝上對大臣們說：「子貢比孔子的學問還要淵博。」子服景伯告訴了子貢。子貢說：「人的學問好比宮牆，我的這道牆不足肩頭高，別人很容易看到裡面的房舍有多好看。老師的牆有好幾仞高，只有找到了門，走進去，才能看到牆內雄偉的建築。可惜能找到門的人畢竟很少。所以叔孫大夫這樣評價老師的學問，不也是很正常嗎？」
故此，後世多以「賜牆及肩」作為自認才疏學淺的自謙之語；又以「萬仞宮牆」形容孔子學問淵博，藉此讚揚孔子崇高的思想。