以孔子为主祀的曲阜孔庙从什么时候开始,史书没有记载。从《史记·孔子世家》记载来看,当时人们似乎更重视孔子的坟墓。据司马迁记载,孔子去世后葬在鲁城北面的泗水岸边,弟子们都在心里为他服丧三年。三年心丧完毕,大家道别离去时相对而哭,又各尽哀,有的则留了下来。子贡在墓旁搭一间小房住下,守墓总共六年,然后才离去。弟子及鲁国他人,相率前往墓旁居住的一百多家。当地人把这里命名为“孔里”。

　　鲁国世世代代相延续,每年都定时到孔子墓前祭拜,儒生们也会来这里讲习礼仪。此时,孔子的墓地有一顷大。孔子故居的堂屋以及弟子们所居住的内室,后来改成庙,借以收藏孔子生前穿过的衣服,戴过的帽子,使用过的琴、车子、书籍等,直到汉代,二百多年间没有废弃。高皇帝刘邦经过鲁地,用牛羊猪三牲俱全的“太牢之礼”祭祀了孔子。

　　司马迁曾到过曲阜,实地考察过孔子的遗迹,他“北涉汶泗,讲业齐鲁之都,观孔子之遗风”,因此记载是可信的。按照古代的礼仪,孔庙应该是举行祭祀活动的主要场所,司马迁为什么只记述孔子墓的祭祀,而不记述孔庙的祭祀活动呢?有学者认为,司马迁去考察时,曲阜孔庙仍是孔氏的家庙,家庙由孔子的子孙进行祭祀,没有必要记述,而儒生、皇帝、诸侯卿相在孔子墓的祭祀有助于为孔子增辉添彩,所以司马迁才专门进行记述。

　　孔子去世后,奉祀在曲阜自家的家庙内,故居只陈放孔子生前服用的衣冠、乘坐的车子和使用过的琴和书等,相当于纪念馆。为孔子独立设庙,则应该是在孔子孙子子思去世后开始的。