女祠的出现是多种因素共同影响下的产物。
根据《家庭礼物》规定的要求，祭祀礼物制度应为“夫妻祠堂”和“祖先考神位于大厅的西部，祖先考神位于大厅的东部”。因此，在家庭寺庙“大厅的东部”的室内装饰女性祖先的位置，供家庭祭祀，已成为宋代徽州家庭祠堂的特色，也成为徽州女性祠堂现象的“雏形”。
到了明朝，明朝祭祀仪式制度的《大明集礼》除了综合朱子的《家礼》之外，还有《通礼》？除了祠堂内容外，龛内祖和祭神的设置更加突出。“祠堂内，以近北一架为四个壁龛，每个壁龛都有内置桌。高祖居西第一社，高祖次之；曾祖居第二社，曾祖次之；祖居第三社，祖先次之；考第四社，次之。然而，这种设置祭祀祖先的“内室”只是散落在偏远村庄的家庭“灵堂”的崇拜类型。它没有后人所说的“重宗友谊、修世好、村建祖祠、年代合族祭祀”的功能和建制。
“千丁之族，未尝散处”、“祭祀很常见，祠堂也很多。”贞孝烈妇女在徽州很常见。在徽州地方志的《列女传》中，类似节女烈女的记载数不胜数。以涉县为例，明清时期只有1952名节烈妇女，如节孝、节烈、孝贞、贞烈等。，只有皇帝下令，但很少有这些节女真正有资格建立纪念碑。在众多牌坊中，真正表现节妇烈女的屈指可数。唐越村头的七座古牌坊中，只有两座是女贞烈的标志。
面对这样的社会文化氛围和宗族规则，一些因科举而显贵的民族或因经商而发达的绅士，在祠堂祭祀时，自然会感到有些失落，心中有一种未申之情，“自私中有未安之人”，于是他们开始灵活思考，这在全国都是罕见的。
作为宗祠中专门供奉祖母的“内室”，最早的是明代弘治时期建于文昌祠的“女祠”，比涉县唐越的“清义堂”早300年。文昌祠女祠位于古徽州呈坎村前街中街，由前罗十九世祖罗弥四(号松轩)率侄罗振孙在弘治戊午年(1498年)倡导。文昌祠又称“报本堂”，是徽州知府彭泽的题目，后太师夏燕又称“罗氏家庙”，供奉前罗始祖罗天真(号文昌)。罗天真(860-？)，江西豫章世家大族子弟罗玉崖的曾孙文昌，字性夫，世居江西南昌柏林村。他的妻子朱的厚德载物，“有令德，易行足母仪”，被邻里人称为“呈坎第一孟母”。因此，后人在修建文昌祠时，设立了文昌女祠，标志着朱的美德。
与文昌祠女祠相隔118年后，被誉为“江南第一祠”的贞靖罗东舒先生祠也有与文昌祠“女祠”相同的“女祠”，比唐越早180年。贞靖罗东舒先生祠是前罗宗族的一座支祠，供奉罗氏先祖、宋末元初著名学者罗东舒。祠堂三进南侧有一个叫“则内”的内室，意思是“则内”。当地人称“则内”为女祠，罗氏女祖祖先供奉祭祀。女祠堂面积不到男祠堂的十分之一，高度只有整个建筑的三分之一。女祠堂规定，再婚妇女和所谓罪妇的精神位置不得进入主祠堂。
徽州女祠真正具有“岁时合族以祭”意义的出现在清代。清康熙时期修建的涉县潭渡黄氏黄氏享受祠、清乾隆时期罗廷梅的易善堂女祠、清嘉庆时期涉县唐越大徽商鲍启运修建的清懿堂。《潭渡黄氏族谱》卷六《祠祭》清康熙年间，潭渡黄氏宗族“九工”建造的“享受祠”“为堂五对，前有三门，后有宿舍和祠堂。而堂之崇三丈五尺，其深二十七尺，其广六丈四尺。前后称是，坚韧完好。凡祠之所应有者，也无不备。阅载后成，计白金费3.2万元。可见其气势恢宏。
此外，根据封建宗教礼制，普通母亲进入祠堂有许多限制，后代发达者为其母亲建立了一个特殊的祠堂。祁门倪氏妃祠的建设是女祠的先例。民国元年，倪望隆写了一篇文章，记载宗法制社会以直为尊，说：“我倪氏向无庶母祠公开建筑，然后观厥成。据《祁门倪氏族谱》和倪氏宗族贞一堂碑刻记载，宣统二年，元宵节第二天，倪氏宗族支祠贞一堂遭遇火灾，成为废墟。富商贾妮尚荣提出重建并捐出巨资，但遗憾的是，项目没有出人意料地死亡。他的侧室金、王二氏，“以纺织资，独自担任二廊、石池工程”，竟然终于完成了丈夫的遗愿，并“光复旧物，家庙依旧”。这一举动受到了倪氏族人民的高度赞扬，但由于“普通母亲不进入祠堂”的礼仪制度，其神主不能进入贞节，因此倪尚荣提议建造普通母亲祠堂，献祭两位神主。在《新建享受祠堂的故事》中，还记载了一个为妾母建祠堂的例子:清朝康熙丁酉之春，黄氏迁至涉西三十二世孙黄以正，带领族人。“九工是大厅里的五对。前面有三扇门，后面有唐朝和祠堂。而四堂之崇三丈五尺，其深二十七尺，其广六丈四尺。”
清代徽州女祠密集出现。除了徽州宗法祭祀礼仪制度发展变化的影响外，儒商贤达孝道文化因素的作用也是重要原因之一。一方面，随着经济文化的发展，徽州社会注重个性和良知的人文思想兴起；另一方面，徽州文人贤达对徽州祭祀仪式制度的创新促使徽州女祠应运而生。清代翰林进士罗廷梅建造的呈坎懿善堂。罗廷梅的母亲在前夫去世后再婚到罗家。她出身卑微。根据祖先的祭祀规定和女祠堂的规定，再婚妇女的精神位置不得进入主祠堂。罗廷梅作为朝廷授予翰林院的吉士，在武英殿行走、同修、奉直的医生，为了回报母亲的恩情，不违反祖先的礼仪法律法规，邀请母亲的精神位置从“那里”建造一座女祠堂，供民族和家人祭祀。因此，益善堂女祠成为徽州历史上最早与男祠分庭受礼的女祠。
随着徽州祭祀仪式制度的推广，祠堂附属“女祠”的现象很多。休宁县黄村黄氏祠堂、祁门县朱口倪氏祠堂、祁门县芦溪村王氏祠堂、涉县澄塘上头厅、涉县长龄桥郑家女祠等。
