少年時代の旧友ロデリック・アッシャーから突然の手紙を受け取った語り手は、荒涼としたアッシャー家の屋敷にたどり着く。数年ぶりに合ったロデリックは、アッシャー家特有の治療のしようがない神経疾患にかかり、苦しんでした。病の原因は、最愛の双子の妹マデラインが長い重病のために死に瀕しているからであった。 語り手はアッシャー家に滞在し、その間ともに書物を読んだり、ロデリックの弾くギターを聴いたりして時を過ごす。やがてある晩、ロデリックは妹マデラインがついに息を引き取ったことを告げ、二人はその亡骸を棺に納め地下室に安置する。この妹の死によって、ロデリックの錯乱は悪化していく。 それから7，8日経った晩、二人は窓から、屋敷全体がぼんやりと光る雲に覆われているのを見る。この奇怪な光景がロデリックの病状に障ることを恐れた語り手は、ランスロット・キャニングの『狂気の遭遇』を朗読しロデリックの気を紛らわせようとする。 しかし物語を読み進めるうち、その本の内容と呼応する不気味な音が屋敷のどこかから響いてくる。その音はだんだん近づいてき、ロデリックはその音が妹が棺をこじ開け、地下室を這い登ってくる音であって、自分は妹を生きていると知りながら棺の中に閉じ込めてしまっていたのだと告白する。不気味な恐怖にロデリックと語り手の運命はどうなる。