Легенда о нем восходит к средневековым временам. Однажды посланник наследственного главы клана появился в замке Огилви с весьма неприятным сообщением. Разгневанные хозяева запихали вестника в его собственный барабан и сбросили со стен замка. Перед тем как испустить дух, барабанщик пообещал своим палачам, что будет отравлять им жизнь визитами с того света.

В течение нескольких столетий семью Огилви преследовал невидимый барабанщик: зловещая дробь неизменно предшествовала смерти кого-либо из членов графского рода. И потому всякий раз, когда Огилви слышали бой невидимого барабана, их охватывал панический ужас: кто следующий и когда именно?

Одним из самых знаменитых является случай, имевший место в рождество 1844 года, когда мисс Далримпл находилась в замке в качестве гостьи. В первый же вечер своего пребывания в замке Кортахи она переодевалась к ужину и внезапно услышала барабанную дробь где-то под отведенной ей комнатой. За ужином гостья поинтересовалась у своих хозяев, лорда и леди Эрли-Огилви, кто стучал в барабан. К ее изумлению, лорд Эрли побледнел, а у его супруги резко испортилось настроение. Нехотя хозяйка замка поведала мисс Далримпл фамильную легенду и добавила, что в последний раз, когда люди слышали дробь барабана, умерла первая жена лорда Эрли.

Шесть месяцев спустя леди Эрли умерла в Брайтоне, оставив после себя записку, в которой сообщала, что барабанная дробь предназначалась ей. Трагическое событие даже породило слухи о том, что женщина совершила самоубийство, чтобы не нарушать неотвратимости проклятия, висевшего над родом.

19 августа 1849 года барабанную дробь непонятного происхождения услышал один англичанин, гостивший у лорда Огилви. Гость пробирался по болотам, направляясь к охотничьему домику хозяина замка, как вдруг услышал звуки музыки, на фоне которой постепенно выделился бой барабана. Войдя в охотничий домик, англичанин узнал от прислуги, что лорд Огилви приносит ему извинения за свой спешный отъезд в Лондон, где серьезно заболел его отец — девятый граф Эрли. На следующий день пришло известие о том, что граф скончался.

Смерти следующего графа Эрли в 1900 году также предшествовала барабанная дробь.