با وجود شایعات اثبات نشده‌ای که پیرامون شیون آوارگان وجود دارد، که به هیچ وجه یک محل تسخیر شده نیست، هاگوارتز تسخیر شده ‌ترین مکان در بریتانیا است (و بر خلاف رقابت تنگاتنگ موجود، در این مناطق دلگیر بیش از هر منطقه دیگری در جهان گزارش مشاهده اشباح دریافت شده است). قلعه مکانی مطابق سلیقه اشباح است، زیرا ساکنان زنده آن با بردباری و حتی محبت با اشباح رفتار می‌کنند و برایشان مهم نیست که یک خاطره قدیمی را چندین بار بشنوند.

هر کدام از گروه‌های چهارگانه هاگوارتز، شبح مخصوص خود را دارد. اسلیترین به بارون خون‌آلود می‌نازد که سراپایش پر از قطرات خون نقره‌ای رنگ است. کم‌‌صحبت‌ترین شبح بین اشباح گروه‌ها، بانوی خاکستری است که زیباست و موهای بلندی دارد.

راهب چاق نیز گروه هافلپاف را تسخیر کرده است. علت اعدام او آن بود که کلیسای ارشد به او مشکوک شده بود؛ زیرا تنها با ضربه تکه چوبی قادر بود بیماری آبله را درمان کند. همچنین او عادت غیر عاقلانه‌ای داشت که از درون جام نوشیدنی‌اش، خرگوش بیرون می‌آورد. با وجود شخصیت خوش مشربی که دارد، هنوز از این حقیقت که نتوانسته است کاردینال¹کاردینال مقام رسمی کلیسایی و بالاترین مقام کاتولیک‌ها بعد از پاپ است. م. شود، خشمگین و ناراحت است.

گروه گریفندور خانه‌ی نیک سر بریده است که زمان زنده بودنش سر نیکولاس دومیمسی – پروپینگتون²Sir Nicholas de Mimsy-Porpington بوده است. او اندکی از خود راضی است و جادوگری ضعیف‌تر از آن چیزی است که باور دارد. سر نیکولاس زمان زنده بودنش در دربار شاه هنری هفتم خدمت می‌کرد تا اینکه روزی برای زیبا کردن یکی از ندیمه‌های ملکه به کمک جادو تلاش احمقانه‌ای کرد و باعث شد دندان‌های زن بیچاره اندازه عاج فیل شود. چوب‌دستی سر نیکولاس از او گرفته شد و به خاطر اعدام ناشیانه‌اش، سرش با رشته نازکی از پوست و گوشت از تنش آویزان ماند. او همچنان از اینکه یک شبح بی‌سر کامل نیست، احساس بی کفایتی می‌کند.

یکی دیگر از اشباح قابل ذکر هاگوارتز، میرتل گریان است که یکی از دستشویی‌های دختران را تسخیر کرده است. میرتل هنگامی که مُرد یکی از دانش‌آموزان هاگوارتز بود و تصمیم گرفت که برای همیشه در مدرسه بماند. مدت کوتاهی هدف او آن بود که همکلاسی گردن کلفتش، آلیو هورنبی³Olive Hornby را اذیت کند. پس از گذشته دهه‌ها، میرتل به عنوان بدبخت‌ترین شبح مدرسه مشهور شد. او معمولا داخل یکی از توالت‌ها کمین کرده و فضای دستشویی را با ناله و گریه خود پر می‌کند.

نظر جی.کی.رولینگ:

دخترهای گریان دستشویی‌های عمومی مهمانی‌ها و مجالس رقص دوران جوانی من، ایده میرتل گریان را به من الهام کردند. به نظر می‌آید که این اتفاق در دستشویی‌های مردانه رخ نمی‌دهد و به همین دلیل من لذت ‌بردم که در کتاب‌های هری‌ پاتر و حفره اسرار و هری پاتر و شاهزاده دورگه، هری و رون را در چنین شرایط ناراحت‌کننده و نامأنوسی قرار دادم.

مفیدترین شبح هاگوارتز بی‌شک پروفسور بینز است. استاد پیر درس تاریخ جادوگری که روزی جلوی آتش اتاق اساتید خوابش می‌بَرد و هنگامی که برای رفتن به کلاس بعدیش از خواب بر می‌خیزد، بدنش را پشت سر جا می‌گذارد. بحث‌هایی وجود دارد که آیا پروفسور بینز می‌داند مرده است یا خیر. گرچه ورودش به کلاس از درون تخته سیاه در اولین باری که دانش‌آموزان او را می‌بینند به طرز مبهمی سرگرم‌کننده است، نمی‌توان او را جذاب‌ترین استاد هاگوارتز دانست.

منبع الهام پروفسور بینز استادی پیر در دانشگاهم بود. او در حالی که با چشم بسته تدریس می‌کرد، اندکی بر روی انگشت شصت پایش جلو و عقب می‌رفت. گرچه او مرد فوق‌العاده‌ای بود و در هر کلاسش اطلاعات زیادی به دانشجویانش می‌داد، به هیچ وجه نمی‌توانست با دانشجویانش ارتباط برقرار کند. پروفسور بینز بسیار کم به دانشجویان زنده‌اش توجه می‌کند و وقتی که آن‌ها شروع به سوال پرسیدن می‌کنند، متحیر می‌شود. در لیست اولیه‌ای‌ که برای اشباح هاگوارتز نوشته بودم، میرتل (که نام اولیه‌اش واندای نالان⁴Wailing Wanda بود)، پروفسور بینز، بانوی خاکستری (که در آن زمان بانوی پچ‌پچ کن نامیده بودمش) و بارون خون آلود حضور داشتند. همچنین اشباح دیگری با نام‌های شوالیه سیاه و نکبتی (که همیشه اکتوپلاسمش⁵اکتوپلاسم ماده‌ای است به شکل بخار یا دود، به رنگ‌های سفید تا دودی مایل به فیلی، که در زمان خواب‌های روحی، از قسمت‌های مختلف جسم (گوش، دهان، بینی) بیرون می‌آید. این ماده به ارواح کمک می‌کند تا بتوانند بهتر ظهور جسمانی پیدا کنند، چون ارواح به صورت نور تجزیه‌ناپذیر هستند، برای ظهور احتیاج به یک ماده زمینی و سخت به نام اکتوپلاسم دارند. م. را در کلاس‌ها پخش می‌کرد) نیز در این لیست حضور داشتند. علاوه بر این شبحی وجود داشت که من همیشه حسرت استفاده نکردنش را می‌خورم: ادموند گراب⁶Edmund Grubb که در آستانه در سالن غذاخوری مرده بود و گاهی از سر انتقام جلو کسانی که می‌خواستند به سالن وارد شوند را می‌گرفت. یک روح چاق از عصر ملکه ویکتوریا (توت‌های سمی را می‌خورد).