علی‌رغم خیال‌پردازی‌های زیاد ماگل‌ها در زمینهٔ سفر در زمان، این موضوع حتی در دنیای جادویی نیز تنها به‌صورت محدود امکان‌پذیر است. گرچه این موضوع تا حد زیادی در هاله‌ای از ابهام است (تحقیقات در واحد اسرار کماکان ادامه دارد) ظاهراً جادو تنها تا حد خاصی می‌تواند شما را به گذشته ببرد.
به گفتهٔ پروفسور ساول کروکر1Saul Croaker که تمام دوران کاری‌اش را در واحد اسرار صرف مطالعه روی جادوی زمان کرده است:
«براساس تحقیقات فعلی ما، طولانی‌ترین زمانی که می‌توان عمر را دوباره سپری کرد، بدون اینکه به مسافر یا خود زمان آسیب جدی وارد شود، پنج ساعت است. ما در این مدت موفق شده‌ایم افسون‌های ساعت‌برگردان را که ناپایدار هستند و با محدودیت بهبود می‌یابند، در یک ساعت شنی کوچک جادویی قرار دهیم که جادوگران و ساحره‌ها می‌توانند آن را به گردن بیاویزند و بنابر تعداد ساعت‌هایی که می‌خواهند دوباره تجربه کنند، آن را بچرخانند.
تمام تلاش‌ها برای سفر به گذشته‌ای بیش از چند ساعت انگشت‌شمار، آسیب فاجعه‌باری به ساحره یا جادوگر موردنظر در پی داشته است. تا سال‌های زیادی مشخص نبود که چرا مسافران زمان در فواصل طولانی هرگز از سفرشان جان سالم به در نمی‌برند. تمام آزمایش‌های این‌چنینی از سال ۱۸۹۹ کنار گذاشته شد، چراکه در آن سال، اِلوییز مینتامبِل2Elosie Mintumble: اِلوویز اسم زن است. ریشهٔ Mintumble: min (دقیقه)+ tumble (افتادن). م. به مدت پنج روز در سال ۱۴۰۲ گیر افتاد. حالا می‌دانیم بدن او هنگامی که به زمان حالش بازگشت پنج قرن پیرتر شده و به‌طرز علاج‌ناپذیری آسیب دیده بود. او اندکی پس از اینکه توانستیم او را به زمان حال برگردانیم، در بیمارستان امراض و جراحات جادویی سنت مانگو3St Mungo’s Hospital for Magical Maladies and Injuries جان سپرد. از این گذشته، زندگی پنج روزهٔ او در گذشتهٔ دور باعث اختلال در مسیر زندگی تمام کسانی شد که او با آن‌ها ملاقات کرده بود و جریان زندگی‌شان را به‌طور چشمگیری تغییر داد، طوری که دست‌کم بیست و پنج نفر از نوادگان آن‌ها که “نازاده” شده بودند، در زمان حال ناپدید شدند.
در نهایت، طی روزهای پس از بازگشت خانم مینتامبِل، نشانه‌های نگران‌کننده‌ای نمودار شد که حاکی از آن بود که خود زمان نیز به‌دلیل این نقض جدی قوانینش، دچار اختلال شده است. سه‌شنبهٔ پس از بازگشت او، دو روز و نیمِ تمام طول کشید، درحالی‌که پنجشنبهٔ آن هفته تنها در عرض چهار ساعت سپری شد. وزارت جادو برای سرپوش‌گذاشتن بر روی این حادثه دچار مشکلات زیادی شد و از آن زمان سخت‌گیرانه‌ترین قوانین و مجازات‌ها پیرامون مطالعهٔ سفر در زمان وضع شد.»
حتی استفاده از زمان‌گردان‌های4Time-Turner: در ترجمهٔ کتابسرای تندیس: زمان‌برگردان. م. اندکی که در اختیار وزارتخانه است نیز با صدها قانون محدود شده است. سفر به یک ساعت گذشته نیز هرچند به‌اندازهٔ سفر به پنج قرن پیش خطرناک نیست، اما همچنان می‌تواند نتایج فاجعه‌باری بر جا بگذارد و وزارت جادو اگر اجازهٔ استفاده از این اشیای قدرتمند و نادر را بدهد، تضمین‌های بسیار محکمی را دریافت می‌کند. برای اکثر اعضای جامعهٔ جادویی تعجب‌آور خواهد بود که بدانند زمان‌گردان‌ها معمولاً برای حل مشکلات پیش‌پاافتادهٔ مدیریت زمان مورداستفاده قرار می‌گیرند و هرگز برای اهداف بزرگ‌تر یا مهمتر از آن‌ها استفاده نمی‌شود، زیرا همان‌طور که ساول کروکر به ما می‌گوید، «همان‌طور که مغز انسان نمی‌تواند زمان را درک کند، از صدماتی که در پی دخالت ما در قوانین زمان به وجود می‌آید نیز عاجز است.»
سه سال پس از آنکه هرماینی گرِینجر مجوز استفاده یکی از زمان‌گردان‌ها در هاگوارتس را دریافت کرد، تمامی موجودی زمان‌گردان‌های وزارتخانه حین نبردی که در واحد اسرار اتفاق افتاد، نابود شد.
نظر جی.کی.رولینگ:
من در کتاب هری پاتر و زندانی آزکابان بیش از حد سرخوشانه به موضوع سفر در زمان ورود پیدا کردم. بااینکه از کارم پشیمان نیستم (زندانی آزکابان یکی از کتاب‌‌های محبوب من در مجموعه است)، این موضوع مشکلات عدیده‌ای را برای من به وجود آورد، چراکه هرچه باشد، اگر جادوگران می‌توانستند به گذشته برگردند و مشکلاتشان را رفع کنند، چه بر سر طرح‌های آیندهٔ من می‌آمد؟
این مشکل را مطابق میل خودم و در چند مرحله حل کردم. اول، کاری کردم دامبلدور و هرماینی تأکید کنند دیده‌شدن در گذشته چقدر می‌تواند خطرناک باشد تا به خوانندگان یادآوری کنم که سفر در زمان علاوه‌بر راه‌حل، نتایج خطرناک و پیش‌بینی‌نشده‌ای نیز در بر دارد. در وهلهٔ دوم، کاری کردم هرماینی تنها زمان‌گردانی را که به هاگوارتس وارد شده بود پس بدهد. در مرحلهٔ سوم، تمامی زمان‌گردان‌های باقیمانده را حین نبرد واحد اسرار نابود کردم تا در آینده حتی امکان بازگشت به چند ساعت قبل هم از بین برود.
این تنها یکی از مثال‌هایی است که نشان می‌دهد وقتی کسی رمان فانتزی می‌نویسد، باید مراقب باشد چه چیزی را اختراع می‌کند. معمولاً هر چیز مفیدی، مشکلی با خود پدید می‌آورد.
یکی از معدود باگهای داستان همین قضیه زمان برگردان بود. خب اگه چیزی مثل زمان برگردان توی دنیای جادویی وجود داشت، چرا دامبلدور ازش استفاده نکرد تا پدر و مادر هری رو زنده کنه؟ یا چرا هواداران لرد سیاه ازش برای دادن هشدار به ولدمورت برای نرفتن به دره گودریک استفاده نکردند؟ و هزاران چرای دیگه. و از اون مهمتر اینکه چرا پروفسور مک گوناگل یه همچین وسیله خطرناکی رو در اختیار یه بچه مدرسه ای ۱۳ساله قرار داد؟ فقط به هدف اینکه هرمیون بتونه کلاسهای بیشتری توی یه سال برداره؟ سرتاسر قضیه این زمان برگردان تناقض و عدم منطقه
تمام این سوال هارو اگه بهش فکر کنی میتونی هزاران دلیل براش بیاری