علی‌رغم فانتزی‌های مشنگ‌ها، سفر در زمان در دنیای جادویی نیز تنها به صورت محدود امکان‌پذیر است. گرچه این موضوع به شدت محرمانه است و تحقیقات در سازمان اسرار پیگیری می‌شود، ظاهرا جادو تنها می‌تواند شما را تا حد خاصی در زمان جابه‌جا کند.

پروفسور سائول کروکر¹Saul Croaker، که تمام وقتش در سازمان اسرار را بر روی مطالعه جادوی زمان گذاشته است، می‌نویسد:

«بر اساس تحقیقات فعلی ما، طولانی‌ترین زمانی که می‌توان در زمان سفر کرد، بدون آنکه به مسافر یا خود زمان آسیب جدی وارد شود، ۵ ساعت است. ما قادر هستیم که یک افسون زمان برگردان را که بسیار ناپایدار و از یک مهار برخوردار است، در یک ساعت شیشه‌ای کوچک قرار دهیم. ساعتی که می‌تواند دور گردن ساحر یا ساحره بسته شود و با توجه به زمانی که کاربر می‌خواهد دوباره تجربه کند، عقربه‌هایش به عقب بچرخد.

تمام تلاش‌ها برای بازگشت به گذشته بیش از چند ساعت، آسیب فاجعه‌باری به ساحر یا ساحره‌ای زده که قصد این کار را داشته است. تا سال‌ها مشخص نبود که چرا مسافران زمان در فواصل طولانی هرگز از سفر خود جان سالم به در نمی‌برند. تمام تجارب این‌چنینی از سال ۱۸۹۹ و پس از اینکه الوزی مینتامبل²Elosie Mintumble برای ۴ روز در سال ۱۴۰۲ گیر کرد، کنار گذاشته شد. اکنون ما می‌دانیم که بدن او هنگامی که به زمان حال بازگشت ۵ قرن عمر داشت و به طرز جبران‌ناپذیری آسیب دیده بود. وی اندکی پس از اینکه توانستیم او را به زمان حال برگردانیم، در بیمارستان بیماری‌ها و سوانح جادویی سنت مانگو جان سپرد. فراتر از آن، زندگی ۵ روزه او در گذشته دور باعث اختلال در مسیر زندگی تمام کسانی شد که او را دیده بودند و جریان زندگی‌شان را به طور چشمگیری تغییر داد. به گونه‌ای که ۲۵ نفر از نوادگان آن‌ها در حال حاضر ناگهان ناپدید و «به دنیا نیامده» شدند.»

«در نهایت طی روزهای پس از بازگشت خانم مینتامبل، نشانه‌هایی وجود داشت که خود زمان نیز به خاطر چنین شکاف جدی در قانون‌هایش، دچار اختلال شده است. سه‌شنبه‌ی پس از بازگشت دوباره مینتامبل حدود دو روز و نیم طول کشید، در حالی که پنجشنبه آن هفته در فاصله ۴ ساعت به پایان رسید. وزارت سحر و جادو برای سرپوش گذاشتن بر روی این موضوع دچار مشکلات زیادی شد و از آن زمان سختگیرانه‌ترین قوانین و مجازات پیرامون مطالعات سفر در زمان وضع شد.»

حتی استفاده از زمان‌ برگردان‌های اندکی که در اختیار وزارتخانه هست نیز با صدها قانون محدود شده است. استفاده دوباره از یک زمان [در فاصله نزدیک] هرچند به اندازه سفر به پنج قرن گذشته خطرناک نیست، اما همچنان می‌تواند نتایج فاجعه‌باری بر جا بگذارد و وزارت سحر و جادو به دنبال محکم‌ترین تضمین‌هاست تا اجازه استفاده از این اشیای قدرتمند و نادر را بدهد. برای بیشتر مجامع جادویی تعجب‌آور خواهد بود که زمان‌ برگردان‌ها معمولا برای حل مشکلات بدیهی در مدیریت زمان مورد استفاده قرار می‌گیرد و هرگز برای اهداف بزرگتر و مهم‌تر از آن‌ها استفاده نمی‌شود. زیرا همان‌طور که سائول کروکر به ما می‌گوید، «به آن دلیل که مغز انسان نمی‌تواند زمان را درک کند، صدماتی را که در پی ادامه دخالت‌های ما در قوانین زمان به‌وجود می‌آید نیز درک نخواهد کرد.»

تمامی موجودی زمان برگردان‌های وزارتخانه سه سال پس از آنکه هرماینی گرنجر مجوز استفاده یکی از آن‌ها در هاگوارتز را دریافت کرد و حین نبردی که در سازمان اسرار اتفاق افتاد، نابود شد.

نظر جی.کی.رولینگ:

من در کتاب هری پاتر و زندانی آزکابان بسیار سرخوشانه به موضوع سفر در زمان ورود پیدا کردم. گرچه من از این موضوع متاسف نیستم (زیرا زندانی آزکابان یکی از کتاب‌‌های محبوب من در مجموعه است)، این موضوع مشکلات عدیده‌ای را برای من به‌وجود آورد، زیرا اگر جادوگران می‌توانستند به گذشته برگردند و مشکلات را اصلاح کنند، چه بر سر طرح‌های آینده من می‌آمد؟

من این مشکل را مطابق میل خودم و در چند صحنه حل کردم. اول من از دامبلدور و هرماینی خواستم که تاکید کنند دیده شدن در گذشته چقدر می‌تواند خطرناک باشد تا به خوانندگان یادآوری کنم که سفر در زمان علاوه بر راه‌حل، نتایج خطرناک و پیش‌بینی نشده‌ای نیز دارد. در وهله دوم هرماینی را وادار به برگرداندن تنها زمان برگردانی کردم که به هاگوارتز وارد شده بود. در مرحله سوم تمامی زمان برگردان‌های باقیمانده را حین نبرد سازمان اسرار نابود کردم تا امکان بازگشت به اندکی قبل نیز در آینده از بین برود. این تنها یکی از مثال‌هایی است که نشان می‌دهد وقتی کسی رمانی فانتزی می‌نویسد، باید مراقب چیزهایی باشد که اختراع می‌کند، به این خاطر که معمولا اشکالی به‌وجود می‌آورد.