سپهبد حاج علی رزم آرا در 10 فروردین ماه سال 1280، در تهران متولد شد و چون این واقعه در شب عید قربان اتفاق افتاد، «حاج» را به اول نام او اضافه کردند.
به گزارش خبرنگار تاریخ جی پلاس، پدرش یک افسر قزاق بود و علی را بعد از گذراندن تحصیل در مکتب خانه، در ۱۷ سالگی به مدرسه نظام مشیر الدوله فرستاد. بعد از مدت کوتاهی به بریگارد مرکزی قزاق رفت و در جنگ هایی برای مقابله با جنگلی ها در شمال کشور و سرکوب شورش سیمیتقو در کردستان و غرب آذربایجان، شرکت کرد. حضور او موثر بود، به طوری که در سال ۱۲۹۹ درجه نایب دومی (ستوان دومی) گرفت. پس از احراز افسری، به دلیل اقداماتی که انجام داده بود به درجه سلطانی (سروانی) ترفیع یافت و در سال ۱۳۰۲ همراه با افسران جوان برای فراگیری فنون نظامی، عازم فرانسه شد.
رزم آرا در رشته پیاده نظام از دانشگاه نظامی سن سیر فارغ التحصیل شد و بعد از دو سال به ایران بازگشت. پس از بازگشت به ایران به درجه سرگردی ترفیع یافت و عهده دار منصب فرماندهی هنگ نظامی کرمانشاه و لرستان شد. توانایی چشم گیر او در زمینه نظامی و جغرافیایی، باعث شد تا در سال ۱۳۱۴ به تهران منتقل و مامور تشکیل دایره جغرافیایی ارتش شود. پس از تاسیس دانشگاه جنگ توسط سپهبد فرانسوا ژرژ ژاندر فرانسوی، به سمت معاونت او منصوب شد و ضمن تدریس در زمینه های تاکتیک، نقشهخوانی و جغرافیای نظامی، در سال ۱۳۱۸ به درجه سرتیپی ارتقاء و عضو شورای عالی جنگ شد.