27 апреля 1942 года Абылай Калиевич был призван Гурьевским военным комиссариатом в ряды Советской армии и направлен в 614-й отдельный саперный батальон при 333-й стрелковой дивизии на Украину для получения навыков саперно-минерской службы.
Через месяц, в мае того же года он был переброшен в саперную часть 180-го саперного батальона при 167-й стрелковой дивизии второго формирования.
С марта по август 1943 года дивизия находилась в обороне на юго-западной части Курской дуги под городом Сумы, в районе сёл Кияницы и Пушкаревки. В августе 1943 года дивизия перешла в наступление, прорвав оборону в районе села Великая Чернетчина, и далее участвовала в форсировании реки Псёл и в освобождении городов Сумы и Ромны.
В сентябре 1943 года дивизия форсировала реку Днепр в районе Вышгорода, освободила город и сформировала плацдарм. В октябре 1943 года она вела тяжёлые бои за удержание плацдарма. Оттуда же в ноябре перешла в наступление на Киев и, прорвав оборону немцев на западных и северных окраинах города, вела бои в самом Киеве.
Дивизия продолжила наступление в юго-западном направлении, отражая тяжелейшие контрудары врага в районе города Фастова. В декабре того же года она провела Житомирско-Бердичевскую наступательную операцию и операцию по уничтожению Корсунь-Шевченковской группировки противника. Освободила города Радомышль, Новоград-Волынский, Житомир, Бердичев.
Сражаясь за Украину до последней капли крови на полях войны Абылай Калиев получил несколько пулевых и одно осколочное ранение, после чего попал в военный госпиталь.
После тяжелой госпитализации и лечения Калиев Абылай продолжил нести службу в рядах Советской армии уже помощником командира 127-го взвода отдельного охранного батальона против бандеровских оккупантов.
В сентябре 1947 года, находясь в должности помощника командира саперного взвода при 62-й краснознаменной дивизии, получил звание старшего сержанта.
После возвращения на родину в 1947 году был награжден орденом Красной Звезды и орденами Славы II и III степени, медалями "За Победу над Германией в Великой Отечественной войне 1941—1945 гг." и "За боевые заслуги". Позже был удостоен юбилейных медалей "30 лет Советской Армии и Флота", "60 лет Вооруженных Сил СССР" и других наград.
