Потому что вы думаете на русском, но в это же время слушаете английскую речь. Нужно постараться полностью думание на русском в этот момент.
Пример: попробуйте досчитать до 10 чисто на английском, а потом попробуйте досчитать до 10 на русском и английском по очереди (т.е. one-два-three-четыре)...