Нужно увеличить файл подкачки в виндовсе. Например если у вас 4гб оперативной памяти, то хотя бы столько же поставить файл подкачки.
Еще вариант в модо в настройках Preferences – Rendering – Final Rendering в поле Geometry Cache Size поставить 2Гб минимум.