Когда рефакторить

Правило трёх

Делая что-то в первый раз, вы просто это делаете.
Делая что-то аналогичное во второй раз, вы морщитесь от необходимости повторения, но все-таки повторяете то же самое.
Делая что-то похожее в третий раз, вы начинаете рефакторинг.

Когда делаете новую фичу

Рефакторинг помогает понять чужой код. Если код, в который нужно добавить новую фичу, недостаточно ясный, рефакторинг позволяет сделать его очевидней для вас и для того, кто будет работать с ним в будущем.
Рефакторинг облегчает написание нового кода. После рефакторинга добавление новой фичи происходит значительно более гладко и занимает меньше времени.

Когда исправляете баги

Ошибки — как тараканы, любят жить в темных затхлых местах вашего кода. Попробуйте навести порядок в коде и ошибки найдутся сами собой.

Кроме того, вам не придется создавать специальные задачи для рефакторинга, которые так не любят видеть в отчетах менеджеры.

Во время код-ревью

Когда вы делаете ревью новой фичи, возможно это последний шанс почистить код перед тем, как он окажется доступным публично.

Лучше всего проводить такое ревью вместе с автором кода. В этом случае, вы будете предлагать автору изменения, а потом вместе решать, насколько сложно произвести то или иное изменение. При этом, небольшие изменения можно будет осуществлять очень быстро.