Команда remove удаляет подходящие wheels конкретного проекта, а purge очищает wheel и HTTP-кэши целиком. Масштаб разный.

Удаляйте точечно

Если подозрение относится к одному собранному пакету, сначала просмотрите list и примените remove по нормализованному имени, сохранив остальные полезные артефакты.

python -m pip cache remove package_name

Используйте purge для чистого эксперимента

Полная очистка оправдана при воспроизведении сетевой загрузки или общей порче кэша, но следующий запуск потребует повторных скачиваний и может заметно увеличить время сборки.

Подтвердите исходную причину

Повторите ту же команду установки с подробным логом и сравните выбранный URL, имя wheel и контрольную сумму, иначе успешный результат останется случайностью.

Не добавляйте purge в каждую сборку без причины, поскольку кэш экономит сеть и время, а воспроизводимость должна обеспечиваться версиями, источниками и хэшами.

Перед удалением изучите содержимое кэша. Синтаксис дает документация pip cache.