Поставщик доставил нам испорченный товар. Это противоречит  договору. На данном этапе мы отказали ему в оплате, с чем он категорически не согласен. Как считаете? есть ли какой то выход, кроме подачи искового заявления в суд?

Ваша позиция абсолютно верна: если товар испорчен и это нарушает условия договора, вы имеете полное право отказаться от оплаты до момента устранения брака. Учитывая, что ваш контрагент не согласен с отказом в  оплате брака, следовательно не собирается производить замену товара, судебное разбирательство является единственным выходом. Можете узнать  стоимость услуг представительства в арбитражном суде Москвы https://regslegal.ru/predstavitelstvo-v-sude/predstavitelstvo-v-arbitrazhnom-sude-moskva/