不可以。

参考：

总局2018年第三季度政策解读现场实录：

对方为已办理税务登记的增值税纳税人。

企业支出以对方开具的发票作为税前扣除凭证。也就是，凡对方能够开具增值税发票的，必须以发票作为扣除凭证。

以往一些企业（如银行）用利息单代替发票给予企业，而没有按照规定开具发票，2018年28号公告发布后，必须统一按照规定开具发票。否则，相关企业发生的利息，将无法税前扣除。