支付宝红包的退回时间主要取决于红包的类型和有效期：

支付宝面对面红包：

这类红包通常具有20分钟的有效期，如果在有效期内未被领取，红包金额将自动原路返回至发红包人的支付宝账户。

支付宝群红包：

群红包的有效期通常为24小时，如果在这段时间内红包未被领取，同样会自动退回至发红包人的账户。

其他红包（如口令红包、普通红包）：

这些红包的有效期通常为72小时，如果在有效期内未被领取，红包金额将退回至发红包人的支付宝账户。

因此，无论是哪种类型的红包，如果未能在有效期内领取，都会在规定的时间内退回至发红包人的支付宝账户。建议您及时关注自己支付宝账户的资金来往情况，以确保能够顺利领取红包。