remi で 5.4 使ってるってことは、
remi には remi-php55 と remi-php56 っていうレポジトリが別にあるの知らないのか
/etc/yum.repos.d/remi.repo.rpmnew 見れば設定が書いてあるだろうから、
/etc/yum.repos.d/remi.repo に必要なところをコピーすれば使える