そのコードを除く部分を教えていただけませんか？

ちなみに、このサーバーは先日のOSCで、JOESさんが１年間無料キャンペーンで申し込んだサーバーです。他にも同じことで悩む人があるかもしれませんね。

Concrete5_Model_StartingPointPackage の下記の行です。

new StartingPointInstallRoutine('precache', 85, t('Prefetching information.')),

これを除けばインストール完了すると思います。ただし、、インストール時の一時的な回避策で、結局concrete5.orgからの情報取得に失敗しているのが原因なので、その原因を除かないとconcrete5.orgに情報を取りに行くたびに止まると思います。自分の場合は企業の社内ネットワーク内のサーバーだったので、プロキシサーバー経由で回避できましたが、Joe'sさんのVPSではよくわかりません。

本家から情報取得とのことですが、80か443以外のポートを使うのでしょうか？
JOESさんのKVM（今回の１年間無料サービス）にはファイヤウオールがあり、80と443は通るようにしたのですがね。

外部サーバーからの情報はcurlで取得しているので、そこで止まっているということだとおもいます。httpで取得しているはずですが。。

いろいろ調べて原因がわかりました。

HTTPのポート８０のUDPが通過しなかったためでした。

ファイヤウオールでは、８０番のTCPとUDPの両方のポート開放が必要です。