SFML поддерживает меньше платформ чем SDL. Поэтому если важна большая переносимость, то прийдется использовать SDL. Плюс надо понимать, что у таких библиотек как SDL, SFML и Allegro, есть один общий минус. Это библиотеки "все-в-одном", поэтому если надо от библиотеки что-то одно, то есть большой шанс, что другие фичи вас не устроят.
Например, в SDL ужасная работа со звуком. И поэтому приходится использовать другую библиотеку для работы со звуком или писать свою. Иногда лучше посмотреть на комбинацию glfw+devil+alut+BMfont чем просто из-за большего количества фичей в release notes подсаживать свой проект на одну платформу.
