Вопрос: Не пойму по какой формуле решать эту задачу. По формуле решения сюръективного отображения?
Ответ: Вы правильно собираетесь решать задачу, сведя её к какому-то отображению. Чтобы определиться, к какому именно, пройдитесь по свойствам различных отображений и посмотрите, какие из них должны выполняться в этой задаче, а какие нет.
sum (((-1)^(5-i))*Binomial[5,i]*i^7), i=0 to 5