Habrá más formas, pero esto es lo que he hecho.

Mis ficheros tienen el siguiente formato 20160822Blablabla.csv

Mi projecto (project) tiene una carpeta scripts que contiene los sh, y reports que tiene los ficheros:

-project

---scripts

---reports

El script queda:

#!/bin/sh

rm ../reports/$(date "+%Y%m%d" --date="5 days ago")*.csv