Vaste sujet.
Que veux dire "pas trop dépenser" ? Pas de miracle, une solution "très fiable" sur 5-10 ans risque de coûter un poil plus que le prix d'un disque dur externe USB rue Montgallet.
Un peu plus de détails aiderait, comme par exemple une idée de la volumétrie considérée, des fréquences d'extraction, du type de données (fichiers plats ou autre ?) et s'il y a des contraintes légales. Je ne pense pas que la connectique (USB ou autre) soit un critère premier dans le choix d'une solution.
Beaucoup considèrent qu'archiver c'est copier des données en vrac sur un disque externe qui prendra ensuite la poussière dans une armoire, alors que c'est un sujet un tantinet plus complexe.
Du temps où c'était un sujet qui m'occupait l'optique était roi pour de la conservation à très long terme. En fonction des fréquences et volumétries d'archivage investir dans un robot (jukebox) peut être pertinent. Il existe également aujourd'hui des solutions dans le nuage, si l'externalisation est envisageable.
Mes deux octets (archivés).