Oui c'est tout à fait ça, le Yen est un refuge, donc on vend de l'USD et on achète du Yen (ou du CHF). Pareil pour les métaux nobles comme l'or, on déleste le dollar au profit du métal "plus stable".
Regarde ce graphe, tu as l'or qui monte et USDJPY qui descend de manière synchronisée (corrélée..

)