La ecuación yo la pondría así:

10 - X - (X((10-X)/10))=5

De modo que la segunda vez que mete la jarra, saca de vino el total de la jarra por la proporción de vino que hay en el barril.

X=2,9289 litros

Saludos.