Domanda interessante. Mi piacerebbe sapere il modo corretto per farlo, ma questo (molto) modo hacky funziona per me.
---
output:
html_document:
css: ~/knitr.css
---
```{r, include=FALSE}
library(knitr)
knit_hooks$set(plot = function(x, options) {
fig_fn = paste0(opts_knit$get('base.url'), paste(x, collapse = '.'))
fig.cap <<- knitr:::.img.cap(options)
sprintf("<figure><img src='%s'><figcaption>%s</figcaption></figure>",
fig_fn, fig.cap)
})
```
```{r, fig.cap = 'Figure I: the plot of my figure.'}
plot(1:5)
````
I say some things and some other things.
Oh, yeah please refer to `r fig.cap`

Questo funziona per la figura più recente generato, ma si potrebbe lavorare in un contatore figura o qualcos'altro per rendere variabili uniche per ciascuna voce in modo che è possibile fare riferimento ogni volta che vuoi.