Una imagen flotante tiene la característica de que puedes bajar la página y la imagen se mantiene siempre en la misma posición (en Internet Explorer 6 no sale flotante, si no que lo hace de forma fija justo debajo del resto de componentes de la sidebar), en IE 7 y Firefox se ve correctamente.

Tienes que procurar que la imagen que elijas no sea muy grande yo le he puesto unas medidas de 100x100, la he alojado en http://www.imageshack.us/. El código lo tienes que poner en edición de plantilla HTML antes de </head> pegas este código:

<a href='http://URL DE TU BLOG.blogspot.com/' style='display:scroll;position:fixed;bottom:0px;right:0px;'><img src='URL DE TU IMAGEN'/></a>
Compruebas en Vista previa antes de guardar los cambios