Puedes añadir un Favicon editando el código de tu fichero header.php o simplemente añadiendo el siguiente código en tu fichero functions.php

function blog_favicon() {
echo '<link rel="Shortcut Icon" type="image/x-icon" href="'.get_bloginfo('wpurl').'/favicon.ico" />';
}
add_action('wp_head', 'blog_favicon');

Ahora tan sólo te queda subir tu fichero .ico a la carpeta raíz de tu blog.