a[href^="http:"]:after,
a[href^="https:"]:after {
    content: url(images/icon/link_out.gif);
    margin: 0 2px;
}

a[href^="http://example.com"]:after {
    content:"";
    margin: 0;
}

上記コードをcssに追加するだけ。
afterをbeforeに置き換えればイメージを前に挿入できる。
もちろん挿入するイメージのパスや自サイトのアドレスは要調整。

今回のイメージは海外の下記サイトから頂きました。
Mini-Images für den Webmaster, kostenlose downloads GIF JPG Webdesign
上記アドレスから入ってSite-Nav Symboleページですが、これ以外にもシンプルですっきりしたものが多いです。