Visual Studio 2008 から Visual Studio 2010 に移行した際に、タブを閉じるボタンの位置が変更されていて多少戸惑いました。
Visual Studio 2008 である程度慣れていたので調べてみた所、「Visual Studio 2010 Productivity Power Tools」を導入すれば良いということが分かりました。
Productivity Power Toolsインストールして下記の「Show close button at end of well」にチェックを入れると右端に閉じるボタンが表示されます。
適用後はこんな感じになります。(タブの中と右端の両方に閉じるボタン)
他にも、[参照の追加]ダイアログの表示が早くなる等のメリットがあり、導入しておいて損は無いと思います。
ただ、いろいろ調べているうちに「マウスのホイールボタン(中クリック)でタブを閉じることが出来る」という事がわかりました。
この方法は Visual Studio 2010 だけでなくIE9のタブでも閉じることが出来ます。