C#ではミューテックスを利用して二重起動・多重起動を禁止する方法が一般的ですが、VB.NETの場合、アプリケーションの設定に「単一インスタンスのアプリケーションを作成する」という項目がありますので、そちらを利用します。
※C#ではこのような設定項目はありませんので注意して下さい。