این بنا در سال ۱۵۰۷ میلادی توسط الفونسو آلبوگرگ دریادار پرتغالی ها ساخته شد که شامل برج، سربازخانه، مقر فرماندهی، کلیسا، آب انبار و زندان می باشد و بمدت ۱۱۵ سال مورد استفاده پرتغالیها قرار گرفت و زمان ساخت آن ۳۰سال طول کشیده است و سرانجام در سال ۱۶۲۲ به دستور شاه عباس صفوی به فرماندهی امام قلی خان جزیره هرمز و قلعه از تصرف پرتغالیها خارج گردید.