Procházet zdrojové kódy

Update hieradet.py

Not used  
head_dim = dim_out // num_heads
self.scale = head_dim**-0.5

F.scaled_dot_product_attention takes care of this automatically.
Arun před 1 rokem
rodič
revize
6ec8560436
1 změnil soubory, kde provedl 1 přidání a 4 odebrání
  1. 1 4
      sam2/modeling/backbones/hieradet.py

+ 1 - 4
sam2/modeling/backbones/hieradet.py

@@ -46,11 +46,8 @@ class MultiScaleAttention(nn.Module):
 
         self.dim = dim
         self.dim_out = dim_out
-
         self.num_heads = num_heads
-        head_dim = dim_out // num_heads
-        self.scale = head_dim**-0.5
-
+    
         self.q_pool = q_pool
         self.qkv = nn.Linear(dim, dim_out * 3)
         self.proj = nn.Linear(dim_out, dim_out)