Explorar el Código

Update hieradet.py

Not used  
head_dim = dim_out // num_heads
self.scale = head_dim**-0.5

F.scaled_dot_product_attention takes care of this automatically.
Arun hace 1 año
padre
commit
6ec8560436
Se han modificado 1 ficheros con 1 adiciones y 4 borrados
  1. 1 4
      sam2/modeling/backbones/hieradet.py

+ 1 - 4
sam2/modeling/backbones/hieradet.py

@@ -46,11 +46,8 @@ class MultiScaleAttention(nn.Module):
 
         self.dim = dim
         self.dim_out = dim_out
-
         self.num_heads = num_heads
-        head_dim = dim_out // num_heads
-        self.scale = head_dim**-0.5
-
+    
         self.q_pool = q_pool
         self.qkv = nn.Linear(dim, dim_out * 3)
         self.proj = nn.Linear(dim_out, dim_out)