RANet的整体结构如图2所示，包含初始层(Initial Layer)和H HH个对应不同分辨率的子网，每个子网包含多个分类器。具体流程先使用初始层获得不同分辨率的特征图，然后使用最低分辨率的子网进行预测，如果子网没有获得可靠的结果，则使用下一个分辨率稍大的子网进行预测，重复直到获得可靠的结果或者到达最大分辨率子网。
  在重复迭代预测的过程中，高分辨率层会融合低分辨率层的特征。尽管RANet已经在初始层对图片进行了从细​粒度到粗粒度的处理，子网仍然会继续对其进行下采样，直到特征图大小为s=1 s=1s=1 scale(表示初始层产生的最小分辨率)，分类器只加在最后几个特征图大小s=1 s=1s=1 scale的block上。