paper做了3个工作,提出RePN(用来剪枝),提出aGCN(用来处理context),最后提出一种评估方法,相比之前的工作更为全面一点,合理一点


paper中scene graph generation的工作拆成3个部分
P

1.RePN

  • n个object需要n2的relation,所以指数级增长问题还是比较棘手的。但实际上很多物体之间是不需要relation的,需要做一下剪枝的工作。
  • 预想构建了一个函数f,输入proposal的特征,然后得到relativeness,但是这样需要的计算量也是不小的,n2,所以使用新的公式,就是把proposal映射为主语宾语的vector然后做矩阵乘法,最后得到分数的matrix,然后取top-k

f

  • 类似于RPN,接着iou,nms,再过滤,就可以得到稀疏图了

2.aGCN

  • 使用GCN对context进行处理(对整张图进行卷积计算),简单来说就是加权求和然后激活更新权重
  • GCN的话是之前就有,但是直接拿过来用是没有权值的,paper在这里搞了公式让这个卷积网络学习(alpha),就是所谓的attention,GCN --> aGCN

3.SGGen+

  • 之前的评测方法,对cls错误的惩罚比较大,分类的结果对relation的结果是有影响的,分类错了,三元组错一堆
  • 新的方法,不单单只看三元组的召回结果,还考虑对object识别以及predicate的识别计算
    recall
文章目录