[清空] 播放记录
扫码发送网址到手机观看
集数:完结
类型:美国
发行地区:美国
影片对白:英语
影片时长:
发行年份:2013
更新时间:2024-03-14 02:00:43
剧情介绍: 机器之心 出典:知道 最爱的人 调整kernel size的时间是多久?虽然经常被无视,但是简单地放大的话会很吃惊。 卷网(CNN)的深度、宽度、groups、输入分辨率的升级参数交错时,会无意中想起设计下一个kernel size吗?一直这样清楚,但总是被忽略,一直默认为3x3或5x5吗? 在Transformer愉快调整时,希望型号简单高效,配置简单,下游任务性能不弱于Transformer?带来朴素的快乐吗? 最近,清华大学、望远科学技术等研究人员在CVPR 2022上发表的工作表明,CNN的kernel size非常重要,但它是经常被忽视的设计次元。在现代模型设计的支持下,卷芯越大越暴力,上升点也越有效,直到31x31非常work(如下表5所示,左侧栏表示模型的四个阶段的每一个kernel size)! 在一个概述的下游任务中,我们提出的超大卷核模型RepLKNet比Transformer(如Swin)的性能更好或同等。 论文地址:https://arxiv.org/abs/2203.06717MegEngine代码和型号:https://github.com/megvii-research/RepLKNetPyTorch代码和型号:https://github.com/DingXiaoH/RepLKNet-pytorch 太长了不看版 以下是2分钟内可以看到的内容的总结。 A.CNN和Transformer相关行业的知识和理解有什么贡献。 我们挑战了以下习惯认识。 1.超大容量不但不上升,而且有点下降?我们证明了过去没有人使用过超大容量,现在也不是不能使用。人类对科学的认识总是螺旋状上升,在现代CNN设计(shortcut、重参数化等)的支持下,kernel size上升得越大。 2.超大容量效率差的腐蚀63?我们发现超大depth-wise音量不会增加FLOPs。再加上下层优化,速度变快,31x31的计算密度达到最高3x3的70倍。 3.大容量只能用于大的feature map吗?发现在7x7的feature map中可以用13x13卷起。 4.ImageNet点数说明全部吗?我们发现下游任务的性能可能与ImageNet无关。 5.超深CNN(ResNet-152等)堆积了大量3x3,感觉野地很大吗?我们发现,深层小kerner模型能有效感知原野其实很小。相反,少量的超大卷核的有效感受范围非常大。 6.Transformers(ViT、Swin等)在下游任务中性能强是因为self-attention(Query-Key-Value的设计形式)本质上强?通过超大卷积核的验证,发现kernel size可能是下游上升点的关键。 B.我们做了什么具体的工作。 1.通过一系列探索性实验,总结了现代CNN中应用超大核的五个准则。 在depth-wise超大容量中,再加上较低优化(集成到开放源框架中的MegEngine)和shortcut,以小音量核心进行重参数化(即,参照结构重参数化方法论、去年的RepVGG、参考文献[1]),看下游任务的性能不仅是ImageNet分数的高低小feature map,即使是大容量,也可以以通常的分辨率训练大kerner模型2。基于以上指导方针,我们提出了一种简单参考Swin Transformer的宏架构,大量使用27x27、31x31等超大容量的架构RepLKNet。这个架构的其他部分非常简单,是1×1卷、Batch正规等令人满意的简单结构,完全不使用attention。 3.基于超大卷芯,有效的感受野、shape bias(决定模型时是看物体的形状还是局部的纹理)、Transformers性能强的理由等话题的讨论和分析。ResNet-152等传统的深层小kernel模型的有效感受野实际上不大,大kerel模型不仅有效感受野更大,而且与人(shape bias高)相似。Transformer可能不是self-attention的具体形式,而是大kernel。 例如,图1示出了ResNet-101、ResNet-152、全13×13的RepLKNet、Kernel分别大到31x31的RepLKNet的有效感受野,并且浅的大的kernel模型的有效感受野非常大。 有效地感到原野。 C.建议体系结构RepLKNet的效果如何? 1.ImageNet相当于Swin-Base。在追加的数据训练下,超大型模型达到了最高87.8%的正解率。超大卷芯原本不是为了刷ImageNet而设计的,这个分数也能令人满意。 2.在Cityyscapes的意义划分中,仅ImageNet-1K pretain的RepLKNet-Base可以超过ImageNet-22K pretain的Swin-Large。这超出了模型级别和数据级别。 3.在ADE20K的意义划分中,ImageNet-1K pretrain的模型大大超过了传统的诸如ResNet、ResNeSt等小kerner的CNN。基本水平模型显著超过Swin,Large模型相当于Swin。超大型规模模型达到了56%的mIoU。 4.在COCO目标检测中,大幅超过同量级别的以往机型ResNeXt-101(超过4.4的mAP)相当于Swin,是超大量级别达到55.5%的mAP。 以下详细介绍。 初心:我们为什么需要超大的kernel size? 现在这个时代,为什么要研究听起来怀旧的大kerner呢。 1.复兴“误杀”的设计要素,并取其正名。历史上,AlexNet使用过11×11卷,但在VGG登场后,大的kernel逐渐被淘汰,展示了从浅的kernel到深的kernel的小模型设计模型的转换。这个转换的原因有,大的kernel的效率差(音量的参数量和计算量与kernel size的平方成比例),增大kernel size的话,精度反而变差等。可是时代变了,历史上不工作的大的kerner,在现代技术的加持下能工作吗。 2.克服传统的深层小kerner CNN的固有缺陷。相信大的kerner可以用几个小的kernel来代替。例如,一个7x7可以被三个3x3替换,这样速度很快(3x3
本文链接:如果喜欢这部影片《机器之心在线观看》 转载:http://www.xfami.com/vod/jiqizhixin.html 请保留本文链接。
Eliana Luana Génot
玛格丽塔·马祖可 盖娅·吉拉切 弗朗西斯·塞尔皮科 马特奥·切基 乔万尼·阿穆拉 杰纳罗·德斯特凡诺 阿莱西奥·加洛 瓦伦蒂娜·阿卡 安娜丽塔·维托罗 卢卡·加洛内 朱莉娅·马扎里诺 布鲁诺·奥兰多 埃尔维斯·埃斯波西托 达里亚·德弗洛里安 加布里埃尔·瓦西斯 玛丽亚维托利亚·达拉斯塔 里卡多·帕尔梅里 爱德华多·雷洪
本·费德曼 克里斯汀·米利欧缇 亨利·泽布罗夫斯基 勒诺拉·克里奇洛 克里斯蒂娜·科克 帕维什·齐纳 Hong Chau 凯特蕾·萨加尔 Nancy Friedrich Hunter Payton 本·法尔科内 Trevor Larcom
泽恩·格斯纳 George Buza Jacqueline Collen
克里·约翰逊
丹尼尔·逊亚塔 艾伦·特维特 范妮莎·费丽托 曼尼·蒙塔纳 赛琳达·斯万 杰米·格雷·海德
麦肯兹·戴维斯 丹妮尔·戴德怀勒 马蒂尔达·劳勒 希米什·帕特尔 纳巴汉·里兹万 菲莉皮娜·维莱芝
索瑞·安达斯鲁 卡卡琪 约翰·威斯利·查特曼 史蒂文·斯崔特 弗兰基·亚当斯 多米尼克·蒂珀
雨果·卡塔兰 霍拉西奥潘切里 玛伊特·佩罗尼 艾拉.贝登 胡伯托·巴斯托 马丽玛·维加 Helena Haro
克里斯汀·贝尔 乔丹·亚历山大 伊莱·布朗 亚当·钱勒·贝勒特 汤马斯·多赫提 泰薇·盖文森 伊丽莎白·莱尔 艾米丽·阿琳·林德
博迪·卡维尔 杰瑞米·艾文 娜塔莎·里特 米伦·麦克 乔治·罗宾森 西沃恩·卡伦 Paul Mallon 弗拉·菲 贝西·亨德森 约翰·霍林沃思 Maeve Smyth Patrick Regis Sally Scott Helen Aluko Sami Amber Kieran O'Reilly
赛琳娜·戈麦斯 史蒂夫·马丁 马丁·肖特 亚伦·多明格斯 瓦妮莎·阿斯皮利亚加 迈克尔·西里尔·克赖顿 Lylan Carson Olivia Reis 埃斯特班·贝尼托 拉塞尔·G·琼斯 Adina Verson 泰迪·库卢卡 昆西·杜恩-巴克 梅雷迪思·霍尔兹曼 内森·连恩 艾米·莱安 斯汀 希瑟·艾希礼·蔡斯 Adam DeCarlo Jonathan Burke Ryan Broussard
罗伯特·古斯塔夫森 彼得·安德森 米卡埃尔·佩斯布兰特 塞多米尔·乔尓杰维奇 布乔恩·本辛森 马格努斯·克雷佩 亨里克·诺伦 丽娅·波伊森 沙汀·罗尼 托克尔·彼特森 Cilla Thorell Peter Viitanen 埃娃·梅兰德 Fabian Penje Olle Jernberg Amanda Lindblom Joel Spira Emil Almén Sovi Rydén
Ville Virtanen Matleena Kuusniemi Anu Sinisalo Lenita Susi Kristiina Halttu Olivia Ainali Ilkka Villi Matti Laine