机器之心 & ArXiv Weekly Radiostation
参与：力元、楚航、罗若天
本周的重要论文包括北大等研究机构提出的采用梯度调节模块（GRM）解决在线学习所带来的灾难性遗忘问题；研究人员发表了对 DeepONet 架构长达 112 页的数学分析；BrainGate 的研究团队成功创建了一种无线脑机接口（BCI），性能接近有线脑机接口，延迟非常低等。
目录：
Learning the Superpixel in a Non-iterative and Lifelong MannerDeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators Fourier Neural Operator For Parametric Partial Differential EquationsProtecting Intellectual Property of Generative Adversarial Networks from Ambiguity AttackOpen Domain Generalization with Domain-Augmented Meta-LearningHome Use of a Percutaneous Wireless Intracortical Brain-Computer Interface by Individuals With TetraplegiaLearning Position and Target Consistency for Memory-based Video Object Segmentation ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）论文 1：Learning the Superpixel in a Non-iterative and Lifelong Manner
作者：Lei Zhu、Qi She、Bin Zhang、Yanye Lu、Zhilin Lu、Duo Li、Jie Hu论文链接： 接收，主要由朱磊和佘琪参与讨论和开发，北京大学分子影像实验室卢闫晔老师给予指导。
模型结构 模型结构
推荐：比经典算法在参数量降低近 20 倍的同时，运算速度提升了 4 倍。
论文 2：DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators
作者：Lu Lu、Pengzhan Jin、George Em Karniadakis论文链接：
摘要：DeepONet 是一种可以学习算子的深度神经网络架构。它的独特之处在于它的分叉式架构，该架构在两个并行网络（「分支」和「主干」）中处理数据。前者学习预估输入侧的许多函数，后者学习预估输出侧的函数。然后，DeepONet 将两个网络的输出合并以学习算子。训练 DeepONet 的每次迭代中会调整分支网络和主干网络中的权重，直到整个网络出现的错误量可以被接受为止。
今年 2 月研究人员发表了对 DeepONet 架构长达 112 页的数学分析。研究证明这种方法是真正通用的，可以将输入端的任何函数集映射到输出端的任何函数集。
DeepONet 架构
推荐：分叉式架构，通用性强，可以将输入端的任何函数集映射到输出端的任何函数集。
论文 3：Fourier Neural Operator For Parametric Partial Differential Equations
作者：Zongyi Li、Nikola Kovachki、Kamyar Azizzadenesheli、Burigede Liu、Kaushik Bhattacharya、Andrew Stuart、Anima Anandkumar论文链接： 个小时。对于没有确定的偏微分方程的现象，学习神经算子很可能是建模此类系统的唯一方法。比如交通问题，编写精确捕捉交通动态的偏微分方程几乎是不可能的，但是可以学习的数据量却非常之多。
在训练数据通过神经网络的每一层之前会先对其进行傅里叶变换，然后该层通过线性运算处理数据，再执行傅立叶逆变换回原始格式。最后，FNO 学习了整个偏微分方程族的算子，将函数映射到函数。
傅里叶神经算子架构
推荐：运行速度极快，比传统 PDE 求解器快约 70000 倍。
论文 4：Protecting Intellectual Property of Generative Adversarial Networks from Ambiguity Attack
作者：Ding Sheng Ong、Chee Seng Chan、Kam Woh Ng、Lixin Fan、Qiang Yang论文链接：）保护也因此成了各公司会专注的问题。
虽然目前已有用于卷积神经网络的 IPR 保护方法，但是却不能直接使用在生成对抗网络（GANs）——另一种被广泛用于生成逼真图像的深度学习模型。因此，本文提出了一种基于黑盒与白盒的 GAN 模型 IPR 保护方法。实验结果表明，本方法并不会损害 GAN 本来的性能（如图像生成、图像超分辨率以及样式转换），也能够抵御去除嵌入的水印和模糊攻击。
推荐：第一个适用于 GANs 模型的 IPR 保护方法，基于黑盒和白盒，完全不损害性能。
论文 5：Open Domain Generalization with Domain-Augmented Meta-Learning
作者：Yang Shu、Zhangjie Cao、Chenyu Wang、Jianmin Wang、Mingsheng Long论文链接： 的每一个源领域可能都是从不同渠道收集而来，目标领域数据在训练阶段是不可见的，因此它与各源领域标签集之间的关系也应该是开放的。
本文抛开了所有源领域与目标领域都具有完全相同的标签集的假设，提出了用 Domain-Augmented Meta-Learning （DAML）框架来学习 Open Domain Generalization（OpenDG），通过设计新的元学习任务和损失来进行元学习，以保留领域独特的知识并同时推广跨领域的知识。实验结果表明 DAML 优于现有的看不见的领域识别方法。
DAML 架构。
推荐：更优的领域识别方法。
论文 6：Home Use of a Percutaneous Wireless Intracortical Brain-Computer Interface by Individuals With Tetraplegia
作者：John D. Simeral、Thomas Hosman、Jad Saab、Sharlene N. Flesher、Marco Vilela、Brian Franco、Jessica Kelemen、David M. Brandman、John G. Ciancibello、Paymon G. Rezaii、Emad N. Eskandar、David M. Rosler、Krishna V. Shenoy§、Jaimie M. Henderson§、Arto V. Nurmikko、Leigh R. Hochberg论文链接： 仅用自己的思维就可以打字。但要完成这个操作，需要将参与者连接到固定的计算机上，以便传输大量处理数据。
近日，BrainGate 的研究团队又取得了新的突破。研究者们成功创建了一种无线脑机接口（BCI），性能接近有线脑机接口，延迟非常低。相比于 2015 年，新研究成果能够省掉许多繁琐的设置，使用户不仅能够用思维打字，还能在家轻松浏览网络内容。在该研究的论文中，研究者描述了两位四肢瘫痪的志愿者如何使用新的无线 BCI 系统，并借助该系统打开 Windows 中的开始菜单，使用其中的应用程序。
有线和无线配置下的人类皮质内信号记录比较
推荐：无线意念操控，性能接近有线脑机接口，低延迟。
论文 7：Learning Position and Target Consistency for Memory-based Video Object Segmentation
作者：Li Hu、Peng Zhang、Bang Zhang、Pan Pan、Yinghui Xu、Rong Jin论文链接： 的分割结果中仍然有很多不足。
为了进一步提升 Memory-based 的 VOS 方法，该研究提出从两个方面去改进：位置一致性与目标一致性。首先，目标物体在视频帧间的运动是遵循一定轨迹的，如果在某一帧的一些位置出现和目标物体相似的同类物体，如果其位置不合理，那么该物体是目标物体的可能性就会降低，不应该被分割。其次，视频目标分割本质上也可以理解为是一个像素级别的物体跟踪。虽然分割是像素级的任务，但 VOS 的处理对象是物体 (object)，需要有一个类似图像实例分割中对于物体级别的约束。显然那些错误的碎块分割结果是不满足一个目标物体整体的概念的。
推荐：从位置一致性、目标一致性两个方面提升了 Memory-based 的 VOS 方法。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，详情如下：
本周 10 篇 NLP 精选论文是：
1. Generating Bug-Fixes Using Pretrained Transformers. (from Alexey Svyatkovskiy)
2. Human-like informative conversations: Better acknowledgements using conditional mutual information. (from Christopher D. Manning)
3. Case-based Reasoning for Natural Language Queries over Knowledge Bases. (from Andrew McCallum)
4. On Sampling-Based Training Criteria for Neural Language Modeling. (from Hermann Ney)
5. Sensitivity as a Complexity Measure for Sequence Classification Tasks. (from Dan Jurafsky)
6. Frequency-based Distortions in Contextualized Word Embeddings. (from Dan Jurafsky)
7. Improving Neural Model Performance through Natural Language Feedback on Their Explanations. (from Yiming Yang)
8. XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment. (from Philipp Koehn)
9. Embedding-Enhanced Giza++: Improving Alignment in Low- and High- Resource Scenarios Using Embedding Space Geometry. (from Philipp Koehn)
10. Back to Square One: Bias Detection, Training and Commonsense Disentanglement in the Winograd Schema. (from Hongming Zhang, Dan Roth)
本周 10 篇 CV 精选论文是：
1. TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval. (from Yang Liu, Andrew Zisserman)
2. Multiscale Vision Transformers. (from Jitendra Malik)
3. Robust Object Detection via Instance-Level Temporal Cycle Confusion. (from Trevor Darrell)
4. Exploring Visual Engagement Signals for Representation Learning. (from Claire Cardie, Serge Belongie)
5. Understanding Synonymous Referring Expressions via Contrastive Features. (from Ming-Hsuan Yang)
6. Weakly Supervised Object Localization and Detection: A Survey. (from Ming-Hsuan Yang)
7. VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text. (from Shih-Fu Chang)
8. Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment. (from Shih-Fu Chang)
9. Self-Supervised Pillar Motion Learning for Autonomous Driving. (from Alan Yuille)
10. Towards Human-Understandable Visual Explanations:Imperceptible High-frequency Cues Can Better Be Removed. (from Tinne Tuytelaars)
本周 10 篇 ML 精选论文是：
1. Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks. (from Philip S. Yu)
2. Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks. (from Philip S. Yu)
3. Measuring what Really Matters: Optimizing Neural Networks for TinyML. (from Lothar Thiele)
4. Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020. (from Isabelle Guyon)
5. Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators. (from Bernt Schiele)
6. EarthNet2021: A large-scale dataset and challenge for Earth surface forecasting as a guided video prediction task. (from Markus Reichstein)
7. Risk score learning for COVID-19 contact tracing apps. (from Kevin Murphy, Abhishek Kumar)
8. Extraction of Hierarchical Functional Connectivity Components in human brain using Adversarial Learning. (from Christos Davatzikos)
9. Gradient Matching for Domain Generalization. (from Philip H.S. Torr)
10. Machine Learning Approaches for Type 2 Diabetes Prediction and Care Management. (from Vikas Kumar)
