Journal-Club

Time: Friday morning 10:00 - 10:30 AM, FGH 313

• Journal-Club
  • Paper-Reading-Group

Paper-Reading-Group

Agenda

Date	Speaker	Paper	Remark
2024.12.13	Marilyn Lionts （Foundation Model）	《Solaris: A Foundation Model of the Sun》
2024.12.13	Marilyn Lionts （LLM）	《Star Attention: Efficient LLM Inference over Long Sequences》
2024.12.13	Marilyn Lionts （LLM）	《Ring Attention with Blockwise Transformers for Near-Infinite Context》 (Neurips2024)
2024.12.6	Junchao Zhu （Generative model）	《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》 (Neurips2024)
2024.12.6	Junchao Zhu （LLM）	《RHO-1: Not All Tokens Are What You Need》 (Neurips2024)
2024.12.6	Junchao Zhu （GNN）	《Dynamic Graph Representation with Knowledge-Aware Attention for Histopathology Whole Slide Image Analysis》 (CVPR2024)
2024.10.18	Junchao Zhu （GNN+Super-resolution）	《Image Processing GNN: Breaking Rigidity in Super-Resolution》 (CVPR2024)
2024.10.18	Junchao Zhu （GNN+Finetuning）	《Fine-tuning Graph Neural Networks by Preserving Graph Generative Patterns》 (AAAI2024)
2024.10.18	Junchao Zhu （Spatial Transcriptomics）	《Accurate spatial gene expression prediction by integrating multi-resolution features》 (CVPR2024)
2024.10.4	Yuechen Yang Guo （Generative model）	《Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization》 (CVPR2023)
2024.10.4	Yuechen Yang （Generative model）	《Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation》 (CVPR2023)
2024.10.4	Yuechen Yang （Generative model）	《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》
2024.09.27	Junlin Guo （Vision-language model）	《Enhancing Representation in Radiography-Reports Foundation Model: A Granular Alignment Algorithm Using Masked Contrastive Learning》 (Nature Communication)
2024.09.27	Junlin Guo （Vision-language model）	《Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding》 (Arxiv)
2024.09.27	Junlin Guo （Segmentation）	《Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding》 (CVPR2024)
2024.09.20	Juming Xiong （Image Registration）	《RegWSI: Whole slide image registration using combined deep feature-and intensity-based methods: Winner of the ACROBAT 2023 challenge》 (Computer Methods and Programs in Biomedicine)
2024.09.20	Juming Xiong （Image Registration）	《Unsupervised Non-rigid Histological Image Registration Guided by Keypoint Correspondences Based on Learnable Deep Features with Iterative Training》 (TMI)
2024.09.20	Juming Xiong （Image Segmentation）	《Feature-prompting GBMSeg: One-Shot Reference Guided Training-Free Prompt Engineering for Glomerular Basement Membrane Segmentation》 (MICCAI)
2024.09.13	Cathy Cui （Vision-language model）	《Segment Everything Everywhere All at Once》 (NeurIPS 2023)
2024.09.13	Cathy Cui （Vision-language model）	《Semantic-SAM: Segment and Recognize Anything at Any Granularity》 (ArXiv)
2024.09.13	Cathy Cui （Vision-language model）	《BiomedParse: a biomedical foundation model for image parsing of everything everywhere all at once》 (ArXiv)
2024. 9.6	Ruining Deng （GAN-based application）	《CP2Image: Generating high-quality single-cell images using CellProfiler representations》 （MIDL2023）
2024. 9.6	Ruining Deng （Image Registration）	《Unsupervised Histological Image Registration Using Structural Feature Guided Convolutional Neural Network》 （IEEE TMI)
2024. 9.6	Ruining Deng （Vision-Language model）	《ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification》 （CVPR2024)
2024.08.30	Tianyuan Yao （Vision language Model）	《BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models》 (ArXiv）
2024.08.30	Tianyuan Yao （Vision language Model）	《BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation》 (ArXiv）
2024.08.30	Tianyuan Yao （Vision language Model）	《Align before Fuse: Vision and Language Representation Learning with Momentum Distillation》 (ArXiv）
2024.08.23	Marilyn Lionts （digital pathology virtual staining）	《Virtual histological staining of unlabeled autopsy tissue》 （Nature Communications 2024）
2024.08.23	Marilyn Lionts （LLM）	《META-REWARDING LANGUAGE MODELS: Self-Improving Alignment with LLM-as-a-Meta-Judge》 （ArXiv 2024）
2024.08.23	Marilyn Lionts （AI Safety）	《Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?》 （ArXiv 2024）
2024.07.26	Junchao Zhu （pseudo label + semi-supervised learning）	《Co-training with High-Confidence Pseudo Labels for Semi-supervised Medical Image Segmentation》 （IJCAI 2023）
2024.07.26	Junchao Zhu （pseudo label + semi-supervised learning）	《Conflict-Based Cross-View Consistency for Semi-Supervised Semantic Segmentation》 （CVPR2023）
2024.07.26	Junchao Zhug （pseudo label + semi-supervised learning）	《Mutual learning with reliable pseudo label for semi-supervised medical image segmentation》 （MEDIA）
2024.07.19	Yuechen Yang （image analysis toolbox）	《TIAToolbox as an end-to-end library for advanced tissue image analytics》 （ communications medicine 2022）
2024.07.19	Yuechen Yang （feature extraction + ML）	《Classification of Citrus Type Based on Leaf Image Using Shape Extraction and GLCM with the Decision Tree Method》 （IEEE 2021）
2024.07.19	Yuechen Yang （feature extraction + ML）	《Sliding Window Based Support Vector Machine System for Classification of Breast Cancer Using Histopathological Microscopic Images》 （IETE 2019）
2024.07.05	Ruining Deng （Multi-modal Learning）	《Transcriptomics-guided Slide Representation Learning in Computational Pathology》 （CVPR2024）
2024.07.05	Ruining Deng （Multi-rater Learning）	《Stochastic In-Context Learning for Medical Image Segmentation》 （CVPR2024）
2024.07.05	Ruining Deng （Continual Learning）	《Continual Self-supervised Learning: Towards Universal Multi-modal Medical Data Representation Learning》 （CVPR2024)
2024.06.21	Juming Xiong （Image Stitching）	《Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images》(IEEE TRANSACTIONS ON IMAGE PROCESSING)
2024.06.21	Juming Xiong （Image Stitching）	《Parallax-Tolerant Unsupervised Deep Image Stitching》)
2024.06.21	Juming Xiong （Image Stitching）	《Implicit Neural Image Stitching With Enhanced and Blended Feature Reconstruction》
2024.06.14	Tianyuan Yao （Time series foundation model）	《Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting》
2024.06.14	Tianyuan Yao （Time series foundation model）	《Spatial-Temporal Transformer Networks for Traffic Flow Forecasting》
2024.06.14	Tianyuan Yao （Time series foundation model）	《Foundation Models for Time Series Analysis: A Tutorial and Survey》
2024.05.24	Marilyn Lionts （Transformers）	《Improving Transformers Using Faithful Positional Encoding》 (ArXiv）
2024.05.24	Marilyn Lionts （Transformers）	《Zero-Shot Tokenizer Transfer》 (ArXiv）
2024.05.24	Marilyn Lionts （Language Models）	《Observational Scaling Laws and the Predictability of Language Model Performance》 (ArXiv）
2024.05.03	Junlin Guo （RLHF + Large Language Model）	《Aligning Large Multimodal Models with Factually Augmented RLHF》 (ArXiv）
2024.05.03	Junlin Guo （RLHF + Diffusion Model）	《Using Human Feedback to Fine-tune Diffusion Models without Any Reward Model》 (CVPR2024）
2024.04.26	Tianyuan Yao （Large language Model）	《Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking》 (ArXiv）
2024.04.26	Tianyuan Yao （Large language Model）	《Mixture-of-Depths: Dynamically allocating compute in transformer-based language models》 (ArXiv）
2024.04.26	Tianyuan Yao （Large language Model）	《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》 (ArXiv）
2024.04.19	Marilyn Lionts （Spatial Awareness LLMs）	《BLINK: Multimodal Large Language Models Can See but Not Perceive》 (ArXiv）
2024.04.19	Marilyn Lionts （Spatial Awareness LLMs）	《Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models》 （ArXiv）
2024.04.19	Marilyn Lionts （Adversarial LLMs）	《Manipulating Large Language Models to Increase Product Visibility》 （ArXiv)
2024.04.12	Quan Liu （Small Language Model）	《Textbooks Are All You Need》 (ArXiv）
2024.04.12	Quan Liu （Small Language Model）	《Small Models are Valuable Plug-ins for Large Language Models》 （ArXiv）
2024.04.12	Quan Liu （Small Language Model）	《MobileVLM V2: Faster and Stronger Baseline for Vision Language Model》 （ArXiv)
2024.04.05	Ruining Deng （Class-incremental Learning）	《PLOP: Learning without Forgetting for Continual Semantic Segmentation》 （CVPR2021）
2024.04.05	Ruining Deng （Class-incremental Learning）	《Class Similarity Weighted Knowledge Distillation for Continual Semantic Segmentation》 （CVPR2022）
2024.04.05	Ruining Deng （Class-incremental Learning）	《CoMFormer: Continual Learning in Semantic and Panoptic Segmentation》 （CVPR2023)
2024.03.29	Cathy Cui （Efficient Model）	《PromptKD: Unsupervised Prompt Distillation for Vision-Language Models》
2024.03.29	Cathy Cui （Efficient Model）	《Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts》
2024.03.29	Cathy Cui （Efficient Model）	《EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything》
2024.03.22	Juming Xiong （Generative Model）	《Endora: Video Generation Models as Endoscopy Simulators》
2024.03.22	Juming Xiong （Image Segmentation）	《OMG-Seg: Is One Model Good Enough For All Segmentation》(CVPR 2024)
2024.03.22	Juming Xiong （Image registration）	《Modality-Agnostic Structural Image Representation Learning for Deformable Multi-Modality Medical Image Registration》(CVPR 2024)
2024.03.15	Yucheng Tang （Autoregressive Models）	《Taming Transformers for High-Resolution Image Synthesis》(CVPR 2021)
2024.03.15	Yucheng Tang （Autoregressive Models）	《Sequential Modeling Enables Scalable Learning for Large Vision Models》
2024.03.15	Yucheng Tang （Autoregressive Models）	《VILA: On Pre-training for Visual Language Models》(CVPR 2024)
2024.03.01	Junlin Guo （Visual Language model + Dataset denoising）	《Filtering, distillation, and hard negatives for vision-language pre-training》(CVPR 2023)
2024.03.01	Junlin Guo （Foundation model + Weakly supervised learning）	《Foundation Model Drives Weakly Incremental Learning for Semantic Segmentation》(CVPR 2023)
2024.03.01	Junlin Guo （Self-supervised Pre-training）	《Geometric Visual Similarity Learning in 3D Medical Image Self-supervised Pre-training》(CVPR 2023)
2024.02.23	Tianyuan Yao （Vision 'language' Model）	《Images Speak in Images: A Generalist Painter for In-Context Visual Learning》
2024.02.23	Tianyuan Yao （Machine unlearning）	《UnlearnCanvas: A Stylized Image Dataset to Benchmark Machine Unlearning for Diffusion Models》
2024.02.16	Marilyn Lionts （Unlearnable Datasets）	《UNLEARNABLE EXAMPLES: MAKING PERSONAL DATA UNEXPLOITABLE》(ICLR2021）
2024.02.16	Marilyn Lionts （Unlearnable Datasets）	《CUDA: Convolution-based Unlearnable Datasets》(CVPR 2023）
2024.02.16	Marilyn Lionts （Unlearnable Datasets）	《Unlearnable Clusters: Towards Label-agnostic Unlearnable Examples》(CVPR 2023）
2024.02.09	Quan Liu （Multi-modal Large Language Models (MLLM）	《Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization》（ArXiv）
2024.02.09	Quan Liu （MLLM）	《GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest》(ArXiv）
2024.02.09	Quan Liu （MLLM）	《DocPedia: Unleashing the Power of Large Multimodal Model in the Frequency Domain for Versatile Document Understanding》(ArXiv）
2024.02.02	Ruining Deng （Hierarchical Semantic Segmentation）	《Deep Hierarchical Semantic Segmentation》 （CVPR2022)
2024.02.02	Ruining Deng （Hierarchical Semantic Segmentation）	《Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers 》 （CVPR2022）
2024.02.02	Ruining Deng （Universal segmentation）	《UniverSeg: Universal Medical Imaging Segmentation》 （ICCV2023
2024.01.26	Can(Cathy) Cui （Vision Language Model）	《LISA: Reasoning Segmentation via Large Language Model》 （ArXiv）
2024.01.26	Can(Cathy) Cui （Vision Language Model）	《Making Large Multimodal Models Understand Arbitrary Visual Prompts 》(ArXiv）
2024.01.26	Can(Cathy) Cui （Network Structure）	《U-Mamba Enhancing Long-range Dependency for Biomedical Image Segmentation》(ArXiv）
2024.01.12	Yucheng Tang （Efficient ViT）	《EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction》 （ICCV 2023）
2024.01.12	Yucheng Tang Sparse ViT）	《SparseViT: Revisiting Activation Sparsity for Efficient High-Resolution Vision Transformer》 (CVPR) 2023）
2024.01.12	Yucheng Tang （Open-Vocabulary SAM）	《Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively》
2023.11.17	Dr. Huo （Spatial Transcriptomics）	《Visualization and Analysis of Gene Expression in Tissue Sections by Spatial Transcriptomics》 （Science 2016）
2023.11.17	Dr. Huo （Spatial Transcriptomics）	《Spatially Resolved Transcriptomes—Next Generation Tools for Tissue Exploration》 （BioEssay 2020）
2023.11.17	Dr. Huo （Spatial Transcriptomics）	《Alignment and Integration of Spatial Transcriptomics Data》 （Nature Method 2022）
2023.11.10	Quan Liu （Vision Language Foundation Model）	《Multimodal Few-Shot Learning with Frozen Language Models》 （NeruIPS 2021）
2023.11.10	Quan Liu （Vision Language Foundation Model）	《Frozen Transformers in Language Models Are Effective Visual Encoder Layers》 （arxiv）
2023.11.10	Quan Liu （Tranformer CNN backbone comparison）	《ConvNets Match Vision Transformers at Scale》 （DeepMind）
2023.11.03	Junlin Guo （Long-Tailed Learning + Knowledge Distillation）	《Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation》 （CVPR 2023）
2023.11.03	Junlin Guo （Universal instance cell segmentation）	《Cellpose: a generalist algorithm for cellular segmentation》 （Nature. 2021）
2023.11.03	Junlin Guo （Universal instance cell segmentation + Harmony）	《MEDIAR: Harmony of Data-Centric and Model-Centric for Multi-Modality Microscopy》 （NeurIPS 2022）
2023.10.27	Marilyn Lionts （Variational Autoencoders and Active Learning）	《An Active Learning Method Based on Variational Autoencoder and DBSCAN Clustering》 （2021）
2023.10.27	Marilyn Lionts （Variational Autoencoders and Active Learning）	《The Power of Ensembles for Active Learning in Image Classification》 （CVPR 2018）
2023.10.27	Marilyn Lionts （Variational Autoencoders and Active Learning）	《Variational Adversarial Active Learning》 （ICCV 2019）
2023.10.20	Can(Cathy) Cui （Anomaly Detection and Localization）	《Anomaly Detection via Reverse Distillation from One-Class Embedding》 （CVPR2022）
2023.10.20	Can(Cathy) Cui （Anomaly Detection and Localization）	《Revisiting Reverse Distillation for Anomaly Detection》 （CVPR2023）
2023.10.20	Can(Cathy) Cui （Anomaly Detection and Localization）	《ReContrast: Domain-Specific Anomaly Detection via Contrastive Reconstruction》 （NeurIPS）
2023.10.13	Yucheng Tang （Vision Language Foundation Model）	《Flamingo: a Visual Language Model for Few-Shot Learning》 (DeepMind)
2023.10.13	Yucheng Tang （Vision Language Foundation Model）	《PaLM: Scaling Language Modeling with Pathways》 (Google)
2023.10.13	Yucheng Tang （Vision Language Foundation Model）	《PaLM-E: An Embodied Multimodal Language Model》 (Google)
2023.10.13	Yucheng Tang （Vision Language Foundation Model）	《GPT-4 Technical Report 》 (OPEN AI)
2023.10.13	Yucheng Tang （Vision Language Foundation Model）	《LLaMA: Open and Efficient Foundation Language Models》 (Meta)
2023.10.13	Yucheng Tang （Vision Language Foundation Model）	《LLAVA: Visual Instruction Tuning》 (Microsoft, UWM)
2023.10.13	Yucheng Tang （Vision Language Foundation Model --- Medical）	《Med-PALM : Large Language Models Encode Clinical Knowledge》 (Google)
2023.10.13	Yucheng Tang （Vision Language Foundation Model --- Medical）	《BioMedCLIP: LARGE-SCALE DOMAIN-SPECIFIC PRETRAINING FOR BIOMEDICAL VISION-LANGUAGE PROCESSING》 (Microsoft)
2023.10.13	Yucheng Tang （Vision Language Foundation Model --- Medical）	《LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day 》 (Microsoft)
2023.10.13	Yucheng Tang （Vision Language Foundation Model --- Medical）	《Med-Flamingo: MED-FLAMINGO: A MULTIMODAL MEDICAL FEWSHOT LEARNER 》 (Stanford)
2023.10.13	Yucheng Tang （Vision Language Foundation Model --- Medical）	《Towards Generalist Foundation Model for Radiology 》 (Shanghai AI Lab)
2023.10.6	Dr. Huo （Vision language model）	《CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection》 （arxiv）
2023.10.6	Dr. Huo （Fast data curation）	《Annotating 8,000 Abdominal CT Volumes for Multi-Organ Segmentation in Three Weeks》 （ICCV 2023）
2023.10.6	Dr. Huo （Tranformer backbone）	《UNesT: Local Spatial Representation Learning with Hierarchical Transformer for Efficient Medical Segmentation》 （MeDIA 2023）
2023.9.22	Tianyuan Yao （Vision language model）	《BridgeTower: Building Bridges Between Encoders in Vision-Language Representation Learning》 （AAAI 2023）
2023.9.22	Tianyuan Yao （Vision language model）	《PMC-CLIP: Contrastive Language-Image Pre-training using Biomedical Documents》 （MICCAI 2023）
2023.9.22	Tianyuan Yao （Representation disentanglement + segmentation）	《Directional Connectivity-based Segmentation of Medical Images》 （CVPR 2023）
2023.9.22	Tianyuan Yao （Semi-supervised Segmentation）	《Orthogonal Annotation Benefits Barely-supervised Medical Image Segmentation》 （CVPR 2023）
2023.9.15	Ruining Deng （Prompt-based Segmentation）	《Incrementer: Transformer for Class-Incremental Semantic Segmentation with Knowledge Distillation Focusing on Old Class》 （CVPR2023）
2023.9.15	Ruining Deng （Prompt-based Segmentation）	《SegPrompt: Boosting Open-world Segmentation via Category-level Prompt Learning》 （ICCV）
2023.9.15	Ruining Deng （Prompt-based Segmentation）	《ProSFDA: Prompt Learning based Source-free Domain Adaptation for Medical Image Segmentation》 （ArXiv）
2023.9.08	Dr. Huo （Text-to-image Segmentation）	《Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models》 （ArXiv）
2023.9.08	Dr. Huo （Fundation Models）	《DINOv2 from Meta AI – Finally a Foundational Model in Computer Vision》 （Web Site） (ArXiv)
2023.9.08	Dr. Huo （Fundation Models）	《SAM-Med2D》 （ArXiv）
2023.8.25	Quan Liu （Self-supervised Learning）	《EMP-SSL: Towards Self-Supervised Learning in One Training Epoch》 （CVPR 2023）
2023.8.25	Quan Liu （Vision language model + zero-shot learning）	《Visual Language Pretrained Multiple Instance Zero-Shot Transfer for Histopathology Images》 （CVPR 2023）
2023.8.25	Quan Liu （Image perturbation）	《Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation》 （CVPR 2023）

Pool of great papers from the team (Senior folks can drop papers here as potential papers to review)

1. Ye, Shuquan, et al. "Improving Commonsense in Vision-Language Models via Knowledge Graph Riddles." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. [from Yuankai Huo]

2. Xie, Ronald, et al. "MAESTER: Masked Autoencoder Guided Segmentation at Pixel Resolution for Accurate, Self-Supervised Subcellular Structure Recognition." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. [from Yuankai Huo]

3. Huang, Zhi, et al. "A visual–language foundation model for pathology image analysis using medical Twitter." Nature Medicine (2023): 1-10. [from Yuankai Huo]