Paper Review

2024년에 arXiv에 제출된 'The landscape of emerging AI agent architectures for reasoning, planning, and tool calling: a survey' 논문을 바탕으로 작성된 리뷰입니다. (Masterman, T., Besen, S., Sawtell, M., & Chao, A.) AI Agent ArchitectureSingle Agent ArchitectureMulti Agent Architecture최근 실제 문제를 해결하는 Agent에 대해 많은 연구들이 이루어지고 있다.ex) SWE-Agent, AutoCodeRover, Octopus-v2 + Agent를 위한 프레임워크(Tiger, NPi, CopilotKit)Survey의 목적..

2023년에 EMNLP에 게재된 'Query rewriting for retrieval-augmented large language models' 논문을 바탕으로 작성된 리뷰입니다. (Ma, X., Gong, Y., He, P., Zhao, H., and Duan, N.) AbstractRetrieve-then-Read 파이프라인에서 LLM은 강력한 black-box reader로 활용된다.Retrieve-then-Read 프레임워크: 일반적인 검색 증강 방식으로, query와 관련된 문서를 외부에서 검색해온 후 LLM이 query & 문서를 입력받아 답변 예측하는 방식대부분의 LLM이 추론 API를 통해서만 접근 가능하므로, 파이프라인 내에서 black-box의 형태로 “frozen reader”의 역..

2020년에 Frontiers of medicine(Article)에 게재된'Deep learning in digital pathology image analysis: a survey' 논문을 바탕으로 작성된 리뷰입니다.(Shujian Deng, Xin Zhang, Wen Yan, Eric I-Chao Chang, Yubo Fan, Maode Lai, and Yan Xu) 전통적인 방법론: Hand-crafted domain-specific features / disease-related tissue changes by extracting mathematical features(morphological, textural, structural, fractal)딥러닝: Representation learni..

2023년에 ACM Transactions on Information Systems에 게재된'An Analysis of Fusion Functions for Hybrid Retrieval' 논문을 바탕으로 작성된 리뷰입니다.(Bruch, Sebastian, Siyu Gai, and Amir Ingber)IntroductionRetrieval: multi-stage ranking system의 첫번째 단계목표: 거대한 문서 집합 $\mathcal{D}$에서 주어진 query $q$와 가장 관련성이 높은 top-$k$개의 문서들을 찾는 것(1) Query와 Document 사이의 관련도를 어떻게 측정할 것인가? → 본 논문에서 다루는 주제(2) 주어진 유사도 metric에 따라 top-$k$개의 문서들을 어..

2023년에 ACL(Association for Computational Linguistics)에 제출된 'Counterfactual Active Learning for Out-of-Distribution Generalization' 논문을 바탕으로 작성된 리뷰입니다. (Deng, X., Wang, W., Feng, F., Zhang, H., He, X., and Liao, Y.)AbstractTask: Classification에서 결정 경계를 학습할 때, annotation에 필요한 sample들을 adapt하게 선택하는 Active Learning의 OOD 일반화문제 상황: seen sample 수를 증가하면서 annotation → 일반화에 거의 도움이 되지 않을 수 있음.제안하는 방법: seen..

2024년에 arXiv에 제출된 'Text clustering with LLM embeddings' 논문을 바탕으로 작성된 리뷰입니다. (Petukhova, Alina, Joao P. Matos-Carvalho, and Nuno Fachada)IntroductionText clustering: 유사한 주제나 의미를 갖는 문서들을 그룹화하여 분류 (content-based) Text clustering의 효과대규모의 unstructured/uncategorized 데이터에 숨겨진 패턴 발견 가능유의미한 category 탐색 → 효율적인 정보 검색, 여러 domain에 대한 insightful thematic analysis유사한 text들끼리 그룹화 → topic modeling과 같은 이후 분석에서의 정..

2021년에 EMNLP에서 발표된 Active Learning by Acquiring Contrastive Examples 논문을 바탕으로 작성된 리뷰입니다. (Katerina Margatina, Giorgos Vernikos, Loïc Barrault, and Nikolaos Aletras)Abstract기존 active learning 방식: Diversity sampling 방법 & Uncertainty sampling 방법Diversity 기반의 방법: 다양한 sample을 선택할 수 있는 장점이 있지만 hard sample은 잘 선택되지 않기에 uncertainty 기반의 방식에 비해 상대적으로 성능이 낮음.Uncertainty 기반의 방법: hard sample을 선택해 적은 sample들로도..

2023년에 EACL에서 발표된 Small-Text: Active Learning for Text Classification in Python 논문을 바탕으로 작성된 리뷰입니다. (Christopher Schröder, Lydia Müller, Andreas Niekler, and Martin Potthast)Abstractsmall-text: active learning 파이썬 library (ver. 1.3.0)목적: Text classification을 위한 SOTA active learning을 연구자들과 실무자들에게 쉽고 편리한 방법으로 제공single & multi label text classification을 위한 pool-based active learning 제공pool-based ac..

2022년에 ACL에서 발표된 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning논문을 바탕으로 작성된 리뷰입니다. (Yuning Mao, Lambert Mathias, Rui Hou, Amjad Almahairi, Hao Ma, Jiawei Han, Wen-tau Yih and Madian Khabsa) Abstract최근 Parameter-efficient language model tuning(PELT)의 영향으로 적은 trainable parameter들로도, 특히 training data가 제한된 상황에서 좋은 성능을 낼 수 있게 되었다. 문제점 : PELT 방법이 다르다면 같은 task에 대해서도 다르게 적용되어..