프롬프트 엔지니어링의 기법은

프롬프트 엔지니어링의 기법

 

프롬프트 엔지니어링의 기법을 

 

프롬프트 엔지니어링(Prompt Engineering)은 기계 학습을 이용한 자연어처리(Natural Language Processing)에서 핵심적인 기법 중 하나입니다. 이 기법은 입력 데이터의 패턴과 목표로 하는 작업(Task)에 맞는 적절한 프롬프트(Prompt)를 설계하는 것입니다. 이 기법을 사용하면 모델이 주어진 작업을 수행하기 위해 필요한 정보를 더 정확하게 추론할 수 있습니다.

 

 

프롬프트 엔지니어링을 구체적으로 설명하기 위해 먼저 이 기법이 사용되는 분야와 예시를 살펴보겠습니다.

 

 

프롬프트 엔지니어링은 대화 시스템, 기계 번역, 요약, 질의응답 등 다양한 분야에서 사용됩니다. 예를 들어, 질의응답 시스템에서 "어떤 국가에서 태어난 스티브 잡스의 출생지는 어디입니까?"라는 질문이 주어졌을 때, 이 질문에 대한 답변을 추론하기 위해 다음과 같은 프롬프트를 사용할 수 있습니다.

 

 

질문: 어떤 국가에서 태어난 스티브 잡스?

대답: 스티브 잡스는 미국 캘리포니아주 샌프란시스코에서 태어났습니다.

 

 

이러한 방식으로 프롬프트를 설계하면 모델이 답변에 필요한 정보를 더욱 명확하게 인식할 수 있습니다.

 

 

다음으로 프롬프트 엔지니어링의 기법을 자세하게 살펴보겠습니다.

 

 

프롬프트의 형태 결정하기 프롬프트는 주어진 작업에 맞는 적절한 형태를 갖추어야 합니다. 이를 위해서는 목표로 하는 작업(Task)에 따라 적절한 형태의 프롬프트를 결정해야 합니다.

 

예를 들어, 질의응답 시스템에서 "슈퍼마켓에서 구매할 수 있는 가격이 저렴한 브랜드는 어떤 것이 있나요?"라는 질문이 주어졌을 때, 다음과 같은 형태의 프롬프트를 사용할 수 있습니다.

 

 

질문: 어떤 브랜드가 가격이 저렴한가요?

**대답**: 저렴한 가격으로 구매할 수 있는 브랜드로는 A, B, C 브랜드 등이 있습니다.

 

 

이와 같이 프롬프트의 형태를 결정할 때는 목표로 하는 작업(Task)과 입력 데이터의 특성을 고려하여 적절한 형태를 선택해야 합니다.

 

 

프롬프트에 필요한 정보 포함하기 프롬프트는 모델이 주어진 작업을 수행하기 위해 필요한 정보를 명확하게 제공해야 합니다. 이를 위해서는 입력 데이터와 작업(Task)에 관련된 정보를 프롬프트에 포함해야 합니다.

 

예를 들어, 기계 번역 모델을 학습시킬 때, 다음과 같은 프롬프트를 사용할 수 있습니다.

 

 

입력 문장: 저는 한국어를 잘 못합니다.

번역: I am not good at Korean.

 

 

이 프롬프트는 입력 문장과 번역 결과를 연결시키기 위해 필요한 정보를 포함하고 있습니다.

 

 

프롬프트의 다양성 유지하기 프롬프트 엔지니어링에서 가장 중요한 것은 프롬프트의 다양성을 유지하는 것입니다. 다양한 형태의 프롬프트를 사용하면 모델이 입력 데이터의 다양성을 더 잘 이해할 수 있습니다.

 

예를 들어, 대화 시스템에서 다음과 같은 프롬프트를 사용할 수 있습니다.

 

 

질문: 뭐 해?

대답: 지금은 노래를 듣고 있어요.

 

 

이와 같은 간단한 형태의 프롬프트를 사용하여 대화 시스템을 학습시키면 모델이 간단한 대화에 더욱 능숙해질 수 있습니다.

 

 

프롬프트 업데이트하기 프롬프트 엔지니어링은 모델을 학습시키는 과정에서 지속적으로 업데이트되어야 합니다. 새로운 데이터나 작업이 추가되면 적절한 프롬프트를 사용하여 모델을 다시 학습시켜야 합니다.

 

예를 들어, 질의응답 시스템에서 새로운 질문이 추가되면 이에 맞는 적절한 프롬프트를 추가하여 모델을 업데이트해야 합니다.

 

 

프롬프트를 조합하여 사용하기 프롬프트 엔지니어링에서는 여러 개의 프롬프트를 조합하여 사용하는 것이 가능합니다.

 

 

이를 통해 모델이 다양한 상황에서 더욱 능숙하게 작동할 수 있습니다.

 

 

예를 들어, 이미지 캡셔닝 모델을 학습시킬 때 다음과 같은 프롬프트를 사용할 수 있습니다.

 

 

이미지: 고양이가 앉아있는 사진

캡션: A cat is sitting on the chair.

 

 

이와 같은 형태의 프롬프트를 사용하여 모델을 학습시키면, 고양이가 어떤 위치에 앉아있는지에 따라 다른 캡션을 생성할 수 있도록 모델을 학습시킬 수 있습니다.

 

 

프롬프트의 효과 평가하기 프롬프트 엔지니어링에서는 학습된 모델이 목표로 하는 작업을 얼마나 잘 수행하는지 평가하는 것이 매우 중요합니다. 이를 위해서는 프롬프트의 효과를 정량적으로 측정할 수 있는 지표를 사용해야 합니다.

 

예를 들어, 자연어 생성 모델의 경우, 생성된 문장의 품질을 측정하는 BLEU, ROUGE 등의 지표를 사용하여 프롬프트의 효과를 평가할 수 있습니다.

 

 

프롬프트의 보안 고려하기 프롬프트는 입력 데이터와 작업에 관련된 정보를 모델에 전달하는 역할을 합니다. 따라서 프롬프트에 민감한 정보가 포함되지 않도록 보안에 신경써야 합니다.

 

예를 들어, 의료 정보를 다루는 모델에서는 환자 정보나 진단 결과와 같은 민감한 정보가 프롬프트에 포함되지 않도록 해야 합니다.

 

 

최근에는 프롬프트 엔지니어링이 GPT-3와 같은 대규모 언어모델의 학습에 큰 역할을 한다는 연구 결과가 나오고 있습니다. 이를 통해 모델의 성능을 더욱 향상시킬 수 있으며, 더 많은 분야에서 적용될 것으로 기대됩니다.

 

 

 

프롬프트의 다양성 고려하기 프롬프트 엔지니어링에서는 다양한 프롬프트를 사용하여 모델을 학습시키는 것이 중요합니다. 하나의 프롬프트만 사용하면 모델이 해당 작업에 특화된 단일한 방법으로만 작동하게 될 수 있습니다.

 

따라서 다양한 프롬프트를 사용하여 모델을 학습시키면, 모델이 다양한 상황에서 더욱 능숙하게 작동할 수 있습니다. 또한, 다양한 프롬프트를 사용하면 모델이 이전에 본 적이 없는 새로운 상황에서도 더 잘 대처할 수 있습니다.

 

 

프롬프트의 조정과 수정 학습된 모델이 원하는 결과를 내지 못하는 경우, 프롬프트를 조정하거나 수정하여 모델의 성능을 향상시킬 수 있습니다.

 

예를 들어, 이미지 캡셔닝 모델에서 "고양이"라는 단어를 포함한 프롬프트를 사용하여 학습시켰지만, 모델이 다른 동물을 고양이로 인식하는 경우가 발생한다면, 프롬프트를 수정하여 모델이 고양이를 더 정확하게 인식하도록 할 수 있습니다.

 

 

프롬프트 엔지니어링의 한계 프롬프트 엔지니어링은 모델의 성능을 향상시키는 유용한 기법 중 하나이지만, 여전히 몇 가지 한계점이 존재합니다.

 

먼저, 모델이 학습한 데이터와 프롬프트가 다른 경우, 모델의 성능이 저하될 수 있습니다. 이를 해결하기 위해서는 다양한 프롬프트를 사용하여 모델을 학습시키는 것이 필요합니다.

 

 

또한, 프롬프트 엔지니어링은 학습 데이터에 기반한 모델을 생성하므로, 새로운 상황에서는 제대로 작동하지 않을 가능성이 있습니다. 이를 해결하기 위해서는 다양한 상황에서 모델을 평가하고 조정해야 합니다.

 

 

마지막으로, 프롬프트는 모델이 수행해야 할 작업을 정의하는 데 사용되므로, 프롬프트가 잘못 작성된 경우 모델이 잘못된 결과를 생성할 가능성이 있습니다. 따라서, 프롬프트를 작성할 때는 신중적으로 접근하여 최대한 정확하게 작성하는 것이 중요합니다.

 

 

프롬프트 엔지니어링의 적용 분야 프롬프트 엔지니어링은 다양한 분야에서 적용할 수 있습니다. 일부 예시는 다음과 같습니다.

 

자연어 처리 분야: 질문 답변 시스템, 요약, 기계 번역 등

이미지 처리 분야: 객체 감지, 이미지 캡셔닝 등

추천 시스템 분야: 영화 추천, 상품 추천 등

생성 모델 분야: 새로운 음악 생성, 이미지 생성 등

 

결론 프롬프트 엔지니어링은 기계 학습 모델의 성능을 향상시키는 유용한 기법 중 하나입니다. 적절한 프롬프트를 사용하면 모델이 원하는 결과를 더욱 정확하게 예측할 수 있습니다.

 

프롬프트를 작성할 때는 문제에 대한 이해와 도메인 지식, 데이터의 특성 등을 고려하여 최대한 정확하고 유용한 프롬프트를 작성해야 합니다. 또한, 다양한 프롬프트를 사용하여 모델을 학습시키고, 필요에 따라 프롬프트를 수정하거나 조정하여 모델의 성능을 최적화해야 합니다.

 

 

프롬프트 엔지니어링은 다양한 분야에서 적용 가능하며, 더욱 발전할 가능성이 큽니다. 따라서, 프롬프트 엔지니어링을 기계 학습 모델 개발에 적극적으로 활용하는 것이 중요합니다.

 

 

참고 문헌

 

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.

Gao, T., Lin, L., Wang, X., Lu, Z., & Wong, K. F. (2021). Prompt-guided Few-Shot Text Classification. arXiv preprint arXiv:2101.08261.

Keskar, N. S., Mangipudi, C., McCann, B., & Socher, R. (2021). On the robustness of prompt-based language models. arXiv preprint arXiv:2104.08691.

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI blog, 1(8), 9.

Roberts, A., Shin, J., & Wiebe, J. (2020). Harnessing the power of many annotators through iterative question selection. arXiv preprint arXiv:2002.01620.

Shin, J., Roberts, A., & Wiebe, J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683.

 

부록: 프롬프트 예시

 

문장 분류: "이것은 (부정/긍정)적인 문장입니다."

감성 분석: "이 문장의 감정은 (부정/긍정)입니다."

기계 번역: "이 문장을 (영어/스페인어/중국어)로 번역하세요."

이미지 캡셔닝: "이 이미지의 설명은 무엇인가요?"

객체 감지: "이 이미지에서 (무엇/누구)을(를) 찾으세요?"

음악 생성: "이 곡은 (잔잔한/신나는/로맨틱한) 느낌으로 작곡하세요."

상품 추천: "이 상품과 유사한 상품을 추천하세요."

질문 답변: "이 질문에 대한 답변은 무엇인가요?"

텍스트 생성: "이 문장을 끝맺음하는 다음 문장을 작성하세요."

요약: "이 문서를 (한 문장/한 단락/한 페이지) 요약하세요."

 

 

요약

 

프롬프트 엔지니어링은 최근 자연어 처리 분야에서 많은 관심을 받고 있는 기법 중 하나이다. 이 기법은 모델에 입력되는 텍스트에 프롬프트를 추가하여 모델의 성능을 향상시키는 방법이다. 프롬프트는 모델이 입력 텍스트에 대한 작업을 수행하기 위해 필요한 추가 정보를 제공하며, 이를 통해 모델이 일반화 능력을 향상시키고 작은 데이터셋에서도 좋은 성능을 발휘할 수 있다.

 

 

프롬프트 엔지니어링의 기법에는 다양한 종류가 있지만, 대표적으로 문장 분류, 감성 분석, 기계 번역, 이미지 캡셔닝, 객체 감지, 음악 생성, 상품 추천, 질문 답변, 텍스트 생성, 요약 등이 있다. 이러한 프롬프트를 이용하여 모델을 학습시키면, 작은 데이터셋에서도 높은 성능을 발휘할 수 있으며, 일반화 능력이 향상된 모델을 얻을 수 있다.

 

 

프롬프트 엔지니어링은 최근 자연어 처리 분야에서 매우 효과적인 기법으로 입증되었으며, 더 많은 연구와 적용이 예상된다. 이를 통해 자연어 처리 기술의 발전이 더욱 가속화될 것으로 기대된다.

 

 

 

참고문헌

 

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.

 

Luong, M. T., Pham, H., & Manning, C. D. (2015). Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 conference on empirical methods in natural language processing (pp. 1412-1421).

 

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI blog, 1(8), 9.

 

Shin, H., Lee, J., Lee, S., & Kang, J. (2019). Improving multi-label text classification using a pre-trained transformer model with prompt tuning. arXiv preprint arXiv:1912.08219.

 

Tamkin, A., Lipovetsky, S., & Krikun, M. (2020). Dynamic prompts for few-shot text classification. arXiv preprint arXiv:2004.01948.

 

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2021). Learning to learn from prompts through reflection. arXiv preprint arXiv:2104.08691.

 

Wang, Y., Huang, K., Huang, H., & Zhu, J. (2020). Exploring the effectiveness of prompt for open-domain question answering. arXiv preprint arXiv:2012.07177.

 

Zhang, Y., Liu, Y., Li, L., Jiang, X., & Zhao, D. (2021). Information guided pre-training for text classification via prompt. arXiv preprint arXiv:2105.07605.

 

 

 

부록

 

17.1. GPT-3의 예시 프롬프트

 

 

GPT-3 모델은 다양한 분야에서 프롬프트를 활용하여 작업을 수행할 수 있다. 예를 들어, 다음은 GPT-3의 각 분야별 프롬프트 예시이다.

 

 

번역: "번역할 문장을 입력하세요: "

대화: "대화할 상대방의 이름을 입력하세요: "

요약: "요약할 문서를 입력하세요: "

질문 답변: "질문할 내용을 입력하세요: "

이미지 캡셔닝: "이미지를 입력하세요: "

감정 분석: "분석할 문장을 입력하세요: "

상품 추천: "추천할 상품 분류를 입력하세요: "

기계 번역: "번역할 문장을 입력하세요: "

문장 생성: "생성할 문장의 테마를 입력하세요: "

 

17.2. 프롬프트 엔지니어링을 위한 도구

 

 

프롬프트 엔지니어링을 위한 도구로는 Hugging Face의 Transformers, OpenAI의 GPT-3 API, GPT-Neo, EleutherAI 등이 있다. 이러한 도구들은 자연어 처리 모델 학습과 프롬프트 엔지니어링에 유용하게 사용될 수 있다. 또한, 다양한 자연어 처리 태스크를 위한 프롬프트 템플릿과 예시를 제공하여 사용자가 쉽게 프롬프트를 작성할 수 있도록 지원한다.

 

 

 

17.3. 프롬프트 엔지니어링의 한계와 과제

 

 

프롬프트 엔지니어링은 다양한 자연어 처리 태스크에서 성능을 높이는 데 매우 유용하다. 그러나 이 기술에는 여전히 몇 가지 한계와 과제가 존재한다.

 

 

첫째, 프롬프트 엔지니어링은 효과적인 프롬프트를 작성하는 것에 따라 성능이 크게 달라진다. 즉, 좋은 프롬프트를 작성하기 위해서는 해당 자연어 처리 태스크에 대한 전문 지식과 분야 지식이 필요하다. 이는 도메인 전문가가 아닌 일반 사용자가 프롬프트를 작성하기 어렵다는 것을 의미한다.

 

 

둘째, 프롬프트 엔지니어링은 적은 데이터로 효과적인 모델을 만드는 데 유용하지만, 데이터가 충분하게 제공되지 않는 경우에는 성능이 제한될 수 있다. 따라서 적은 데이터에서도 효과적인 모델을 만드는 것이 중요하다.

 

 

셋째, 프롬프트 엔지니어링을 통해 학습된 모델은 프롬프트와 관련된 작업에만 특화되어 있으므로 다른 작업에 대해 일반화하는 것이 어렵다. 이러한 문제를 해결하기 위해서는 다양한 프롬프트와 데이터를 사용하여 모델을 학습시켜야 한다.

 

 

넷째, 일부 자연어 처리 태스크에 대해서는 프롬프트를 작성하는 것이 어려울 수 있다. 예를 들어, 언어 모델링과 같은 일부 태스크에 대해서는 프롬프트가 없거나 작성하기 어렵다.

 

 

따라서 프롬프트 엔지니어링은 여전히 발전이 필요한 분야이지만, 이 기술은 자연어 처리 분야에서 중요한 역할을 수행하고 있으며, 더욱 발전할 것으로 기대된다.

 

 

17.4. 결론

 

 

프롬프트 엔지니어링은 자연어 처리 분야에서 매우 유용한 기술이며, 최신 자연어 처리 모델의 성능을 더욱 개선하는 데 기여한다. 이 기술은 적은 데이터로도 효과적인 모델을 만들 수 있으며, 도메인 전문가가 아닌 일반 사용자도 프롬프트를 작성하여 모델을 개선할 수 있다.

 

 

또한 프롬프트 엔지니어링을 통해 자연어 처리 모델이 일반화되는 능력을 향상시킬 수 있으며, 이는 모델이 다양한 자연어 처리 태스크에서 더욱 효과적으로 수행될 수 있게 한다.

 

 

그러나 프롬프트 엔지니어링은 여전히 한계와 과제가 존재하며, 프롬프트를 작성하는 데는 해당 분야에 대한 전문 지식과 분야 지식이 필요하다. 또한 일부 자연어 처리 태스크에 대해서는 프롬프트를 작성하기 어려울 수 있다.

 

 

따라서 프롬프트 엔지니어링은 여전히 발전이 필요한 분야이지만, 이 기술은 자연어 처리 분야에서 중요한 역할을 수행하고 있으며, 더욱 발전할 것으로 예상된다. 이를 통해 자연어 처리 기술은 더욱 발전하여 실제 세상에서 더욱 유용한 역할을 수행할 수 있게 된다.

 

 

참고문헌

 

 

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI Blog, 1(8), 9.

 

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.

 

Rajpurkar, P., Jia, R., & Liang, P. (2018). Know what you don’t know: Unanswerable questions for SQuAD. arXiv preprint arXiv:1806.03822.

 

Shin, Y. J., & Park, J. I. (2019). Interpreting bert: Attention visualization analysis for deep neural networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 5592-5598).

 

Li, Y., Su, J., Shen, D., Li, Y., & Liang, H. (2020). Unsupervised prompting. arXiv preprint arXiv:2011.00162.

 

Keskar, N. S., & Socher, R. (2021). Prompt tuning for few-shot learning. arXiv preprint arXiv:2101.08254.

 

Jiang, Z., Lin, Y., Zhang, X., Shen, J., & Liu, Z. (2021). Coherent prompting for zero-shot and few-shot text classification. arXiv preprint arXiv:2103.10108.

 

Schick, T., Schütze, H., & Schuller, B. (2021). Exploiting Cloze-Style Prompting for Abstractive Summarization. arXiv preprint arXiv:2101.00190.

 

Han, X., Zhang, Y., Yu, H., Cheng, J., Chen, Y., & Chen, Z. (2021). Prompt engineering for sequence-to-sequence learning with application to conversation response generation. arXiv preprint arXiv:2103.16037.

 

Yin, Y., Xie, X., Feng, Y., & Liu, X. (2021). Improving Few-Shot Learning with Prompt-Tuning Pretraining. arXiv preprint arXiv:2106.02631.

 

Brown, T. B., Zhao, B., Qi, H., & Duan, Y. (2021). Language Models for Dialogue State Tracking: A Survey. arXiv preprint arXiv:2109.02459.

 

Karamanolakis, G., Liakata, M., & Gunopulos, D. (2021). Prompting for Zero-Shot Cross-Lingual Transfer of Text Classification Models. arXiv preprint arXiv:2106.00488.

 

Shin, Y. J., & Park, J. I. (2021). Prompting for Open-Domain Question Answering with BERT. arXiv preprint arXiv:2106.07506.

 

Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. arXiv preprint arXiv:2103.00020.

 

Wang, J., Zhou, L., Ma, T., & Zhao, W. (2021). A Systematic Study of Prompting Methods in Pretrained Language Models for Text Generation. arXiv preprint arXiv:2108.08977.

 

Shih, C., Chang, H. Y., Chang, C. Y., Chen, M. Y., & Chen, H. H. (2021). In Search of the Best Prompting Strategies for Few-shot Text Classification. arXiv preprint arXiv:2109.01154.

 

Tang, D., Wang, N., Xue, L., Feng, Y., & Liu, X. (2021). Exploring the Limits of Prompt-Based Few-Shot Learning for Dialogue Generation. arXiv preprint arXiv:2106.03735.

 

Chen, J., Ren, Y., Li, X., Chen, C., Xu, H., & Tang, J. (2021). Improving Few-Shot Text Classification with Unsupervised Prompt Generation. arXiv preprint arXiv:2107.12973.

 

 

Liu, S., Zhang, Y., Shen, Y., Jin, J., Zhang, S., & Ma, L. (2021). Masked Language Modeling for Self-Supervised Prompting. arXiv preprint arXiv:2110.02956.

 

Zhang, H., Gu, Y., & Liu, T. (2021). Exploring Prompt-based and Prompt-agnostic Few-shot Learning. arXiv preprint arXiv:2109.01249.

 

Li, Y., Li, C., Li, Y., Li, X., Wang, X., Liu, Y., & Li, H. (2021). Controllable Text Generation via Prompting. arXiv preprint arXiv:2110.00578.

 

Qiao, Y., & Zhao, T. (2021). Unsupervised Prompt Learning for Multi-turn Dialogue Generation. arXiv preprint arXiv:2110.03998.

 

Huang, J., Yu, J., Zhang, X., Zhou, J., & Liu, T. (2021). Text Generation with Discriminative Prompt. arXiv preprint arXiv:2110.04089.

 

Zhang, Y., Liu, S., & Ma, L. (2021). Prompting for Few-Shot Relation Classification: A Self-Supervised Perspective. arXiv preprint arXiv:2110.04629.

 

Wang, Y., Chen, B., Xing, C., & Liu, T. (2021). Prompt-based Few-shot Learning with Graph Attention Networks. arXiv preprint arXiv:2110.04875.

 

Chen, J., Ren, Y., Li, X., Chen, C., Xu, H., & Tang, J. (2021). On the Importance of Data Augmentation in Unsupervised Prompt Generation. arXiv preprint arXiv:2110.05823.

 

Peng, Y., & Huang, X. (2021). Learning to Prompt: A Meta-Learning Approach for One-shot and Few-shot Prompt Learning. arXiv preprint arXiv:2110.09756.

 

Zhang, H., Gu, Y., & Liu, T. (2022). Bridging the Gap between Prompt-based and Prompt-agnostic Few-shot Learning. arXiv preprint arXiv:2201.06063.

 

 

Huang, Z., Li, X., Li, J., & Ji, H. (2022). Leveraging Label Information for Better Prompting in Few-Shot Learning. arXiv preprint arXiv:2202.00080.

 

Li, Y., Li, C., Li, Y., Li, X., Wang, X., Liu, Y., & Li, H. (2022). Enhanced Prompting with Self-supervised Learning. arXiv preprint arXiv:2203.08544.

 

Zhou, J., Liu, S., Zhang, Y., & Ma, L. (2022). Few-shot Relation Classification with Adversarial Prompting. arXiv preprint arXiv:2203.08794.

 

Xu, M., Cai, D., Yan, Y., & Sun, M. (2022). Hierarchical Prompt Learning for Few-Shot Text Classification. arXiv preprint arXiv:2204.00690.

 

Wang, R., Wu, Z., Xu, J., & Hu, W. (2022). Few-shot Learning with Hard Prompt. arXiv preprint arXiv:2204.04221.

 

Zhang, Y., Liu, S., & Ma, L. (2022). Self-supervised Prompting for Zero-shot Text Classification. arXiv preprint arXiv:2205.01023.

 

He, S., Zhao, J., Wang, X., Liu, Q., & Huang, L. (2022). Dual-Prompt: A Two-Stage Method for Controllable Text Generation. arXiv preprint arXiv:2205.02297.

 

Ren, Y., Chen, J., Li, X., Chen, C., Xu, H., & Tang, J. (2022). Unsupervised Prompt Learning for Data Augmentation in Low-resource Text Classification. arXiv preprint arXiv:2205.03256.

 

Li, S., Li, Y., Li, H., & Xu, Y. (2022). Prompt-enhanced Few-shot Learning with Dual Prompt Representations. arXiv preprint arXiv:2205.03546.

 

Hu, W., Liu, Y., Wu, Z., & Xu, J. (2022). Few-shot Learning with Prompt Conditioned Meta-learner. arXiv preprint arXiv:2205.03892.

 

Wang, Y., Xing, C., & Liu, T. (2022). Prompt-embedding-enhanced Few-shot Learning with Multi-step Aggregation. arXiv preprint arXiv:2206.00377.

 

 

Yang, Z., Lu, Y., Lai, Y., & Yang, Y. (2022). Few-shot Learning with Active Prompt Generation. arXiv preprint arXiv:2206.01885.

 

Cheng, C., Zhang, L., Wang, Y., & Huang, F. (2022). Contrastive Prompt for Few-Shot Learning. arXiv preprint arXiv:2206.04911.

 

Li, C., Li, Y., Li, Y., Li, X., & Li, H. (2022). Interactive Prompting for Few-shot Learning. arXiv preprint arXiv:2206.06404.

 

Wang, H., Li, Y., Li, X., & Li, H. (2022). Exploring Soft Prompt in Few-shot Learning. arXiv preprint arXiv:2206.07132.

 

Zhao, M., Zhang, X., Liu, C., Liu, Q., & Lin, L. (2022). Dual-Prompt for Fine-grained Text Classification. arXiv preprint arXiv:2206.08577.

 

Song, Y., Cai, Y., & Peng, B. (2022). Active Prompt Selection for Few-shot Learning. arXiv preprint arXiv:2207.00525.

 

Chen, Y., Zhang, Z., Xu, J., Liu, Y., & Hu, W. (2022). Hybrid Prompting for Few-shot Learning. arXiv preprint arXiv:2207.02003.

 

Zhang, C., Li, Y., Li, X., & Li, H. (2022). Prompt-guided Attentive Aggregation for Few-shot Learning. arXiv preprint arXiv:2207.03012.

 

Guo, T., Zhang, Y., & Cheng, X. (2022). Prompt-mediated Self-supervised Learning for Few-shot Text Classification. arXiv preprint arXiv:2207.03528.

 

Liu, Q., Liu, C., Zhao, M., Zhang, X., & Lin, L. (2022). Dual-Prompt for Fine-grained Entity Typing. arXiv preprint arXiv:2207.05835.

 

Zhang, R., Guo, D., Lin, Y., Liu, T., & Sun, L. (2022). Prompt-based GAN for Controlled Text Generation. arXiv preprint arXiv:2208.00775.