인천대학교 인디고클랫폼 인천대학교 기술지원허브

여러 CAD domain의 Task를 해결하기 위해서 각 task별로 모델을 Fine-tunin할 필요 없이, Hyper Network로부터 생성한 weight scaling 값을 기존 pretrained large VLM의 일부 파라미터에 곱하여 다양한 CAD Domain Task를 풀 수 있습니다. 이로인해, VLM의 모든 파라미터를 학습할 필요가 없이 Hyper Network만 학습하면되기 때문에 학습 효율성이 높고, VLM의 파라미터를 효율적으로 제어할 수 있으므로 경량화한 효과가 있습니다. CAD Domain 중 3D CAD Classification, 3D CAD Model Generation, 3D Model Captioning 문제를 한 번에 해결할 수 있습니다

지속적으로 새롭게 수집되는 3D CAD Model로부터 사전학습된 Vision-Language Model (VLM)을 통해 유의미한 임베딩을 추출함으로써, 고품질의 3D CAD Model 특성을 반영한 VectorDB를 구축할 수 있습니다. 원하는 3D CAD Model을 생성 할 수 있도록 수정되어야 하는 부분을 Planner가 VectorDB로부터 feedback response를 생성하면, VLM은 주어진 feedback response를 따라 반복적으로 CAD 모델을 수정하여 단계별로 새로운 모델을 생성하고 확인할 수 있습니다. 고품질의 VectorDB로부터 Retrieval-Augmented Generation (RAG)을 수행하여 pretrained VLM은 3D CAD Model을 생성할 수 있습니다.

거대 언어 모델인 LLM을 활용하여 PROMPTING을 사용하여 CAD 모델을 STEP-BY-STEP으로 생성하는 방법에 대한 발명