Hugging Face 언어 모델 추론, OpenRouter 기반 자동 라우팅으로 전환
주요 내용 Hugging Face Inference Providers의 언어 모델 요청이 자체 라우터에서 OpenRouter로 전환됐다. 가격·속도·신뢰도를 기준으로 제공자를 선택하고 실패 시 다른 제공자로 재시도하며, 기존 코드는 유지할 수 있다. 반면 언어 모델에 제공자별 개인 API 키를 사용하는 방식은 지원이 중단된다. 활용 사례 모델 ID에 :fastest·:cheapest·제공자 이름을 붙여 라우팅 정책을 지정할 수 있다. 대화별로 고정 UUID를 X-HF-Session-Id 헤더에 보내 프롬프트 캐시를 보유한 제공자로의 라우팅을 명시할 수 있다. 비용 및 제약 Hugging Face 계정에 제공자 가격으로 청구되며 추가 마크업은 없다고 밝혔다. PRO는 매월 2달러, Team·Enterprise는 좌석당 매월 2달러 크레딧을 제공하며, 이미지·영상·음성 생성은 이번 라우팅 전환 대상이 아니다.
원문 보기