職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位描述:
1. 負責對基于大模型構建的通用垂類應用進行效果和質量評估;通過與產品研發(fā)團隊的緊密合作,制定評估標準和體系,準確分析評估效果,為應用的優(yōu)化和改進提供支持,以提升應用的性能、用戶體驗和市場競爭力;
2. 應用效果與質量評估: 1)負責評估基于大語言模型構建的通用垂類應用的效果和質量,包括但不限于語言理解準確性、生成內容的合理性、邏輯連貫性、知識準確性等方面; 2)參與設計測試用例,涵蓋不同場景、用戶需求和輸入條件,以確保應用在各種情況下的穩(wěn)定性和可靠性; 3)參與收集和分析用戶反饋數(shù)據(jù),結合實際使用情況,對應用的性能和用戶體驗進行綜合評估;
3. 評估標準與體系建設: 1)理解業(yè)務需求和產品目標,與產品研發(fā)團隊密切溝通和協(xié)作,負責制定詳細、明確的評估標準和指標體系; 2)理解評估數(shù)據(jù)的收集、整理和分析流程,確保評估數(shù)據(jù)的完整性和可靠性,為評估體系的持續(xù)改進提供數(shù)據(jù)支持;
4. 評估效果分析與報告:撰寫評估報告,清晰闡述評估方法、過程、結果和結論,為產品研發(fā)團隊提供決策依據(jù)和改進方向。能力要求:
1. 本科及以上學歷,有AI數(shù)據(jù)生產和評估相關領域背景,具備2年以上訓練師團團隊管理經(jīng)驗;
2. 能準確理解業(yè)務訴求,對質量/數(shù)據(jù)變化敏銳,能通過獨到的視角或科學的方法發(fā)現(xiàn)并解決問題,推動業(yè)務指標達成和策略落地;
3. 有自然語言處理、搜索、人工智能領域相關工作經(jīng)驗,有AI項目交付經(jīng)驗者優(yōu)先;
4. 有想象力、良好的理解閱讀能力和創(chuàng)意,了解國內外各種類型的AI產品玩法,如工具類(GPT、豆包、文心一言等)娛樂類(貓箱、星野、CAI等)多模態(tài)AI(Midjourney、可靈等);
5. 熟悉大語言模型,有數(shù)據(jù)標注與管理的經(jīng)驗,具備從訓練數(shù)據(jù)到模型效果評估到優(yōu)化的完整經(jīng)驗者優(yōu)先;
6. 熟練使用Excel等數(shù)據(jù)分析工具,具備數(shù)據(jù)獲取、分類和分析能力;
7. 對AI產品有熱情與熱愛,具備出色的好奇心與學習能力,能適應較快節(jié)奏的工作方式
工作地點
地址:成都武侯區(qū)成都-武侯區(qū)雙楠島·文創(chuàng)園區(qū)6樓


職位發(fā)布者
魏先生HR
北京三快在線科技有限公司

-
交通·運輸·物流
-
1000人以上
-
國內上市公司
-
北四環(huán)西路9號