~20 min · annotation, argilla, label-studio, human-review
합리적 세 가지 옵션, 무거운 거부터 가벼운 거 순.
LLM 데이터 전용으로 만들어졌어. Preference 랭킹(DPO/ORPO), 텍스트 분류, 스팬 태깅, 모델 제안 레이블 first-class 지원. Argilla v2는 설정 가능한 필드/질문 가진 dataset 중심, Hugging Face Space로 호스팅 또는 self-host.
범용 어노테이션 도구, 텍스트/이미지/오디오/비디오/시계열 커버. Argilla보다 무겁지만 한 팀이 여러 modality 어노테이션할 때 맞는 선택.
몇 백 예제 미만 프로젝트면, 사람 한 명이 각 예제 승인/거부/재작성하게 하는 30줄짜리 CLI 도구가 풀 어노테이션 플랫폼보다 실용적. 옳은 도구는 네 리뷰어가 실제 쓸 도구.
import argilla as rg
client = rg.Argilla(api_url="http://localhost:6900", api_key="admin.apikey")
dataset = rg.Dataset(
name="sft-review",
workspace="default",
settings=rg.Settings(
fields=[
rg.TextField(name="system"),
rg.TextField(name="user"),
rg.TextField(name="assistant"),
],
questions=[
rg.LabelQuestion(name="verdict", labels=["keep", "rewrite", "reject"]),
rg.RatingQuestion(name="quality", values=[1, 2, 3, 4, 5]),
rg.TextQuestion(name="improved_assistant", required=False),
],
),
)
dataset.create()
records = [
rg.Record(fields={"system": ex["messages"][0]["content"],
"user": ex["messages"][1]["content"],
"assistant": ex["messages"][2]["content"]})
for ex in raw_examples
]
dataset.records.log(records)import json
def review(in_path: str, out_path: str) -> None:
with open(in_path) as f:
examples = [json.loads(line) for line in f]
approved = []
for i, ex in enumerate(examples, 1):
print(f"\n--- {i}/{len(examples)} ---")
for m in ex["messages"]:
print(f"[{m['role']}] {m['content'][:240]}")
choice = input("(a)pprove / (r)eject / (e)dit / (q)uit: ").strip().lower()
if choice == "a":
approved.append(ex)
elif choice == "e":
new = input("Rewrite the assistant response:\n")
ex["messages"][-1]["content"] = new
approved.append(ex)
elif choice == "q":
break
with open(out_path, "w") as f:
for ex in approved:
f.write(json.dumps(ex) + "\n")
print(f"approved {len(approved)}")아직 댓글이 없어요. 첫 댓글을 남겨보세요.