피드백 수집 및 어노테이션 활용

import weave
client = weave.init('intro-example')

# 프로젝트의 모든 피드백 조회
all_feedback = client.get_feedback()

# ID로 특정 피드백 객체를 가져옵니다.
# API는 컬렉션을 반환하며, 여기에 포함된 항목은 최대 1개일 것으로 예상됩니다.
one_feedback = client.get_feedback("<feedback_uuid>")[0]

# 특정 반응 유형의 모든 피드백 객체를 찾습니다. offset과 limit를 지정할 수 있습니다.
thumbs_up = client.get_feedback(reaction="👍", limit=10)

# 조회 후 개별 피드백 객체의 세부 정보를 확인합니다.
for f in client.get_feedback():
    print(f.id)
    print(f.created_at)
    print(f.feedback_type)
    print(f.payload)

import weave
client = weave.init('intro-example')

call = client.get_call("<call_uuid>")

# 이모지 반응 추가
call.feedback.add_reaction("👍")

# 노트 추가
call.feedback.add_note("this is a note")

# 맞춤형 키/값 쌍 추가
# 첫 번째 인자는 사용자 정의 "type" 문자열입니다.
# 피드백은 JSON으로 직렬화할 수 있어야 하며, 직렬화된 크기는 1KB 미만이어야 합니다.
call.feedback.add("correctness", { "value": 5 })

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    # 단순한 오퍼레이션 수행
    output = f"Processed {input_value}"
    # 현재 call ID 조회
    current_call = weave.require_current_call()
    call_id = current_call.id
    return output, call_id

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    return f"Processed {input_value}"

# 오퍼레이션을 실행하고 결과와 call ID를 조회합니다
result, call = simple_operation.call("example input")
call_id = call.id

call.feedback.purge("<feedback_uuid>")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "number",
    "minimum": -1,
    "maximum": 1,
  }
)
spec2 = AnnotationSpec(
  name="Tone",
  description="The tone of the llm response",
  field_schema={
    "type": "string",
    "enum": ["Aggressive", "Neutral", "Polite", "N/A"],
  },
)
weave.publish(spec1, "temperature-scorer")
weave.publish(spec2, "tone-scorer")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

# scorer의 새 버전 생성
spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "integer",  # <<- 유형을 integer로 변경
    "minimum": -1,
    "maximum": 1,
  }
)
weave.publish(spec1, "temperature-scorer")

import weave

client = weave.init("feedback-example")

call = client.get_call("<call_id>")
annotation_spec = weave.ref("<annotation_spec_ref_uri>")

call.feedback.add(
  feedback_type="wandb.annotation." + annotation_spec.name,
  payload={"value": 1},
  annotation_ref=annotation_spec.uri(),
)