Kling Lipsync

kling-lip-sync Kling Lipsync — модель генерации видео с синхронизацией губ. Она поддерживает режимы text-to-video и audio-to-video для создания видео с синхронизированной артикуляцией.

Примечание к API

Параметры session_id и face_id возвращаются API kling_identify_face.
Перед использованием этого lip-sync API сначала вызовите API идентификации лица, чтобы получить эти значения.

Эндпоинты

POST /v1/queue/kling-lip-sync # Создать задачу

GET /v1/queue/kling-lip-sync/requests/{request_id}/status # Проверить статус

GET /v1/queue/kling-lip-sync/requests/{request_id}/response # Получить результат

PUT /v1/queue/kling-lip-sync/requests/{request_id}/cancel # Отменить задачу

Параметры запроса

curl --request 'POST' 'https://api.odirouter.ai/model/v1/queue/kling-lip-sync' \
  --header 'Authorization: Bearer YOUR_API_KEY' \
  --header 'Content-Type: application/json' \
  --location \
  --data-raw '{
  "session_id": "949665381905347148",
  "face_choose": [
    {
      "face_id": "0",
      "sound_file": "https://interactive-examples.mdn.mozilla.net/media/cc0-audio/t-rex-roar.mp3",
      "sound_start_time": 0,
      "sound_end_time": 5000,
      "sound_insert_time": 0,
      "sound_volume": 1,
      "original_audio_volume": 0.5
    }
  ]
}'

session_id string required

Session ID, сгенерированный интерфейсом идентификации лица

face_choose array required

Указывает лицо для lip sync, включая face ID, аудиореференс и другие данные. Сейчас поддерживается lip sync только для одного человека

face_id string required

Face ID, возвращаемый интерфейсом идентификации лица

audio_id string

ID аудио, сгенерированный preview-интерфейсом

Поддерживается только аудио, созданное в течение последних 30 дней, длительностью от 2 до 60 секунд

Нужно передать либо audio_id, либо sound_file, но не оба параметра одновременно

sound_file string

Аудиофайл

Поддерживается аудио в Base64 или URL аудио (должен быть доступен)

Поддерживаемые форматы: .mp3, .wav, .m4a, размер файла не более 5MB. При неподходящем формате или превышении размера возвращается код ошибки

Поддерживается только аудио длительностью от 2 до 60 секунд

Нужно передать либо audio_id, либо sound_file, но не оба параметра одновременно

Система проверяет содержимое аудио; при проблемах возвращается код ошибки

sound_start_time long required

Время начала аудиофрагмента

Отсчитывается от начала исходного аудио (0 мс), единица измерения: мс

Аудио до этой точки будет обрезано. Обрезанное аудио должно быть не короче 2 секунд

sound_end_time long required

Время окончания аудиофрагмента

Отсчитывается от начала исходного аудио (0 мс), единица измерения: мс

Аудио после этой точки будет обрезано. Обрезанное аудио должно быть не короче 2 секунд

Время окончания не должно превышать общую длительность исходного аудио

sound_insert_time long required

Время вставки обрезанного аудио

Отсчитывается от начала видео (0 мс), единица измерения: мс

Временной диапазон вставленного аудио должен пересекаться с доступным интервалом lip sync лица минимум на 2 секунды

Время начала вставленного аудио не должно быть раньше начала видео, а время окончания вставленного аудио не должно быть позже окончания видео

sound_volume float

Громкость аудио; чем выше значение, тем громче звук

Диапазон: 0 - 2

По умолчанию: 1

original_audio_volume float

Громкость исходного видео; чем выше значение, тем громче звук

Если в исходном видео нет аудио, этот параметр не действует

Диапазон: 0 - 2

external_task_id string

Пользовательский ID задачи

Пользовательский ID задачи. Он не перезаписывает системный ID, но позволяет искать задачу по этому ID

Убедитесь, что значение уникально для каждого пользователя

callback_url string

URL обратного вызова для уведомлений о результате этой задачи. Если он задан, сервер будет отправлять уведомления при изменении статуса задачи

Параметры ответа

{
  "request_id": "task_01hxyz...",
  "response_url": "https://api.odirouter.ai/model/v1/queue/kling-lip-sync/requests/task_01hxyz.../response",
  "status_url": "https://api.odirouter.ai/model/v1/queue/kling-lip-sync/requests/task_01hxyz.../status",
  "cancel_url": "https://api.odirouter.ai/model/v1/queue/kling-lip-sync/requests/task_01hxyz.../cancel",
  "queue_position": 0
}

Поле	Тип	Описание
`request_id`	string	ID задачи, используемый во всех последующих операциях.
`response_url`	string	URL для получения итогового результата.
`status_url`	string	URL для проверки статуса задачи.
`cancel_url`	string	URL для отмены задачи.
`queue_position`	int	Текущая позиция в очереди.

Следующие операции