remove k-diffusion as we don't use it from the core.

setup.py

@@ -110,7 +110,6 @@ _deps = [
     "jax>=0.4.1",
     "jaxlib>=0.4.1",
     "Jinja2",
-    "k-diffusion>=0.0.12",
     "torchsde",
     "note_seq",
     "librosa",
@@ -223,7 +222,6 @@ extras["test"] = deps_list(
     "datasets",
     "Jinja2",
     "invisible-watermark",
-    "k-diffusion",
     "librosa",
     "parameterized",
     "pytest",

src/diffusers/dependency_versions_table.py

@@ -17,7 +17,6 @@ deps = {
     "jax": "jax>=0.4.1",
     "jaxlib": "jaxlib>=0.4.1",
     "Jinja2": "Jinja2",
-    "k-diffusion": "k-diffusion>=0.0.12",
     "torchsde": "torchsde",
     "note_seq": "note_seq",
     "librosa": "librosa",