cinema diffusion

Grafik- und Contestforen Themenspezifisches Forum
1

moin.

vor einer weile hatte ich in einem anderen thread ein posting gesehen, das zeigt, dass ein fleißiger plug-in programmierer, ich glaube nitro (oder so ähnlich) war’s, an einem stable diffusion plug für c4d arbeitet.
wie es der zufall will, sitze ich auch seit einiger zeit an sowas.

ich bin soweit, dass es eigentlich recht gut läuft; die auf den ersten blick “wichtigsten” (ich weiß, subjektiv) features (die von der webui von automatic1111 abgreifbar sind, hierzu ist das ding hier nämlich ‘ne schnittstelle, mehr nicht) sind soweit erstmal drin. nun steh’ ich vor dem “problem”, dass man da noch so viele schöne sachen reinbauen könnte, auf der einen seite. auf der anderen seite frage ich mich allerdings: wann wird man denn dann mal fertig?
disclaimer: ich mach sowas normalerweise nicht und hab dementsprechend keine “entwicklungserfahrung”, weiß also nicht so recht, “wann schluss ist”.
auf jeden fall will ich zumindest noch ein paar 3d-workflow-spezifische dinge einbauen, vllt. die eine oder andere mainstream renderengine bedienen, mal schauen.

das ding ist: ich bin - because: reasons - seit einer weile eher java-lastig unterwegs und hab durch dieses “projekt” python nach langer zeit mal wieder etwas länger fies angeguckt, bin also nicht wirklich firm drin.
dabei ist mir auch mal wieder aufgefallen, wie unangenehm ich cinemas python drama finde. womöglich ist es aber super, und ich hab halt einfach keine erfahrung mit anderen umgebungen.

wie dem auch sei: es gibt ein paar punkte, die ich mir währenddessen nicht ohne weiteres beantworten konnte, die aber doch nett wären, bekäme ich sie irgendwie gelöst. womöglich kann mir hier jmd. ein paar tipps geben, wo ich im wust der tooootal suuuper organisierten dokumentation eher hilfe zu bestimmten fragen finden könnte.

in diesem sinne ist dieses posting, jetzt und hier, nur so ne art anker: die idee wäre, dass ich hier und da mal hier reinkomme und ne frage stelle, in der hoffnung, tipps zu finden. mit der zeit.

ich lass erstmal 'nen scrshot hier; wollte eigentlich ein video machen, aber es scheint soooo viel zu geben, was es abzudecken gilt. vllt. auch mehrere kleine videos, keine ahnung, alles so aufwändig… mal schauen.

danke schonmal für die aufmerksamkeit.

c4diffusion_scrshot.jpg
c4diffusion_scrshot.jpg5120×1405 569 KB

6 „Gefällt mir“
2

vllt. hänge ich am besten direkt schonmal die erste frage hier dran:
auf der rechten hälfte des screenshots sind vier bildanzeigeflächen zu sehen. gelöst über dialogfenster-userarea.
die zwei oberen sind stable diffusion renderings, eins pro grafikkarte/cinemadiffusion-objekt, die beiden unteren sind bilder zu prompts von den jeweilig angegeben seiten.
nicht modal, scrollbar. schön und gut. ich würde aber gerne nicht nur scrollen, sondern auch das jeweilige bild gerne grabben und schieben können. wie man’s halt auch im picture viewer kann.
ich hab diesbzgl. nicht wirklich was finden können. zum thema drag&drop von objekten etc. gab es einiges zu lesen, aber mein erster eindruck war, dass ich keinen anknüpfungspunkt zu dieser bestimmten situation sah - zumindest unfähig dazu war.
ggf. kann mir jmd. hierzu schonmal einen hinweis geben?

3

moin.

hier auf die schnelle schonmal ein erstes, kurzes video:

//youtu.be/IpQm13uFo0A

edit: link mit youtube-link ersetzt.

5 „Gefällt mir“
4

huh.

Läuft dass aber auch in der R2023?

5

keine ahnung.
da ich versuche, den anteil der softwarepakete, die ich mieten muss, so gering wie möglich zu halten, hab’ ich das ding nicht hier.

6

Ich teste es dann für dich :wink:

Deine Signatur sagt noch MSA

7

das nächste kurze video (render into mat):

//youtu.be/OSCRGmesicE

edit: link mit youtube-link ersetzt.

3 „Gefällt mir“
Der PS Dateibrowser ist ja erstaunlich gut ...
8

hier das nächste (upscaling):

//youtu.be/DqwUV-WTh9w

edit: link mit youtube-link ersetzt.

3 „Gefällt mir“
Wie macht ihr das bloß?
9

das nächste (img2img):

//youtu.be/qBYk2gegtck

edit: link mit youtube-link ersetzt.

4 „Gefällt mir“
10

das nächste ist kein feature des automatic1111-webui (soweit ich weiß) und zeigt die promptverknüpfung/wichtung mit prompts der seiten lexica.art und krea.ai. weiß aber noch nicht, ob das drin bleibt: ich muss die beiden erst noch fragen, ob die sowas erlauben.

//youtu.be/eyjncUaxGgg

edit: link mit youtube-link ersetzt.

2 „Gefällt mir“
11

Sehr geil! Sowas wie Dreamtextures für C4D wäre auch hilfreich - zumindest um so billige Hintergrundprops zu erzeugen :smiley:

12

Wow, da bist du ja schon richtig weit gekommen. die gängigen Features, die man so kennt sind ja schon fast alle integriert und es sieht ja schon fast produktionstauglich aus.

Kann man was einfaches modellieren und daraus ein komplexeres Modell von der AI erzeugen lassen? Z.B in C4D per Hand nen Würfel mit ner Pyramide als simples Dach oben drauf erstellen und dann der AI sagen, das ist ne Holzhütte, Haus oder Villa, etc. und die generiert dann ein Modell aus den gesetzten Proportionen?

13

naja, mehr oder weniger. ich denke, da spielt dann das prompten eine recht wichtige rolle.
achtung! jetzt kommt mein totally superior prompt-kung-fu zum tragen ^^

//youtu.be/qjGdmJ0mWSg

es gibt noch das feature des “inpainting” per maske, das ich gerne noch implementieren möchte. ich denke, das dürte die kontrollmöglichkeiten noch etwas pointierter gestalten.

edit: link mit youtube-link ersetzt.

3 „Gefällt mir“
14

ich hatte vor einigen wochen schonmal davon gehört. ich glaube, das war sowas ähnliches, halt nur für blender (oder für den krita bild-editor?)
ich muss mir das mal nochmal anschauen. vllt. ist da ja was inspirierendes dabei.

Maxwell und Animation
15

joa, testen ist natürlich ein ganz großes thema.
das plug ist rein für den lokalen betrieb aufgesetzt, sprich: man wird die notwendige installationsprozedur für das automatic1111-webui erfolgreich hinter sich gebracht haben müssen, damit sich das plug in c4d nutzen lässt.
großes potenzial für viel ungemach. das auf unterschiedlichsten system durchzuspielen, wär schon nötig.

allein im bezug auf die c4d-version: das gute an der software-miet-halsabschneiderei (sorry!) ist ja, dass ich mir die lizenz für 'nen monat mieten könnte, um zu schauen, ob es auf der neusten version läuft.

yey.

16

Ist die Demo keine Option?

17

ich hatte die schonmal vor ein paar monaten hier (einige zeit, bevor ich mit dem plug angefangen hatte).
das hat dann ein paar wochen, vllt. einen monat (weiß nicht mehr), funktioniert und ist dann “abgelaufen”.
hab jetzt keinen überblick über die aktuelle demo-politik aber ich vermute mal, das wird’s dann für mich gewesen sein mit der demo.

Zeitschrift 3D
18

yeahh - genau das meinte ich :slight_smile:

Ich denke das ist mit das wichtigste Feature überhaupt.

Wenn du das Plug jetzt noch auf die aktuelle C4D 2023 Version bekommst, dann kannst du es doch schon als v1 anbieten, obwohl das Plug bei den ganzen Features aus meiner Sicht eigentlich schon weiter als v1 ist. Aber muss ja noch nicht alles rein. Hauptsache, das was du integriert hast funzt und läuft stabil, dann kann man damit auch arbeiten. Weitere Sachen kannst du ja später dazu programmieren.

Ein TXT-Manual brauchst du eigentlich nur rudimentär. Wenn du jede Funktion einzeln, so wie in deinen einzelnen Featurevideos von oben jeweils etwas ausführlicher erklärst ist finde ich das persönlich besser, als ein reines TXT-Manual. Ein Sprecher wäre halt noch gut + etwas ausführlicher, oder was man beachten sollte, etc.

Wenn man selbst nicht sprechen möchte, geht es ja mittlerweile auch wieder automatisiert z.B über AI-Voices ähnlich:

Free Text to Speech with Gemini and ChatGPT AI Voices

19

naturalreaders hört sich richtig gut an, danke für den tipp.
schon spannend, die entwicklung der letzten jahre.

aaaalso, ich würde fast mal vermuten, dass es auf der 2023 laufen dürfte… da passiert eigentlich nichts exotisches im code.
ich denke, ich werd’ nicht drumrum kommen, mir das ding bei gelegenheit mal für 'nen monat zu mieten.

ich muss aber zugeben, dass mir egoistischerweise fast noch wichtiger wäre, das ding auf python2 runterzukriegen, damit ich es in der r20, die ich schwerpunktmäßig (arbeit) benutze, einsetzen kann. sehr gerne auch in der r19.
bei der 20 sammelten sich mitunter die letzten perpetual-versionen der verschiedenen plugs, renderer etc., die ich einfach gerne benutze, ohne befürchten zu müssen, dass mir der zugriff auf die software und damit auf arbeits-projekte versperrt wird, wenn ich mal in dunklen stunden meine, den geldfluss richtung lizenzgeber unterbrechen zu müssen.
es ist ja in de regel nicht nur ein softwarepaket, mit dem man arbeitet.
aber das ist ein anderes thema.

davon ab: es ist schon stabil und was implemtiert ist, funktioniert. ich hab es schon seit einer weile nicht mehr kaputt gekriegt.
aber es gibt halt hier und da noch kleine details, die die benutzung bequemer machen würden, die ich gerne drin hätte, aber noch nicht rausgefunden habe, wo ich infos dazu bekomme bzw. wie ich diese einzuordnen habe.
eines dieser details hatte ich weiter oben schonmal erwähnt, in der hoffnung, tipps zu bekommen.
ein paar weitere punkte würde ich gerne noch anfügen, die tage.

darüberhinaus würde ich gerne noch wesentlich mehr auf den eigentlich für 3d nützlichen kram eingehen.
dieses “render into material” ding ist mehr ein verschämtes “huch, ich bin ja in einem 3d-programm, da sollte ich schon was diesbezügliches reinbauen.” der ganze restliche kram könnte ja genau so in einem 2d-programm stattfinden.
ist’n bisschen mau, finde ich.

hach.. man könnte so viele schöne sachen machen.

so viel sand, und keine förmchen…

Zeitschrift 3D
20

Na programmierst du das Plugin für dich for fun & for free, oder möchtest du es auch verkaufen?
Wenn du es verkaufen möchtest dann sollte es halt in der aktuellen C4D-Version schon laufen.

Ich hab keine Ahnung wie umfangreich die Umarbeitung auf die aktuelle C4D-Version ist.

Wenn du es verkaufen möchtest, dann brauchst du natürlich eine Vertriebsplatform. Entweder z.B. auf der eigenen Webseite, bzw. würde ich dann empfehlen lieber ne eigene neue Domain dafür zu nehmen, oder über Vertriebspartner, oder beides, etc… es gibt auch noch ein par andere Lösungen, aber da kenn ich mich auch nicht so gut aus.

Wie ist das denn eigentlich mit der Modellgenerierung, z.B. auf das Hausbeispiel bezogen.

Kann man das von der AI generierte Bild in ein 3D-Modell konvertieren und nachträglich per Hand noch bearbeiten, inkl Texturen. Vermutlich ist das aktuell noch ne Limitierung und noch nicht möglich, oder?