MPEG-4 weiterentwickelt?

Nur mal so zu den mathematischen Kurven, die sich durch einen 3D Block ziehen:
Die Idee habe ich mal ausführlich mit ein paar Leuten (Mathemathikern &Bildverarbeitern) bequatscht, leider gibt es da einige Probleme:
1. die einzelnen Formeln werden sehr komplex werden
- sehr schlecht zu kompremieren oder reduzieren ohne große Verluste
- der Overhead für eine Darstellung als Formel z.B. Lagrangepolynome ist relativ groß
2. editieren solcher Formeln bzw. solcher Streams ist wahrscheinlich nicht, oder nur unter extremem Aufwand möglich

zum Farbraum allgemein:
Bist Du Dir im klaren, dass nur ein Bruchteil der Farben die man optisch wahrnehmen kann vom PC&Monitor momentan dargestellt werden kann?

Zitat

zumal qualitätssteigerung über das original hinaus nur auf diesem wege möglich sind....

Das wäre selbst bei einer rein Mathematischen Darstellung nur möglich, wenn man einiges mehr an Wissen über Licht- und Farbdarstellungen hätte, als es aktuell der Fall ist.

Zitat

wenn das überhaupt nichts bringen würde..

zumidnest ich würde da einige Probleme sehen, würde das Konzept mit dem 3D Raum aber nicht umbedingt verwerfen, da ich selber schon ausgibit über es früher nachgedacht habe
Es gibt halt das Hauptproblem, dass man auch weiterdenken muss:
1. wenn man eine Kurve (z.B. als Polynom oder als Summe von sin&cos funktionen) im 3D Raum hat, welche die Farbwerte eines Pixels zu einem bestimmten Zeitpunkt hat, was dann? wie verkleinern? (verkleinern ist doch das Ziel oder?)
2. wenn man die Daten verkleinern kann (u.a. auch verlustfrei), kann man sie noch editieren?
3. ist das Verfahren was man sich überlegt hat auch nicht durch Rechenungenauigkeiten im Rechner oder mangelnde Performance des Rechners z.B. wenn exponenzielles Wachstum des Zeitaufwandes beim Encoden auftritt wenn der Input linear wächst ?
4. ist der Aufwand zum Decoden geringer als der zum Encoden?

Zitat

dann hätte man es ja bei den normalen bewegungsvektoren belassen können statt da noch GMC dazuzufügen....

Der Punkt mit dem GMC bringt Dich in die Richtung die vorher schon mit HVS angesprochen wurde.

Zitat

Es müssen nicht umbedingt neue Features eingeführt werden, erst sollten die vorhanden bis an ihre Grenzen ausgenutzt werden.

Dem kann ich nur zustimmen, allein wenn ich mir überlege was mit h264 alles noch möglich sein wird.

Cu Selur

Halbwegs exakte Näherungen mit Bézier-Kurven oder Flächen zu machen ist nicht ganz so einfach, da du dafür viele Knoten brauchst, und bei vielen Knoten fängt dein Polynom an zu oszillieren. Grade über 10 sind nicht mehr verwendbar.

Und der Rechenaufwand für so hochgradige Polynome ist extrem hoch. Wirklich gut quantisieren kannst du auch nicht, da das verändern eines Knotens Einfluss auf die ganze Kurve und vor allem auf eine Stelle hat.

Die Knoten müsstest du mit hoher genauigkeit ablegen, da sonst deine ganze Kurve verrutscht, was viel Speicherplatz benötigt.

Bézierkurven sind für sowas nicht wirklich geeignet.

Anstatt hier dauernd Hypothesen in den Raum zu werfen, die sich zwar schön anhören, aber deutliche Mankos haben, solltest du über deine Ideen nochmal kritisch nachdenken, evtl. Tests anstellen und Rechnungen.

dieser weg erscheint mir auch der beste
weg um z.b. ntsc frequenz auf pal frequenz zu konvertieren oder mit noch höherer
qualität zu deinterlacen als es bisher möglich ist...

soetwas gibts schon:
entweder als Motioncompensation (Blackmatching), so wie es Motionperfect macht
oder als Phase-Corellation. Wobei letztere um laengen besser sein soll, als Motioncompensation.

http://www.snellwilcox.com/knowledgecente…s/estandard.pdf
und
http://www.snellwilcox.com/knowledgecente…oks/emotion.pdf

Okay, was ich erst gedacht hatte was du meinst war:

Zitat

generelle Idee:
-----------------
1. Daten sammeln für ein Pixel über die Zeit in einem Farbraum bzw. einer Farbraumkomponente
2. überlegen wo man Kontrollpunkte weglassen könnte; (hierbei muss man HVS im Hinterkopf haben)
3. eine Bezierdarstellung bzw. B-Splinedarstellung suchen, welche die Daten 'genau' interpoliert.
4. Bitdarstellung klein klopfen: Huffmann, Cabac etc.

Probleme:
------------
0. Welche Samples darf man weglassen in Bezug auf HVS und allgemeine Qualität?
1. Wie interpoliert man effizient?
2. Trifft man auf Kontrollpunktfolgen die sich nicht effizient interpolieren lassen?

Statt Bezierkurven bzw. B-Splines könnte man auch reelle Bezierkurven&B-Splines nehmen.
=> weniger Koeffizienten für runde Kontrollpunktfolgen

Anmerkung:
Samples = Messwerte
Kontrollpunkte = Approximationen der Samples
(möglichst weniger Kontrollpunkte als Samples)
Koeffizienten = Koeffizienten der resultierenden Bezioerkurven bzw. B-Splines

Alles anzeigen

Sehe ein das dies nicht das ist was Du gemeint hattest.

Verstehe deine Idee jetzt so:
--------------------------------

Du willst nicht eindimensional sondern n-dimensionale Samples, welche einen Bildausschnitt beschreiben.
Über diese Samples versuchst Du eine Bezierkurvendarstellung zu finden, die die Veränderung von einem Bildausschnitt zum nächsten beschreibt.

Probleme die ich dabei sehe:
--------------------------------
1. Bereiche/Bildausschnitte finden auf denen dies möglich ist
(denke das Problem ist NP-hart!=> nix polynomiell)
2. wenn der Bereich 'größer' ist können 'hässliche' Koeffizienten auftreten
(für kleine Bereiche (Makroblöcke) kann es vermutlich hinhauen)
3. kleine Änderungen (über die Zeit) könnten verloren gehen und störenden Fehlern führen
(muss man wahrscheinlich testen, was tolerierbar ist)

=> Wenn Du's Deine Idee mal ordentlich ausformulierst, kann man genauer drüber nachdenken.

Cu Selur

Die Idee ist gut, aber wie Du vorhandenes, nicht synthetisches Bildmaterial so analysieren willst, dass die vorgeschlagene Idee umgesetzt werden kann sehe ich nicht.

Zitat

... hier kann ein globales bewegungsmuster in form von vielleicht 10 splines interpoliert werden...

Wie dies im reelen funktionieren soll ist mir unklar, vorallem da in der Computergraphik Licht auch noch nicht ordentlich gehandelt werden kann.

Zitat

..wenn alle genannten lichteffekte oder schattenwürfe
die einer veränderung unterworfen sind durch diese abtraktionsstufen
von eigentlichem bild isoliert worden sind...

Ich sehe nichtmal wie Du die Licht- und Schatteneffekte automatisch, sicher identifizieren willst.

Cu Selur

Ps.: Im Prinzip sind wir besser Du jetzt bei ner Spritekompression über die Zeit.

Zitat von Selur

Ps.: Im Prinzip sind wir besser Du jetzt bei ner Spritekompression über die Zeit.

Noch mal in deutsch? Da spielen der encoder(du) und der decoder(ich und warscheinlich auch ein paar andere) nicht zusammen.

AC-Chan(Robert Vincenz)

Man,.. was ich meinte, war, dass die Idee, die "DJ oSSi" angebracht hatte eine Art Spritekodierung über die Zeit ist. (in meinem Satz haben irgendwie die Kommatar gefehlt)

Cu Selur

Zitat

hast du dir mal die DS-Filter von LEAD-Technologies angeschaut..

Nur sehr kurz, da ich momentan kaum Zeit hab.

Mal davon ausgegangen, dass mit dem extrahieren/finden der interessanten Regionen klappt, dann könnte man u.a. mit den Thumbnails eine Art Laplace-Pyramide über dem Bild verwenden um Ähnlichkeiten abzuwägen.

Cu Selur

Zitat

wenn man von einem datenblock ne gausspyramide erstellt
und dann für jeden pixel von der pyramidenspitze bis zum originalblock
eine kurve zu einer virtuell größeren stufe interpolieren könnte
kann man da nicht was draus machen?

ich werd mal im videothread die idee präzisieren

Argh,.. spontan glaub ich nicht, dass man so was erreichen kann, da man erstmal eine Art Muster/Schema entdecken müsste, die einem erlaubt, auch über die Orginalgröße zu kommen ohne 'humbug' ins Bild einzufügen. Der Unterschied zu einem normalen vergrößern des bildes durch Interpolation wäre ja, das Du neu Details über die Kurvenweiterführung erfinden willst, oder? Falls, dies der Fall ist sehe das Problem mit dem Erfinden, da gerade Details sich meiner Erfahrung nach oft nicht irgendwie aus vorherigen (niedriger aufgelösten) Bildelementen erahnen lassen. Klar wenn man weiß was man erstellen will könnte dies bei einigen Elementen hilfreich sein, aber dann sollte man sich überlegen wie man das Element durch ProgrammCode bzw. eine mathematische Formel erstellt.

Nebenbei: soweit ich mich entsinne ist im Main Profile von mpeg4 auch die kombination von Programmgenerierten 3D Objekten und normalem Videomaterial möglich, soll heißen, man könnte beim Erstellen, direkt einige Elemente als Programmcode einfügen.
(Mainprofile ist aber leider noch weit davon entfernt mal irgendwo komplett implementiert zu werden.)

---

*gig* da haste deinen Post doche ditiert während ich am tippen war

Zitat

aber ich denke mal das der DCT hier viele störfaktoren verursacht

die in h264 verwendete DCT Variante über Integer war glaub ich auch verlustlos,...

Bei Comics wie Simpsons&Co frage ich mich eh schon eine Weile warum noch niemand mit ner cleveren Idee um die Ecke gekommen ist wie man die z.B. nach Flash portieren könnte. *gig*

Cu Selur

Zitat

bei einem einzelnen bild führt das wirklich zu erfundenen neudaten aber bei bildfolgen ist die sache völlig anders!!!!

Völlig nicht, aber Du hast recht, wenn man dies logischerweise über einige 'ähnliche' Bilder macht, so könnte man bei einigen Szenarien durchaus auch höher auflösende Versionen schaffen. Momentan vermute ich jedoch, dass solche Szenearien nicht all zu oft auftauchen.

Das, dass mit den auf tiefen Frequenzen hohe ableiten auch bei Bildern klappen kann bezweifle ich momentan nochmal, denke aber morgen wahrscheinlich nochmal genauer drüber nach. (bin momentan etwas gerädert und kann mich nicht wirklich konzentrieren)

Cu Selur

Was mir momentan nur im Kopf rumschwirrt ist u.a. die Gefahr da etwas falsch zu interpretieren,.. z.B. wenn man etwas Misinterpretiert als Information, vorallem Rauschen kann da Probleme machen, gerade wenn man stark vergrößern will und sich bis zu einem gewissen Grad auf Details verlassen muss. (Leider ist es ja nicht so das neuere DVDs bessere Qualität hätten, ich denke z.B. an Minority Report.)

Cu Selur