Du musst dir die Header und Footer ansehen, also die ersten und letzten paar Zeilen der Datei. Wenn sich die Datei an IFF-Regeln zur Dateibeschreibung hält bzw. wie bei vielen Bild- und Medienformaten zufällig Metadaten vorhanden sind, verwenden die meisten Formate einen Klartext-String irgendwo, den man erkennen kann.
Ansonsten kommst du eigentlich nur weiter, wenn du die Dateistruktur mit einem bekannten Format vergleichst. RLE/LZW-komprimierte-Dateien z.B. haben eindeutige Muster - gleiche Werte erzeugen gleiche Strukturen.